10、TORCH.UTILS.TENSORBOARD

2023-12-22 19:41:28

在进一步讨论之前，可以在 https://www.tensorflow.org/tensorboard/ 上找到有关 TensorBoard 的更多详细信息。

安装 TensorBoard 后，这些实用程序可让您将 PyTorch 模型和指标记录到一个目录中，以便在 TensorBoard UI 中进行可视化。 PyTorch 模型和张量以及 Caffe2 网络和 blob 都支持标量、图像、直方图、图形和嵌入可视化。

SummaryWriter 类是您记录数据以供 TensorBoard 使用和可视化的主要入口。例如：

import torch
import torchvision
from torch.utils.tensorboard import SummaryWriter
from torchvision import datasets, transforms

# Writer will output to ./runs/ directory by default
writer = SummaryWriter()

transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])
trainset = datasets.MNIST('mnist_train', train=True, download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True)
model = torchvision.models.resnet50(False)
# Have ResNet model take in grayscale rather than RGB
model.conv1 = torch.nn.Conv2d(1, 64, kernel_size=7, stride=2, padding=3, bias=False)
images, labels = next(iter(trainloader))

grid = torchvision.utils.make_grid(images)
writer.add_image('images', grid, 0)
writer.add_graph(model, images)
writer.close()

然后可以使用 TensorBoard 将其可视化，它应该可以通过以下方式安装和运行：

pip install tensorboard
tensorboard --logdir=runs

一项实验可以记录大量信息。为了避免 UI 混乱并获得更好的结果聚类，我们可以通过分层命名来对图进行分组。例如，在 TensorBoard 界面中，“Loss/train”和“Loss/test”将被分组在一起，而“Accuracy/train”和“Accuracy/test”将被单独分组。

from torch.utils.tensorboard import SummaryWriter
import numpy as np

writer = SummaryWriter()

for n_iter in range(100):
    writer.add_scalar('Loss/train', np.random.random(), n_iter)
    writer.add_scalar('Loss/test', np.random.random(), n_iter)
    writer.add_scalar('Accuracy/train', np.random.random(), n_iter)
    writer.add_scalar('Accuracy/test', np.random.random(), n_iter)

预期结果：

CLASS
torch.utils.tensorboard.writer.SummaryWriter(log_dir=None, comment='', purge_step=None, max_queue=10, flush_secs=120, filename_suffix='')

将条目直接写入 log_dir 中的事件文件以供 TensorBoard 使用。

SummaryWriter 类提供了一个高级 API，用于在给定目录中创建事件文件并向其中添加摘要和事件。该类异步更新文件内容。这允许训练程序直接从训练循环调用方法将数据添加到文件中，而不会减慢训练速度。

init(log_dir=None, comment='', purge_step=None, max_queue=10, flush_secs=120, filename_suffix='')

创建一个将事件和摘要写出到事件文件的 SummaryWriter。

参数：

1、log_dir (string) – 保存目录位置。默认为runs/CURRENT_DATETIME_HOSTNAME，每次运行后都会更改。使用分层文件夹结构轻松比较运行。例如为每个新实验传入“runs/exp1”、“runs/exp2”等，以进行比较。

2、comment (string) – 注释 log_dir 后缀附加到默认 log_dir。如果分配了 log_dir，则此参数无效。

3、purge_step (int) – 当日志记录在步骤 T+X 崩溃并在步骤 T 重新启动时，任何 global_step 大于或等于 T 的事件都将被清除并从 TensorBoard 中隐藏。请注意，崩溃和恢复的实验应该具有相同的 log_dir。

4、max_queue (int) – 在“add”调用之一强制刷新到磁盘之前，挂起事件和摘要的队列大小。默认为十项。

5、flush_secs (int) – 将挂起的事件和摘要刷新到磁盘的频率（以秒为单位）。默认为每两分钟。

6、filename_suffix (string) – 添加到 log_dir 目录中所有事件文件名的后缀。有关 tensorboard.summary.writer.event_file_writer.EventFileWriter 中文件名构造的更多详细信息。

例子：

from torch.utils.tensorboard import SummaryWriter

# create a summary writer with automatically generated folder name.
writer = SummaryWriter()
# folder location: runs/May04_22-14-54_s-MacBook-Pro.local/

# create a summary writer using the specified folder name.
writer = SummaryWriter("my_experiment")
# folder location: my_experiment

# create a summary writer with comment appended.
writer = SummaryWriter(comment="LR_0.1_BATCH_16")
# folder location: runs/May04_22-14-54_s-MacBook-Pro.localLR_0.1_BATCH_16/

add_scalar(tag, scalar_value, global_step=None, walltime=None, new_style=False)

将标量数据添加到汇总中。

参数：

1、tag (string) – 数据标识符

2、scalar_value (float or string/blobname) – 要保存的值

3、global_step (int) – 要记录的全局步长值

4、walltime (float) – 可选覆盖默认的 walltime (time.time()) 与事件纪元后的秒数

5、new_style (boolean) – 是使用新样式（张量字段）还是旧样式（simple_value 字段）。新样式可能会导致更快的数据加载。

例子：

from torch.utils.tensorboard import SummaryWriter
writer = SummaryWriter()
x = range(100)
for i in x:
    writer.add_scalar('y=2x', i * 2, i)
writer.close()

预期结果：

add_scalars(main_tag, tag_scalar_dict, global_step=None, walltime=None)

将许多标量数据添加到摘要中。

参数：

1、main_tag (string) – 标签的父名称

2、tag_scalar_dict (dict) – 存储标签和对应值的键值对

3、global_step (int) – 要记录的全局步长值

4、walltime (float) – 可选覆盖默认 walltime (time.time()) 事件纪元后的秒数

例子：

from torch.utils.tensorboard import SummaryWriter
writer = SummaryWriter()
r = 5
for i in range(100):
    writer.add_scalars('run_14h', {'xsinx':i*np.sin(i/r),
                                    'xcosx':i*np.cos(i/r),
                                    'tanx': np.tan(i/r)}, i)
writer.close()
# This call adds three values to the same scalar plot with the tag
# 'run_14h' in TensorBoard's scalar section.

预期结果：

add_histogram(tag, values, global_step=None, bins='tensorflow', walltime=None, max_bins=None)

将直方图添加到摘要中。

参数：

1、tag (string) – 数据标识符

2、values (torch.Tensor, numpy.array, or string/blobname) – 建立直方图的值

3、global_step (int) – 要记录的全局步长值

4、bins (string) – {'tensorflow','auto', 'fd', ...} 之一。这决定了垃圾箱的制作方式。您可以在以下位置找到其他选项：https://docs.scipy.org/doc/numpy/reference/generated/numpy.histogram.html

5、walltime (float) – 可选覆盖默认 walltime (time.time()) 事件纪元后的秒数

例子：

from torch.utils.tensorboard import SummaryWriter
import numpy as np
writer = SummaryWriter()
for i in range(10):
    x = np.random.random(1000)
    writer.add_histogram('distribution centers', x + i, i)
writer.close()

预期结果：

add_image(tag, img_tensor, global_step=None, walltime=None, dataformats='CHW')

将图像数据添加到摘要中。

请注意，这需要pillow包。

参数：

1、tag (string) – 数据标识符

2、img_tensor (torch.Tensor, numpy.array, or string/blobname) – 图像数据

3、global_step (int) – 要记录的全局步长值

4、walltime (float) – 可选覆盖默认 walltime (time.time()) 事件纪元后的秒数

形状：

img_tensor：默认为（3，H，W）。您可以使用 torchvision.utils.make_grid() 将一批张量转换为 3xHxW 格式或调用 add_images 并让我们完成这项工作。只要传递相应的数据格式参数，带有 (1, H, W), (H,W), (H, W, 3) 的张量也适用，例如 CHW，HWC，HW。

例子：

from torch.utils.tensorboard import SummaryWriter
import numpy as np
img = np.zeros((3, 100, 100))
img[0] = np.arange(0, 10000).reshape(100, 100) / 10000
img[1] = 1 - np.arange(0, 10000).reshape(100, 100) / 10000

img_HWC = np.zeros((100, 100, 3))
img_HWC[:, :, 0] = np.arange(0, 10000).reshape(100, 100) / 10000
img_HWC[:, :, 1] = 1 - np.arange(0, 10000).reshape(100, 100) / 10000

writer = SummaryWriter()
writer.add_image('my_image', img, 0)

# If you have non-default dimension setting, set the dataformats argument.
writer.add_image('my_image_HWC', img_HWC, 0, dataformats='HWC')
writer.close()

预期结果：

add_images(tag, img_tensor, global_step=None, walltime=None, dataformats='NCHW')

将批量图像数据添加到摘要中。

请注意，这需要pillow包。

参数：

1、tag (string) – 数据标识符

2、img_tensor (torch.Tensor, numpy.array, or string/blobname) – 图像数据

3、global_step (int) – 要记录的全局步长值

4、walltime (float) – 可选覆盖默认 walltime (time.time()) 事件纪元后的秒数

5、dataformats (string) – NCHW、NHWC、CHW、HWC、HW、WH 等形式的图像数据格式规范。

形状：

img_tensor：默认为 (N, 3, H, W)。如果指定了数据格式，将接受其他形状。例如 NCHW 或 NHWC。

例子：

from torch.utils.tensorboard import SummaryWriter
import numpy as np

img_batch = np.zeros((16, 3, 100, 100))
for i in range(16):
    img_batch[i, 0] = np.arange(0, 10000).reshape(100, 100) / 10000 / 16 * i
    img_batch[i, 1] = (1 - np.arange(0, 10000).reshape(100, 100) / 10000) / 16 * i

writer = SummaryWriter()
writer.add_images('my_image_batch', img_batch, 0)
writer.close()

预期结果：

码农公寓

CLASStorch.utils.tensorboard.writer.SummaryWriter(log_dir=None, comment='', purge_step=None, max_queue=10, flush_secs=120, filename_suffix='')

__init__(log_dir=None, comment='', purge_step=None, max_queue=10, flush_secs=120, filename_suffix='')

add_scalar(tag, scalar_value, global_step=None, walltime=None, new_style=False)

add_scalars(main_tag, tag_scalar_dict, global_step=None, walltime=None)

add_histogram(tag, values, global_step=None, bins='tensorflow', walltime=None, max_bins=None)

add_image(tag, img_tensor, global_step=None, walltime=None, dataformats='CHW')

add_images(tag, img_tensor, global_step=None, walltime=None, dataformats='NCHW')

相关文章

CLASS
torch.utils.tensorboard.writer.SummaryWriter(log_dir=None, comment='', purge_step=None, max_queue=10, flush_secs=120, filename_suffix='')

init(log_dir=None, comment='', purge_step=None, max_queue=10, flush_secs=120, filename_suffix='')