TorchScript神经网络集成技术

TorchScript神经网络集成技术

create_torchscript_neuropod

将TorchScript模型打包为neuropod包。

create_torchscript_neuropod(

    neuropod_path,

    model_name,

    input_spec,

    output_spec,

    module = None,

    module_path = None,

    input_tensor_device = None,

    default_input_tensor_device = GPU,

    custom_ops = [],

    package_as_zip = True,

    test_input_data = None,

    test_expected_out = None,

    persist_test_data = True,

)

参数

neuropod_path

neuropod输出路径

model_name

model名称

input_spec

指定模型输入的dict列表。对于每个输入,如果shape设置为None,则不对该形状进行验证。如果shape是元组,则根据该元组验证输入的维度。任何维度的值为“无”表示将不检查该维度。数据类型可以是任何有效的numpy数据类型字符串。

Example:

[

    {"name": "x", "dtype": "float32", "shape": (None,)},

    {"name": "y", "dtype": "float32", "shape": (None,)},

]

output_spec

指定模型输出的dict列表。有关详细信息,请参阅input_spec参数的文档。

Example:

[
    {"name": "out", "dtype": "float32", "shape": (None,)},
]

module

default: None

PyTorch脚本模块的实例。此模型应将输出作为字典返回。如果未提供,则必须设置模块路径。

For example, a model may output something like this:

{
    "output1": value1,
    "output2": value2,
}

module_path

default: None

已使用导出的ScriptModule的路径torch.jit.save保存. 如果未提供,则必须设置模块。

input_tensor_device

default: None

dict将输入张量名称映射到模型希望它们在其上的设备。这可以是GPUCPU。此映射中未指定的输入规格input_spec中的任何张量都将使用下面指定的默认输入张量设备default_input_tensor_device             

如果在推断时选择了GPU,则在运行模型之前,神经网络集成软件会将张量移动到适当的设备。否则,它将尝试在CPU上运行模型,并将所有张量(和模型)移到CPU上。             

有关更多信息,请参阅load_neuropod的文档字符串。

Example:

{"x": "GPU

default_input_tensor_device

default: GPU

输入张量的默认设备应该打开。这可以是GPU或CPU。

custom_ops

default: []

要包含在打包的neuropod中的自定义op共享库的路径列表。             

注意:包括定制操作将您的neuropod绑定到定制操作为之构建的特定平台(如Mac、Linux)。用户有责任确保为正确的平台构建自定义操作。

Example:

["/path/to/my/custom_op.so"]

package_as_zip

default: True

是将neuropod打包为一个文件还是一个目录。

test_input_data

default: None

可选样本输入数据。这是一个将输入名称映射到值的dict。如果提供了这一点,则在包装后立即在隔离环境中运行推断,以确保成功创建了神经网络集成软件。如果提供了预期的测试test_expected_out,则必须提供。             

如果推断失败,则引发ValueError。

Example:

{
    "x": np.arange(5),
    "y": np.arange(5),
}

test_expected_out

default: None

可选的预期输出。如果模型推断的输出与预期的输出不匹配,则引发ValueError。

Example:

{
    "out": np.arange(5) + np.arange(5)
}

persist_test_data

default: True

可选地将测试数据保存在包装好的神经网络集成软件内。

 

 

 

上一篇:tanka 基本试用


下一篇:kubernetes部署多种服务yaml文件