构建深度学习框架运行平台

构建深度学习框架运行平台            

将为TensorFlow、PyTorch和TorchScript之外的元素构建一个简单的深度学习框架运行平台模型。将展示如何从Python和C++运行推理。             

打包和推断接口还具有全面的文档字符串,并提供了API的更详细用法。    

打包一个模型             

包装模型的第一步是定义一个“问题”(例如,2d对象检测)。 “问题”由四个部分组成:             

输入规格             

指定输入张量的名称、数据类型和形状的dict列表             

输出规格             

指定输出张量的名称、数据类型和形状的dict列表             

测试输入数据(可选)             

如果提供了,将在打包后立即运行推断,以验证模型打包是否正确。如果提供了测试输出数据,则必须提供             

测试输出数据(可选)             

如果提供,将用测试输入数据测试推理输出是否与测试输出数据匹配。

张量的形状可以不包含任何值,在这种情况下,任何值都是可接受的。也可以在这些形状定义中使用“符号”。该符号的每个实例必须在运行时解析为相同的值。例如,加法模型的问题定义:

INPUT_SPEC = [

    # A one dimensional tensor of any size with dtype float32

    {"name": "x", "dtype": "float32", "shape": ("num_inputs",)},

    # A one dimensional tensor of the same size with dtype float32

    {"name": "y", "dtype": "float32", "shape": ("num_inputs",)},

]

 

OUTPUT_SPEC = [

    # The sum of the two tensors

    {"name": "out", "dtype": "float32", "shape": (None,)},

]

 

TEST_INPUT_DATA = {

    "x": np.arange(5, dtype=np.float32),

    "y": np.arange(5, dtype=np.float32),

}

 

TEST_EXPECTED_OUT = {

    "out": np.arange(5) + np.arange(5)

}

x和y形状的符号num_inputs在运行时必须解析为相同的值。             

现在已经定义了一个问题,将看到如何在每个当前支持的DL框架中打包一个模型。             

TensorFlow有两种方法可以打包TensorFlow模型。一个是带GraphDef的,另一个是带到冻结图的路径的。这两种方法都需要一个node_name_mapping,该映射将问题定义(见上文)中的张量名称映射到张量流图中的节点。             

图表             

如果有一个返回GraphDef的函数:

import tensorflow as tf

def create_tf_addition_model():

    """

    A simple addition model

    """

    g = tf.Graph()

    with g.as_default():

        with tf.name_scope("some_namespace"):

            x = tf.placeholder(tf.float32, name="in_x")

            y = tf.placeholder(tf.float32, name="in_y")

 

            out = tf.add(x, y, name="out")

 

return g.as_graph_def()      、

可以将模型打包如下:

from neuropod.packagers import create_tensorflow_neuropod

create_tensorflow_neuropod(

    neuropod_path=neuropod_path,

    model_name="addition_model",

    graph_def=create_tf_addition_model(),

    node_name_mapping={

        "x": "some_namespace/in_x:0",

        "y": "some_namespace/in_y:0",

        "out": "some_namespace/out:0",

    },

    input_spec=addition_problem_definition.INPUT_SPEC,

    output_spec=addition_problem_definition.OUTPUT_SPEC,

    test_input_data=addition_problem_definition.TEST_INPUT_DATA,

    test_expected_out=addition_problem_definition.TEST_EXPECTED_OUT,

)

提示

create_tensorflow_neuropod在创建之后立即使用测试数据运行推断。如果模型输出与预期输出不匹配,则引发ValueError。

冻结图表的路径             

已经有一个冻结的图形,则可以将模型打包如下:

from neuropod.packagers import create_tensorflow_neuropod

create_tensorflow_neuropod(

    neuropod_path=neuropod_path,

    model_name="addition_model",

    frozen_graph_path="/path/to/my/frozen.graph",

    node_name_mapping={

        "x": "some_namespace/in_x:0",

        "y": "some_namespace/in_y:0",

        "out": "some_namespace/out:0",

    },

    input_spec=addition_problem_definition.INPUT_SPEC,

    output_spec=addition_problem_definition.OUTPUT_SPEC,

    test_input_data=addition_problem_definition.TEST_INPUT_DATA,

    test_expected_out=addition_problem_definition.TEST_EXPECTED_OUT,

)

提示

create_tensorflow_neuropod在创建之后立即使用测试数据运行推断。如果模型输出与预期输出不匹配,则引发ValueError。

PyTorch

提示

打包PyTorch模型有点复杂,因为运行网络需要python代码和权重。              

如果可能,建议将模型转换为TorchScript。

为了创建Pythorch Europod包,需要遵循以下几条准则:             

只要运行时环境安装了包,绝对导入(例如导入torch)就可以。

对于Python 3,包中的所有其他导入都必须是相对的              与TensorFlow/TorchScript/Keras包相比,这种类型的包的灵活性稍低,因为绝对导入引入了对运行时环境的依赖。这将在将来的版本中得到改进。             

假设的加法模型是这样的(存储在/my/model/code/dir/main.py):

import torch

import torch.nn as nn

class AdditionModel(nn.Module):

  def forward(self, x, y):

      return {

          "out": x + y

      }

def get_model(data_root):

  return AdditionModel()

为了打包,需要4样东西:             

要存储的任何数据的路径(例如,模型权重)             

代码的python_root的路径以及要打包的python_root中任何dir的相对路径             

返回给定打包数据路径的模型的入口点函数。

模型的依赖关系。这些应该是python包。

提示

有关每个参数的详细说明,请参阅create_pytorch_eminod的API文档

对于模型:             

不需要存储任何数据(因为我们的模型没有权重)             

python根目录是/my/model/code/dir,希望将所有代码存储在其中             

entrypoint函数是get_模型,entrypoint_包是main(因为代码在主.py在python根目录中)              这意味着:

from neuropod.packagers import create_pytorch_neuropod

create_pytorch_neuropod(

    neuropod_path=neuropod_path,

    model_name="addition_model",

    data_paths=[],

    code_path_spec=[{

        "python_root": '/my/model/code/dir',

        "dirs_to_package": [

            ""  # Package everything in the python_root

        ],

    }],

    entrypoint_package="main",

    entrypoint="get_model",

    input_spec=addition_problem_definition.INPUT_SPEC,

    output_spec=addition_problem_definition.OUTPUT_SPEC,

    test_input_data=addition_problem_definition.TEST_INPUT_DATA,

    test_expected_out=addition_problem_definition.TEST_EXPECTED_OUT,

)

提示

create_pytorch_neuropod创建后立即使用测试数据运行推断。如果模型输出与预期输出不匹配,则引发ValueError。

TorchScript

TorchScript比PyTorch更容易打包(因为不需要存储任何python代码)。             

如果有一个附加模型,它看起来像:

import torch

class AdditionModel(torch.jit.ScriptModule):

    """

    A simple addition model

    """

    @torch.jit.script_method

    def forward(self, x, y):

        return {

            "out": x + y

        }

可以通过运行以下命令对其进行打包:

from neuropod.packagers import create_torchscript_neuropod

create_torchscript_neuropod(

    neuropod_path=neuropod_path,

    model_name="addition_model",

    module=AdditionModel(),

    input_spec=addition_problem_definition.INPUT_SPEC,

    output_spec=addition_problem_definition.OUTPUT_SPEC,

    test_input_data=addition_problem_definition.TEST_INPUT_DATA,

test_expected_out=addition_problem_definition.TEST_EXPECTED_OUT,

提示

create_torchscript_neuropod在创建后立即使用测试数据运行推断。如果模型输出与预期输出不匹配,则引发ValueError。

Keras

如果有一个Keras附加模型,它看起来像:

def create_keras_addition_model():

    """

    A simple addition model

    """

    x = Input(batch_shape=(None,), name="x")

    y = Input(batch_shape=(None,), name="y")

    out = Add(name="out")([x, y])

    model = Model(inputs=[x, y], outputs=[out])

    return model

可以通过运行:

from neuropod.packagers import create_keras_neuropod

create_keras_neuropod(

    neuropod_path=neuropod_path,

    model_name="addition_model",

    sess=tf.keras.backend.get_session(),

    model=create_keras_addition_model(),

    input_spec=addition_problem_definition.INPUT_SPEC,

    output_spec=addition_problem_definition.OUTPUT_SPEC,

    test_input_data=addition_problem_definition.TEST_INPUT_DATA,

    test_expected_out=addition_problem_definition.TEST_EXPECTED_OUT,

)

提示

create_keras_neurood在创建之后立即使用测试数据运行推断。如果模型输出与预期输出不匹配,则引发ValueError。

Python

打包aribtrary Python代码具有与上面打包PyTorch相同的接口。             

例如,请参见上面的PyTorch部分,并使用create_python_neurood而不是create_PyTorch_neurood             

运行推理             

不管底层的DL框架是什么,推理都是完全相同的             

来自Python

x = np.array([1, 2, 3, 4])

y = np.array([5, 6, 7, 8])

with load_neuropod(ADDITION_MODEL_PATH) as neuropod:

  results = neuropod.infer({"x": x, "y": y})

  # array([6, 8, 10, 12])

  print results["out"]

From C++

#include "neuropod/neuropod.hh"

int main()

{

    const std::vector<int64_t> shape = {4};

 

    // To show two different ways of adding data, one of our inputs is an array

    // and the other is a vector.

    const float[]            x_data = {1, 2, 3, 4};

    const std::vector<float> y_data = {5, 6, 7, 8};

    // Load the neuropod

    Neuropod neuropod(ADDITION_MODEL_PATH);

 

    // Add the input data using two different signatures of `copy_from`

    // (one with a pointer and size, one with a vector)

    auto x_tensor = neuropod.allocate_tensor<float>(shape);

    x_tensor->copy_from(x_data, 4);

 

    auto y_tensor = neuropod.allocate_tensor<float>(shape);

    y_tensor->copy_from(y_data);

 

    // Run inference

    const auto output_data = neuropod.infer({

        {"x", x_tensor},

        {"y", y_tensor}

    });

 

    const auto out_tensor = output_data->at("out");

 

    // {6, 8, 10, 12}

    const auto out_vector = out_tensor->as_typed_tensor<float>()->get_data_as_vector();

    // {4}

    const auto out_shape  = out_tensor->get_dims();

}

提示

这显示了C++ API的基本用法。为了更灵活和高效地使用内存,请参阅C++ API文档。

附录             

问题定义示例             

二维目标检测的问题定义可能如下所示:

INPUT_SPEC = [

    # BGR image

    {"name": "image", "dtype": "uint8", "shape": (1200, 1920, 3)},

]

OUTPUT_SPEC = [

    # shape: (num_detections, 4): (xmin, ymin, xmax, ymax)

    # These values are in units of pixels. The origin is the top left corner

    # with positive X to the right and positive Y towards the bottom of the image

    {"name": "boxes", "dtype": "float32", "shape": ("num_detections", 4)},

    # The list of classes that the network can output

    # This must be some subset of ['vehicle', 'person', 'motorcycle', 'bicycle']

    {"name": "supported_object_classes", "dtype": "string", "shape": ("num_classes",)},

    # The probability of each class for each detection

    # These should all be floats between 0 and 1

    {"name": "object_class_probability", "dtype": "float32", "shape": ("num_detections", "num_classes")},

]

上一篇:「一本通 1.3 例 4」Addition Chains


下一篇:[NWRRC2016] Digital Addition(DP/模拟)