MindSpore部署图像分割示例程序

2023-01-05 20:06:33

MindSpore部署图像分割示例程序

本端侧图像分割Android示例程序使用Java实现，Java层主要通过Android Camera 2 API实现摄像头获取图像帧，进行相应的图像处理，之后调用Java API 完成模型推理。

此处详细说明示例程序的Java层图像处理及模型推理实现，Java层运用Android Camera 2 API实现开启设备摄像头以及图像帧处理等功能，需读者具备一定的Android开发基础知识。

示例程序结构

app

├── src/main

│ ├── assets # 资源文件

| | └── deeplabv3.ms # 存放模型文件

│ |

│ ├── java # java层应用代码

│ │ └── com.mindspore.imagesegmentation

│ │ ├── help # 图像处理及MindSpore Java调用相关实现

│ │ │ └── ImageUtils # 图像预处理

│ │ │ └── ModelTrackingResult # 推理数据后处理

│ │ │ └── TrackingMobile # 模型加载、构建计算图和推理

│ │ └── BitmapUtils # 图像处理

│ │ └── MainActivity # 交互主页面

│ │ └── OnBackgroundImageListener # 获取相册图像

│ │ └── StyleRecycleViewAdapter # 获取相册图像

│ │

│ ├── res # 存放Android相关的资源文件

│ └── AndroidManifest.xml # Android配置文件

│

├── CMakeList.txt # cmake编译入口文件

│

├── build.gradle # 其他Android配置文件

├── download.gradle # 工程依赖文件下载

└── ...

配置MindSpore Lite依赖项

Android 调用MindSpore Java API时，需要相关库文件支持。可通过MindSpore Lite源码编译生成mindspore-lite-{version}-minddata-{os}-{device}.tar.gz库文件包并解压缩（包含libmindspore-lite.so库文件和相关头文件），在本例中需使用生成带图像预处理模块的编译命令。

version：输出件版本号，与所编译的分支代码对应的版本一致。

device：当前分为cpu（内置CPU算子）和gpu（内置CPU和GPU算子）。

os：输出件应部署的操作系统。

本示例中，build过程由download.gradle文件自动下载MindSpore Lite 版本文件，并放置在app/src/main/cpp/目录下。

若自动下载失败，请手动下载相关库文件，解压并放在对应位置：

mindspore-lite-1.0.1-runtime-arm64-cpu.tar.gz 下载链接

在app的build.gradle文件中配置CMake编译支持，以及arm64-v8a的编译支持，如下所示：

android{

defaultConfig{

externalNativeBuild{

cmake{

arguments "-DANDROID_STL=c++_shared"

}

ndk{

abiFilters 'arm64-v8a'

}

在app/CMakeLists.txt文件中建立.so库文件链接，如下所示。

# ============== Set MindSpore Dependencies. =============

include_directories(${CMAKE_SOURCE_DIR}/src/main/cpp)

include_directories(${CMAKE_SOURCE_DIR}/src/main/cpp/${MINDSPORELITE_VERSION}/third_party/flatbuffers/include)

include_directories(${CMAKE_SOURCE_DIR}/src/main/cpp/${MINDSPORELITE_VERSION})

include_directories(${CMAKE_SOURCE_DIR}/src/main/cpp/${MINDSPORELITE_VERSION}/include)

include_directories(${CMAKE_SOURCE_DIR}/src/main/cpp/${MINDSPORELITE_VERSION}/include/ir/dtype)

include_directories(${CMAKE_SOURCE_DIR}/src/main/cpp/${MINDSPORELITE_VERSION}/include/schema)

add_library(mindspore-lite SHARED IMPORTED )

add_library(minddata-lite SHARED IMPORTED )

set_target_properties(mindspore-lite PROPERTIES IMPORTED_LOCATION

${CMAKE_SOURCE_DIR}/src/main/cpp/${MINDSPORELITE_VERSION}/lib/libmindspore-lite.so)

set_target_properties(minddata-lite PROPERTIES IMPORTED_LOCATION

${CMAKE_SOURCE_DIR}/src/main/cpp/${MINDSPORELITE_VERSION}/lib/libminddata-lite.so)

# --------------- MindSpore Lite set End. --------------------

# Link target library.

target_link_libraries(

...

# --- mindspore ---

minddata-lite

mindspore-lite

...

)

下载及部署模型文件

从MindSpore Model Hub中下载模型文件，本示例程序中使用的终端图像分割模型文件为deeplabv3.ms，同样通过download.gradle脚本在APP构建时自动下载，并放置在app/src/main/assets工程目录下。

若下载失败请手动下载模型文件，deeplabv3.ms 下载链接。

编写端侧推理代码

调用MindSpore Lite Java API实现端测推理。

推理代码流程如下，完整代码请参见src/java/TrackingMobile.java。

加载MindSpore Lite模型文件，构建上下文、会话以及用于推理的计算图。

加载模型文件：创建并配置用于模型推理的上下文

// Create context and load the .ms model named 'IMAGESEGMENTATIONMODEL'
model = new Model();
if (!model.loadModel(Context, IMAGESEGMENTATIONMODEL)) {
Log.e(TAG, "Load Model failed");
return;

}

创建会话

// Create and init config.

msConfig = new MSConfig();

if (!msConfig.init(DeviceType.DT_CPU, 2, CpuBindMode.MID_CPU)) {

Log.e(TAG, "Init context failed");

return;

}

// Create the MindSpore lite session.

session = new LiteSession();

if (!session.init(msConfig)) {

Log.e(TAG, "Create session failed");

msConfig.free();

return;

}

msConfig.free();

构建计算图

if (!session.compileGraph(model)) {

Log.e(TAG, "Compile graph failed");

model.freeBuffer();

return;

}

// Note: when use model.freeBuffer(), the model can not be compile graph again.

model.freeBuffer();

将输入图片转换为传入MindSpore模型的Tensor格式。

List<MSTensor> inputs = session.getInputs();
if (inputs.size() != 1) {
10. Log.e(TAG, "inputs.size() != 1");
11. return null;

12. }

14. // `bitmap` is the picture used to infer.

15. float resource_height = bitmap.getHeight();

16. float resource_weight = bitmap.getWidth();

17. ByteBuffer contentArray = bitmapToByteBuffer(bitmap, imageSize, imageSize, IMAGE_MEAN, IMAGE_STD);

19. MSTensor inTensor = inputs.get(0);

inTensor.setData(contentArray);

对输入Tensor按照模型进行推理，获取输出Tensor，并进行后处理。

图执行，端侧推理。

21. // After the model and image tensor data is loaded, run inference.

22. if (!session.runGraph()) {

23. Log.e(TAG, "Run graph failed");
24. return null;

}

获取输出数据。

// Get output tensor values, the model only outputs one tensor.

List<String> tensorNames = session.getOutputTensorNames();

MSTensor output = session.getOutputByTensorName(tensorNames.front());

if (output == null) {

Log.e(TAG, "Can not find output " + tensorName);

return null;

}

输出数据的后续处理。

// Show output as pictures.

float[] results = output.getFloatData();

ByteBuffer bytebuffer_results = floatArrayToByteArray(results);

Bitmap dstBitmap = convertBytebufferMaskToBitmap(bytebuffer_results, imageSize, imageSize, bitmap, dstBitmap, segmentColors);

dstBitmap = scaleBitmapAndKeepRatio(dstBitmap, (int) resource_height, (int) resource_weight);

图片处理及输出数据后处理请参考如下代码。

26. Bitmap scaleBitmapAndKeepRatio(Bitmap targetBmp, int reqHeightInPixels, int reqWidthInPixels) {

27. if (targetBmp.getHeight() == reqHeightInPixels && targetBmp.getWidth() == reqWidthInPixels) {
28. return targetBmp;
29. }
30.
31. Matrix matrix = new Matrix();
32. matrix.setRectToRect(new RectF(0f, 0f, targetBmp.getWidth(), targetBmp.getHeight()),
33. new RectF(0f, 0f, reqWidthInPixels, reqHeightInPixels), Matrix.ScaleToFit.FILL;
34.
35. return Bitmap.createBitmap(targetBmp, 0, 0, targetBmp.getWidth(), targetBmp.getHeight(), matrix, true);

36. }

38. ByteBuffer bitmapToByteBuffer(Bitmap bitmapIn, int width, int height, float mean, float std) {

39. Bitmap bitmap = scaleBitmapAndKeepRatio(bitmapIn, width, height);
40. ByteBuffer inputImage = ByteBuffer.allocateDirect(1 * width * height * 3 * 4);
41. inputImage.order(ByteOrder.nativeOrder());
42. inputImage.rewind();
43. int[] intValues = new int[width * height];
44. bitmap.getPixels(intValues, 0, width, 0, 0, width, height);
45. int pixel = 0;
46. for (int y = 0; y < height; y++) {
47. for (int x = 0; x < width; x++) {
48. int value = intValues[pixel++];
49. inputImage.putFloat(((float) (value >> 16 & 255) - mean) / std);
50. inputImage.putFloat(((float) (value >> 8 & 255) - mean) / std);
51. inputImage.putFloat(((float) (value & 255) - mean) / std);
52. }
53. }
54. inputImage.rewind();
55. return inputImage;

56. }

58. ByteBuffer floatArrayToByteArray(float[] floats) {

59. ByteBuffer buffer = ByteBuffer.allocate(4 * floats.length);
60. FloatBuffer floatBuffer = buffer.asFloatBuffer();
61. floatBuffer.put(floats);
62. return buffer;

63. }

65. Bitmap convertBytebufferMaskToBitmap(ByteBuffer inputBuffer, int imageWidth, int imageHeight, Bitmap backgroundImage, int[] colors) {

66. Bitmap.Config conf = Bitmap.Config.ARGB_8888;
67. Bitmap dstBitmap = Bitmap.createBitmap(imageWidth, imageHeight, conf);
68. Bitmap scaledBackgroundImage = scaleBitmapAndKeepRatio(backgroundImage, imageWidth, imageHeight);
69. int[][] mSegmentBits = new int[imageWidth][imageHeight];
70. inputBuffer.rewind();
71. for (int y = 0; y < imageHeight; y++) {
72. for (int x = 0; x < imageWidth; x++) {
73. float maxVal = 0f;
74. mSegmentBits[x][y] = 0;
75. // NUM_CLASSES is the number of labels, the value here is 21.
76. for (int i = 0; i < NUM_CLASSES; i++) {
77. float value = inputBuffer.getFloat((y * imageWidth * NUM_CLASSES + x * NUM_CLASSES + i) * 4);
78. if (i == 0 || value > maxVal) {
79. maxVal = value;
80. // Check whether a pixel belongs to a person whose label is 15.
81. if (i == 15) {
82. mSegmentBits[x][y] = i;
83. } else {
84. mSegmentBits[x][y] = 0;
85. }
86. }
87. }
88. itemsFound.add(mSegmentBits[x][y]);
89.
90. int newPixelColor = ColorUtils.compositeColors(
91. colors[mSegmentBits[x][y] == 0 ? 0 : 1],
92. scaledBackgroundImage.getPixel(x, y)
93. );
94. dstBitmap.setPixel(x, y, mSegmentBits[x][y] == 0 ? colors[0] : scaledBackgroundImage.getPixel(x, y));
95. }
96. }
97. return dstBitmap;

}

码农公寓

相关文章