问题描述
Json格式的数据目前是存储在Azure Blob中,如何将这些数据Load到Sql DB和CosmosDB中呢?
测试方案
使用Azure流分析服务(Stream Analytics)功能可以满足以上的问题要求。测试结果如下:
一:流分析输出结果到SQL DB中
如图,在Stream Analytics中配置输入为Blob,而输出则指定为SQL数据库,在查询语句中使用SQL语言即可。执行结果如下:
关于如何配置流分析服务,可以参考官方文档:
Azure 流分析的输入: https://docs.azure.cn/zh-cn/stream-analytics/stream-analytics-add-inputs
Azure 流分析的输出: https://docs.azure.cn/zh-cn/stream-analytics/stream-analytics-define-outputs
二:流分析输出结果到CosmosDB中
1) 创建CosmosDB以及对应的container (注意CosmosDB创建时要选择SQL API的,创建Container时的PartitionId key值为/PartitionId )
2) 流分析的sql语句(全部查询)
注:如只需要部分数据,则在SQL语句中添加字段名及Where条件
3) 配置流分析的兼容性级别为1.1
4) 运行作业后,最终我们可以看到blob中的json数据成功的流到了Cosmos DB,如下