51CTO 博客地址:https://blog.51cto.com/14669127
客户需求:作为Azure admin,你正在review如下的Azure体系结构:
估算的体系结构每月成本显示在如下的成本表中:
日志文件是由用户活动生成到Apache Web服务器的,日志文件格式一致,每天大约产生1GB的日志,Microsoft Power BI用于显示每周的用户活动报告,你需要提供一个解决方案,以在维护结构功能的同时最小化成本。
解决方案解析:
Azure Data Factory可以使用数据流活动来转换Azure Blob存储中的数据,而Azcopy是一个命令行工具,可以借助该工具,使用简单的命令将数据复制到Azure Blob Storage、Azure文件或者从其中复制出数据,这些命令旨在实现最佳性能,同时使用Azcopy可以在文件系统和存储账户之间或者在存储中户之间复制数据,Azcopy可以用来将数据从本地复制到存储账户。
如果定期执行数据复制,那么需要创建一个复制的计划任务,比如创建用于运行Azcopy的命令脚本的计划任务或者Cron作业,用来标识新的本地数据,并按特定时间间隔将其上传到云存储中。
所以为了维护结构功能的同时最小化成本,可以在现有的架构上使用Azcopy+CRON计划作业的方式取代Azure Data Factory。
相关资料说明:
· Synchronize with Azure Blob Storage by using Azcopy
· Configure, Optimize and troubleshoot Azcopy
· Copy and transform data in Azure Blob storage by using Azure Data Factory