一、 养猪场的数据分析需求
现代化养猪场具有如下特点:规模化、工业化、跨界养猪、周期较长、对安全重视、管理精细化、信息化程度较高。
注重各项经济指标,如:提高生猪综合成活率、降低饲料消耗与增重比(即料肉比)、节省饲料、节能降耗。
大型猪场具备较完整的信息化系统,具体如下图所示:
猪场数据分析需求如下:
1、 业务需求:
A. 老板:
价格分析:各地猪肉价格,猪粮比=猪肉价格/饲料价格
本月可出售量分析:超过一定重量的猪的数量
资产分析:不同类别生猪价格*存栏生猪总重量总和
B. 场长
存栏量分析:据此制定经营生产计划
C. 生产线主管:
关心猪是否生病:猪体温超标预警,避免猪瘟等疾病爆发
检验检疫记录分析
2、 技术需求:
A. 自动采集多个不同数据源的数据,包括:
自动监控系统
信息管理系统
来自于互联网上的各种价格数据
B. 实时采集、实时分析、实时展示、实时告警
C. 能预测相关指标
D. 如有问题能通过各种方式进行提醒、预警
E. 数据分析相关系统投入不能太大
以下为主要分析需求示例:
1、 猪价分析
A. 全国或不同省份、不同生猪类型的猪价实时分析图
B. 全国或不同省份玉米价格的实时分析图
C. 全国或不同省份猪粮比实时分析图
猪粮比为重要经济指标,超过或低于特定门限需要预警,如下图所示:
2、 存栏量分析
A. 全国三个猪场存栏量实时展示
B. 超过或低于正常存栏量20%视为异常,进行预警
3、 猪体温分析(疫情分析)
根据资料,猪的体温有以下特点:
本案例中简单起见,分为三种生猪:
1、小猪:正常体温 39.3 度
2、母猪:正常体温 38.7 度
3、公猪:正常体温 38.4 度
生猪体温超过正常体温0.5度即视为不正常体温,进行预警。
4、 资产分析
各猪场存栏生猪总资产实时展示
总资产 V = ∑(Pi * ∑Wi)
i: 生猪类别,包括外三元、内三元、土杂猪
Pi: 不同类型生猪价格
∑Wi:为存栏不同种类的生猪体重之和
5、 本月可出售量分析
生猪养殖超过6个月可以出栏销售。根据猪的出生日期,超过6个月为本月可出售数量、重量、总价格。对这些指标进行实时展示
6、 检验检疫分析
疫苗接种,每头猪接种一次(按以下顺序,前一种疫苗接种了才能接种后续疫苗):
SF1 猪瘟疫苗
FMD 口蹄疫疫苗
SF2 猪瘟疫苗 AR1 萎鼻疫苗
JE 乙脑疫苗(前序疫苗为AR1,不需要SF2)
PPV 细小病毒疫苗
AD 伪狂犬疫苗
二、 如何使用DataFlux进行养猪场数据分析
DataFlux是实时大数据分析平台。通过对任何来源、类型、规模的实时数据进行监控、分析和处理,释放数据价值,帮助企业从数据中洞察业务并有效预测,进而做出决策并采取行动,助力商业决策。
DataFlux的功能如下:
1、 多渠道数据采集和实时处理:支持云端数据采集、应用数据采集、日志数据采集、时序数据上报、常用数据库的数据汇聚;数据存储可无限扩展,实时处理和分析海量数据
2、 灵活构建面向不同业务场景的数据洞察:支持云产品性能监控、IT 设备监控、用户行为分析等数据洞察,并支持通过自定义 SQL 查询和检索实时数据,提供丰富的可视化监控视图
3、 简单易用的告警触发器和基线:支持自定义基线和触发动作,快速定位业务异常发生的时间范围,同时支持多个检测指标和触发条件的实时数据监测告警
4、 预测和数据交叉分析:对于任何来源的实时数据进行多维度交叉分析,基于智能算法进行预测,实现数据洞察和科学的业务决策
DataFlux功能全图如下:
猪场分析事实数据源可能来自于:
自动监控系统数据
管理信息系统数据
来自互联网的价格数据
手工录入数据
本案例中由DataMock模拟数据源生成数据,并实施上报数据到数据网关DataWay。最终在DataFlux中完成数据统一存储、处理、数据洞察,支持各应用场景的实现。如下图所示:
三、 基于DataMock模拟生成养猪场数据
通过 DataMock 数据模拟器,用户可以:
• 生成模拟数据上报到 DataFlux 中心
• 基于模拟数据可以快速构建和验证自身的数据洞察场景,即 DataKit 和 DataWay 是否正常工作。
DataMock数据模拟器的使用:
1、 下载安装
在DataFlux的主页的“集成”页面获得DataMock的下载地址(Windows、Linux、Mac版本),解压即可,获得两个文件:
可执行文件 datamock
配置文件 config.yaml
2、 配置
写配置文件config.yaml是非常重要的环节。配置文件主要包括两个部分:
DataWay网关地址,可以是云端DataWay或本地Dataway。
Measurement指标集配置
本案例中模拟的指标集有四个:
价格指标集
生猪库存指标集
疫苗接种指标集
体检指标集
具体如下:
具体配置如下:
3、 启动
赋予DataMock可执行权限后直接启动即可,生成样例数据如下:
四、 养猪场数据洞察
在 DataFlux 中,用户可以根据不同的视角构建不同的洞察「场景」,通过查看场景下的数据可视化图表分析,从而满足不同业务的场景需求和数据分析。
步骤如下:
1、 添加场景
2、 添加节点
3、 可视化的分析和检索
最终的洞察结果可以通过图表和数据集展现。
其中数据的计算有三种方式,按照从易到难排序:
1、 UI直接处理数据
2、 使用SQL处理
3、 使用函数平台进行实时数据处理开发。
处理步骤:
1、 创建场景
2、 添加节点
3、 添加图表
UI直接添加
价格分析
体温分析
体检检疫流程分析
时序数据库SQL语句计算
猪粮比分析
存栏量分析
利用DataFlux.f(x),它是DataFlux 附带的基于Python 3的可编程数据处理组件,主要目的在于进一步拓展DataFlux在数据处理、展示方面的能力,在统一的平台上实现针对不同场景、行业、领域的专业化进阶功能。
资产分析
可出售量分析
并且可以配置自动触发设置,如下:
4、 告警触发设置
“体温超标“触发规则设置步骤
采用钉钉告警:
“猪粮比超限”触发规则设置步骤
五、 总结
本文首先介绍了DataMock生成养猪场模拟数据,然后基于DataFlux进行养猪场数据实时分析。初步熟悉了这两个产品的情况下,1天即可完成全流程的模拟和分析,DataFlux具有门槛低、速度快、实时性强、功能全面的特点。