AI平台-MLFlow【全栈AI平台】

1 MLFlow简介

AI平台-MLFlow【全栈AI平台】
mlFlow是一个支持机器学习生命周期的框架。这意味着它拥有在训练和运行期间监控模型的组件、存储模型的能力,在生产代码中加载模型以及创建管道。
该框架引入了3个不同的功能:
1. MlFlow追踪
追踪可能是框架最有趣的功能。它允许您围绕模型创建广泛的日志记录框架。您可以定义自定义指标,以便在运行后可以将输出与先前的运行进行比较。
2. MlFlow项目
此功能允许您根据需要创建管道。此功能使用自己的模板来定义您希望如何在云环境中运行模型。由于大多数公司都有办法在生产环境中运行代码,因此您可能不太关心此功能。
3. MlFlow模型
最后我们有模型功能。 mlFlow Model是包装机器学习模型的标准格式,可以在各种下游工具中进行使用 - 例如,通过REST API实时提供服务或在Apache Spark上进行批量推理。

理论完成:时间到了

那么这个理论总是很好,但是现在是时候进行更多的实践。首先,我们需要在实际启动之前启动mlFlow服务器。为了做到这一点,我创建了一个docker容器,以便于部署。

2. MLflow:全新的开源机器学习平台

MLflow 从现有 ML 平台中得到灵感,在设计上拥有以下两项开放理念:

  • 开放的交互界面
    MLflow 被设计成支持所有 ML 库、算法、部署工具和语言,它围绕 REST API 和可以从多种工具中应用的简单数据格式(如将模型看作 lambda 函数 )建立,而不是仅支持少量内建功能。这带来一个立竿见影的好处:可以轻易将 MLflow 加入现有代码中,同时,在组内分享可执行的使用任意 ML 库的代码也变得简单。
  • 开源
    MLflow 是一个开源项目,用户和工具库开发者能对其进行扩展。另外,如果你希望开源自己的代码,得益于 MLflow 的开放格式,在组织间共享工作流步骤和模型十分简单。

3. 参考资料

  1. https://databricks.com/blog/2018/06/05/introducing-mlflow-an-open-source-machine-learning-platform.html?utm_source=tuicool&utm_medium=referral
  2. 官网:https://www.mlflow.org/
上一篇:开源-开源公司-Apache


下一篇:AI平台-Spark引擎架构