厉害了!雅虎开源TensorFlowOnSpark

去年雅虎结合了大数据和机器学习领域的两大明星,将内存数据处理框架Spark与深度学习框架Caffe集成。在Spark中编写的应用程序将使用Caffe的训练功能,或者使用经过训练的模型来进行Spark本地机器学习无法实现的预测。


厉害了!雅虎开源TensorFlowOnSpark

今年,雅虎又发了一波大招,最新的Yahoo开源项目TensorFlowOnSpark(TFoS)(Github地址:https://github.com/yahoo/TensorFlowOnSpark)再次融合了深度学习和大数据框架,据说能够更有效地大规模运行,并且几乎没有改变现有的Spark应用程序。

在一篇博客文章中,雅虎的Big ML工程师团队描述了为什么要实现深层思维和大数据的混合,这是为了让TensorFlow更易分布式部署在现有集群上。Databricks的TensorFrames,它同时使用了GPU加速和SparkNet项目,正好与Spark在同一个伯克利实验室创建的。雅虎说:“虽然这些方法是正确的,但在检查完代码后,发现无法使TensorFlow进程直接进行通信,无法实现异步分布式学习 ,我们将不得不花费大量精力来迁移现有的TensorFlow程序。TFoS就是为了应对这类项目中的不足。

TFoS被设计为在现有的Spark和Hadoop集群上运行,并使用现有的Spark库,如SparkSQL或Spark的MLlib机器学习库。雅虎声称现有的TensorFlow程序不需要大量修改就可以使用TFoS。通常,这种改变少于10行Python代码,TensorFlow的并行实例可以直接相互通信,而无需通过Spark本身。数据可以从TensorFlow的本地设备中获取,以便从HDFS或通过Spark读取。

当使用远程直接内存访问(RDMA)时,集群机器学习框架运行速度更快。原来的TensorFlow项目不支持RDMA作为核心功能,雅虎选择创建自己的RDMA支持,并将其添加到TensorFlow的C ++层。

即使没有雅虎的贡献,TensorFlow也取得了飞跃式的进步。第一个完整的1.0版本的框架也引入了优化,使其可以部署在智能手机级硬件上,IBM选择TensorFlow作为其自定义机器学习硬件的深度学习系统。

当涉及到大规模运行时,TensorFlow最直接的竞争对手就是MXNet,亚马逊推出的一款深度学习系统。亚马逊声称MXNet在跨越多节点上更有竞争优势,所以如果你的问题处理过程需要投入硬件,MxNet训练模型速度会更快。这将是值得与TensorFlowOnSpark比较的地方——在大集群上的运行情况和工作便利度。

本文转自d1net(转载)>

上一篇:postgresql 聚合的暗坑


下一篇:mysql 时区与时间函数