Parallel Python——一个简单的分布式计算系统

如何建立一个高速的分布式计算平台?Parallel python此目的。

Parallel Python(http://www.parallelpython.com/content/view/15/30/#QUICKCLUSTERS)是Python进行分布式计算的开源模块。可以将计算压力分布到多核CPU或集群的多台计算机上。可以很方便的在内网中搭建一个自组织的分布式计算平台。

在不同节点执行server程序,并自己主动发现执行server的节点。命令例如以下:

node-1> ./ppserver.py -a

    node-2> ./ppserver.py -a

    node-3> ./ppserver.py -a

client

import pp

ppservers=("*",)  #自己主动发现模式

    job_server = pp.Server(ppservers=ppservers) 

提交运行的任务

    f1 = job_server.submit(func1, args1, depfuncs1, modules1)

    f2 = job_server.submit(func1, args2, depfuncs1, modules1)

    f3 = job_server.submit(func2, args3, depfuncs2, modules2) 

检索结果

    r1 = f1()

    r2 = f2()

    r3 = f3() 

版权声明:本文博客原创文章,博客,未经同意,不得转载。

上一篇:mapReducer第一个例子WordCount


下一篇:Python数据库备份脚本