最近写python写的尤其不顺利,更多的debug,逐渐的深入,产出却比较少。应该是个瓶颈期,坚持坚持,厚着脸皮也要坚持下去。
0x00 拷贝问题
程序中涉及到多进程和协程,大致的模型是开了2+个进程,每个进程里再开协程(提高多核CPU利用率)。又因为Python的multiprocessing和gevent是对头,某些东西不兼容(比如gevent和multiprocessing.Manager不能同时出现),所以虽然每个进程中做的操作(弱口令扫描)类似,结果存储以及进度方面都是在各个进程里完成的。于是就有了这样的代码:
def process_run():
pool = Pool(3) for count in range(4):
pool.apply_async(gevent_run, args(,)) pool.close()
pool.join() def gevent_run():
num_count = 0
pool = Pool(150) for count in range(500):
pool.add(gevent.spawn(verify_and_count, num_count)) pool.join() def verify_and_count(count):
if poc.verify():
count += 1 if count % 100 == 0:
print"Progress: %d/%d" % (count, all_count)
可以看到我在gevent_run函数里声明了一个num_count变量用于计数(当前扫描进度),也就是为每个进程都申请了一个这样的变量。但是在实际运行的时候,发现并没有输出进度信息,排查后发现count始终为0。
之前在一篇文章里看过Python的拷贝问题,在List和dict的时候,直接传参或者赋值是不会改变对应的变量在内存中的位置的,比如:
>>> a = [1,2,4]
>>> id(a)
42176920
>>> b = a
>>> id(b)
42176920
但是理解有些错误,以为所有的赋值都不会改变。实际上,如果=的右侧是一个新的变量的话,也会创建全新的内存空间,无论是int还是list:
>>> a = [1,2,4]
>>> id(a)
42176920
>>> b = a
>>> id(b)
42176920
>>> a = a + [2,3]
>>> a
[1, 2, 4, 2, 3]
>>> id(a)
42214744
最后解决这个问题,还是用到了list局部赋值,不会改变list本身位置的特点:
>>> a = [0]
>>> id(a)
42214744
>>> id(a[0])
14514580
>>> a[0] += 1
>>> id(a)
42214744
>>> id(a[0])
14514568
0x10 多进程和类对象的问题
class test():
def bb(self, a):
print a def run(self):
pool = Pool(processes=2) for count in range(4):
pool.apply_async(self.bb, args=(count,)) pool.close()
pool.join()
程序看起来没什么问题,但是在实际执行的时候,并没有调用bb函数。但如果是调用非成员函数,就没什么问题。后来同事给出了解决方法:
class test():
def bb(self, a):
print a def run(self):
pool = Pool(processes=2) for count in range(4):
pool.apply_async(self.bb()) pool.close()
pool.join()
看起来是解决了问题,但实际上并没有用到multiprocessing,直接变成了循环函数。后来查了一下资料,得出的结论:
Python2.7 多进程multiprocessing使用的pipe传递方法,实现用的是C pickle_dumpsm,这种方式不支持 instance method 传递。
所以,最一开始的传递方式无效,实际是因传递失败:子进程不会进行检查即不会报错,母进程作为僵尸等待,而子进程无效停止造成母进程结束退出。
http://*.com/questions/14169550/how-to-use-multiprocessing-with-class-instances-in-python
http://*.com/questions/27318290/why-can-i-pass-an-instance-method-to-multiprocessing-process-but-not-a-multipro
最后的解决方法,是把多进程和协程的调度函数放在了类外,这也应该是多进程和类掺和到一块儿的时候,正确的解决办法了吧。
0x20 VMware虚拟机 网络失效 解决方案
今天NAT的网络上不去了,纠结了两个小时,试了很多方案,最后也不知道是哪个起作用了。干脆总结个方法:
1) 我的电脑 - 右键 - 管理 - windows服务 : 开启所有vmware相关的服务,已经开启的重新启动。另外还要开启windows installer。
2) 虚拟机 - 网络首选项 - 恢复默认设置
3) 对应的虚拟机 - 删除原有网卡 - 添加新网卡
4) 删除/etc/network/interfaces里的内容,重新启动网卡