SAP下载报表速度慢?为啥你不试试python多线程

  由于SAP系统自身原因,或者公司内部ABAP代码的算法效率不高,我们经常遇到,手工执行某个事务代码下载某个报表会非常耗时,小爬曾见过公司某个自开发的报表,单家公司的数据下载超过半小时。如果我们刚好接到一个自动化需求:批量下载N个公司的某些报表数据,即使我们用python脚本实现了该场景的自动化,效率依然不高。

 

  或许我们可以尝试python的多线程技术来加速。这应该是个好主意,现在小爬就带着大家往多线程这个方向思考。

  SAP GUI的会话数量一般都有限制,各个公司的SAP策略或有不同,在小爬所在的公司,SAP GUI客户端允许的会话数不超过6,我们不妨用多个会话分别去下载数据。小爬遇到的场景是:有N家公司,分别进入4个事务代码下载四张不同的表,这四张表的导出速度各有不同,有的较快,有的极慢。

方案一:我们启用四个sap会话,分别下载这四张表,每次参数中传入不同的公司代码;

方案二:我们开启最大SAP会话数6,每个会话都执行一些公司代码,也都会下载到这四张表。

  仔细思考后不难发现,方案二可以将下载速度最大化。方案一中各个会话对应的报表下载速度各不相同,最终速度受最慢的那个影响,而且它只能根据四张报表来启用四个会话线程;而方案一,则可以同时开启六个SAP会话线程,且每个会话下都会下载这四张表,无形中,避免了”一个会话在苦战,其它会话全围观“的尴尬局面。

  具体到代码层面,我们需要批量创建多个sap会话,新建一个全局的任务队列companyQ,每个sap会话独自不停去队列中取任务(下载需要的参数),驱动各自负责的SAP会话来完成数据的下载,当队列中所有任务都完成了,意味着线程结束。等以上思路都琢磨明白了,代码该怎么写就不再是一个问题了。

第一步:定义连接sap的方法,并自动开启N个session会话

第二部:定义下载SAP数据的方法

第三步:开启多个线程,分别调用同一个方法,传入不同session的index作为参数,实现对多个会话的自动化控制

def connect_SAP(maxSessionNum):
    '''连接SAP,并创建maxSessionNum个session会话,返回session列表(含session索引)'''
    SapGuiAuto = win32com.client.GetObject("SAPGUI")
    application = SapGuiAuto.GetScriptingEngine
    connection = application.Children(0)
    indexSessions=[]
    session=connection.Children(0)
    cnt=connection.Children.Count
    if cnt<maxSessionNum:
        for _ in range(maxSessionNum-cnt):
            session.Createsession()
            sleep(0.5)
    sleep(2)
    for index,session in enumerate(connection.Children):
        indexSessions.append([index,session])
    SapGuiAuto=None
    application=None
    connection=None
    session=None
    return indexSessions

def exportSapData(sessionIndex):
    '''给定公司代码,期间,依次导出应收社保、公积金,应付社保、公积金报表数据'''
    pythoncom.CoInitialize()
    SapGuiAuto = win32com.client.GetObject("SAPGUI")
    application = SapGuiAuto.GetScriptingEngine
    connection = application.Children(0)
    session=connection.Children(sessionIndex)

    '''输入zhr054,导出HR社保往来挂账应付公积金明细表'''
    session.findById("wnd[0]").iconify() 
    unfinishedNum=companyQ.unfinished_tasks
    while True:
        lk.acquire()
        if not companyQ.empty():
            companyCode=companyQ.get(block=False)
        else:
            lk.release()
            break
        lk.release()
        downloadFunc(companyCode,reportPeriod)

  下面的代码便演示了如何借助python多线程技术,针对每个线程,传入的参数就是session的索引号(0-6),最终把他们分别启动起来~

connect_SAP(maxSessionNum=5) sleep(3) threads = [] for i in range(6):     threads.append(threading.Thread(target=exportSapData,args=(i,))) for companyCode in companies:     companyQ.put(companyCode) for t in threads:     t.setDaemon(True)     t.start() for t in threads:     t.join()   print ("all over %s" %ctime()) endtime = datetime.datetime.now() secs = (endtime - starttime).seconds minutes = secs // 60 second = secs % 60   timeStr = str(minutes) + '分钟' + str(second) + "秒" root=tk.Tk() root.withdraw() tkinter.messagebox.showinfo("信息",f"已完成所有数据下载,运行时间为:{timeStr}")

 

  以上,就是小爬利用python多线程来驱动sap多个会话进行特定自动化操作的主要过程。基于这一波操作,整个下载效率可以提升4-6倍。那一刻,仿佛有6个自动化机器人在同时帮小爬分担枯燥的数据下载工作,幸福感瞬间拉满!!!

  有任何疑问,欢迎评论区积极留言,同时也欢迎扫码关注我的公众号,获取更多爬虫、数据分析的知识!

SAP下载报表速度慢?为啥你不试试python多线程

 

上一篇:[FAQ] Vmmem 内存占用高的问题 -Win10 -WLS2


下一篇:前后端的身份认证