【无标题】

2024-02-06 14:06:34

大数据之Python实现每日钉钉数据自动推送

最近有一个需求，领导们需要关注每日的一些指标。简单研究了一下，发现用python+impala+钉钉可以实现，最终敲定了两个方式

python+钉钉
python+邮件推送

下面简单的记录一下实现第一种方案的：

一，钉钉群内添加推送的小机器人

在这里可以随意选择一种安全设置：我尝试了自定义的方式

最后会生成一个Webhook，这个后面我们代码里面会用到

二，代码实现


from  datetime import datetime
import json
import urllib.request
import pymysql as pms
import requests
import pandas as pd
from sqlalchemy import create_engine
import datetime
from pyhive import hive
from impala.dbapi import connect as impala_connect
from impala.util import as_pandas

# 连接impala数据库
def impala_db(sql):
    conn = impala_connect(host='188.88.88.88', port=88888)
    cursor = conn.cursor()
    cursor.execute(sql)
    results = as_pandas(cursor)
    cursor.close()
    conn.close()
    return results


# 昨日
today = datetime.date.today()
last_day = today + datetime.timedelta(days=-1)
last_day = datetime.datetime.strftime(last_day,"%Y%m%d")#因为是每天推送，所以设置的是根据系统时间变化的参数 格式如：20211116(查询的表里面的格式是这样的)

#where 条件传入的参数是根据系统时间变化的
df_sql1 ='''
        SELECT
                sum(consumption) as sum
           FROM cl_cdm.dws_flash_sdk_acc_profit_di
           where ptt_day = \'''' + last_day + '''\' '''

df1 =  impala_db(sql = df_sql1)
#生成的df1(dataframe)输出到控制台应该是如下结构
#print(df1)
#		sum
# 	0	9897
#最终输出到钉钉上的指标是这个了，我们只需要在对这个数据拼接一些字符串就可以钉钉输出了
#str(df1['sum'].loc[0]  这样就拿到了sum列名第0行的数据

def get_ddmodel_datas(type):
    #返回钉钉模型数据，1:文本；
    if type == 1:
       my_data = {
    "msgtype": "text",
    "title":"昨日数据推送如下",
    "text": {
        "content":"昨日数据统计如下测试:" +"\n"
                +"总消耗收入: "+ str(df1['sum'].loc[0])+"元\n"
                +"如有疑问请及时沟通,感谢您的支持！\n"
    },
    "at": {
        "atMobiles": [
            "17318598888"
        ],
        "isAtAll":True #这个参数为true好像是@所有人的意思
    }
    }
    return my_data


if __name__ == "__main__":
    my_data = get_ddmodel_datas(1)
    my_data["text"]["title"] = " 测试:"
    header = {
    "Content-Type": "application/json",
    "Charset": "UTF-8"
    }
    my_url ="https://oapi.dingtalk(这个输入的是上面添加机器人时生成的Webhook)"
    requests.post(url=my_url, data=json.dumps(my_data), headers=header)

三，运行测试

最终也完成了这个需求，简单记录一下方法，后面的一些其他简单的指标推送也会省力很多。
如果是一些指标是一些比较复杂的表格的话，建议使用python+邮件推送（查询结果封装成一个csv文件），这个我也实现了，后面记录一下实现的方法。

四，调度实现每日推送

因为这个py文件是放在公司集群上的，所以我在此直接使用了ubantu自带的调度系统crontab，
crontab -e 进入定时任务界面
敲入：
0 6 * * * /home/user/me/test2.py > /home/user/app/tmp/chuw/pl/test.txt
:wq 保存退出
这样就实现了每天早晨6：00系统会帮我们运行/home/user/me/test2.py 这个py文件
这个需求也就完美结束了。。。
下面附带一点简单的crontab 调度案例，大家可以简单作为参考：

# 注意单纯echo，从屏幕上看不到任何输出，因为cron把任何输出都email到root的信箱了。

# 每天早上6点，输出Good morning到/tmp/test.txt文件中。
0 6 * * * echo "Good morning" >> /tmp/test.txt

# 每两个小时，输出Good morning到/tmp/test.txt文件中。
0 */2 * * * echo "Good morning" >> /tmp/test.txt

# 晚上11点到早上8点之间每两个小时和早上八点，输出Good morning到/tmp/test.txt文件中。
0 23-7/2,8 * * * echo "Good morning" >> /tmp/test.txt

# 每个月的4号和每个礼拜的礼拜一到礼拜三的早上11点，输出Good morning到/tmp/test.txt文件中。
0 11 4 * 1-3 echo "Good morning" >> /tmp/test.txt

# 每天的下午4点、5点、6点的5 min、15 min、25 min、35 min、45 min、55 min时，输出Good morning到/tmp/test.txt文件中。
5,15,25,35,45,55 16,17,18 * * * echo "Good morning" >> /tmp/test.txt

# 1月1日早上4点，，输出Good morning到/tmp/test.txt文件中，如果出现错误，或者有数据输出，数据作为邮件发给root
0 4 1 1 * echo "Good morning" >> /tmp/test.txt SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root

# 如果去掉"run-parts"这个参数，后面要运行的脚本名，而不是文件夹名。 
# 每小时以root用户执行/etc/cron.hourly内的脚本(1个或N个脚本程序)
01 * * * * root run-parts /etc/cron.hourly

# 每天早上4点02分以root用户执行/etc/cron.daily内的脚本(1个或N个脚本程序)
02 4 * * * root run-parts /etc/cron.daily 

# 每周日早上4点02分以root用户执行/etc/cron.weekly内的脚本(1个或N个脚本程序)
02 4 * * 0 root run-parts /etc/cron.weekly 

# 每月1号早上4点02分以root用户去执行/etc/cron.monthly内的脚本(1个或N个脚本程序)
02 4 1 * * root run-parts /etc/cron.monthly 

# 每周一，三，五的下午3：00系统进入维护状态，重新启动系统。
00 15 * * 1,3,5 shutdown -r +5

# 每天早晨3点20分执行用户目录下如下所示的两个指令（每个指令以;分隔）： 
20 3 * * * （/bin/rm -f /tmp/test.txt;/bin/rm -rf /home/ec2-user/1.txt）　　

# 每年的一月和四月，4号到9号的3点12分和3点55分执行/bin/rm -f mm.txt 这个文件（mm.txt文件位于用户自己的目录位置）。 
12,55 3 4-9 1,4 * /bin/rm -f mm.txt

五：心得

做为21年刚毕业的大学生，参加工作之后第一次接到这个需求差点给我吓到，因为我再次之前从来也没接触过python，没想到还真给我解决了。并且除了这种方式，还掌握了python进行邮件推送到指定邮箱的方式，也算是一种进步。大数据之路果然任重道远，还要继续加油！
希望以后有机会还是要多总结多记录。。。

码农公寓