Python实时爬取斗鱼弹幕

Python实时爬取斗鱼弹幕

实现目标:

  • 输入斗鱼房间号实时获取弹幕信息,实现效果如下:
    Python实时爬取斗鱼弹幕
    douyu.gif

逻辑梳理

  • 首先说明下斗鱼是开放了弹幕API的,可以直接去他们开发者论坛查看文档,按照文档中要求一步一步的来就好了,我这边就简单梳理下:
  • 建立两个线程:一个与弹幕服务器建立连接然后获取数据,一个定时发送心跳信息给弹幕服务器保持连接。
建立连接
  1. 通过TCP协议连接到弹幕服务器;

IP 地址:openbarrage.douyutv.com 端口:8601

  1. 向弹幕服务器发送登录请求,登录弹幕服务器,消息格式type@=loginreq/roomid@=房间号/,不需要账号密码;
  2. 登陆成功之后服务器会给你返回一个登录成功信息,这部分不用管,继续向服务器发送一个进入弹幕分组请求,格式type@=joingroup/rid@=房间号/gid@=-9999/,gid使用-9999就好,表示海量弹幕模式;
  3. 接下来接收消息就好了,当然服务器返回的不止弹幕信息,还包括礼物/特殊人物进入房间等消息,这部分可以通过返回消息的type进行判断,选择自己需要的就好,详细的参见文档;
心跳消息
  • 为保持连接需要每隔段时间向弹幕服务器发送心跳消息,长时间未收到心跳消息服务器就会断开连接了,心跳消息格式:type@=keeplive/tick@=1439802131/,其中tick为当前秒级时间戳。

代码部分

# -*- coding:utf-8 -*-
import socket
import re
import time
import struct
import threading

def connect():
    '''
    第三方客户端通过 TCP 协议连接到弹幕服务器(依据指定的 IP 和端口); 
    第三方接入弹幕服务器列表:
    IP 地址:openbarrage.douyutv.com 端口:8601
    '''
    print '-----*-----DouYu_Spider-----*-----\n'
    host = socket.gethostbyname("openbarrage.douyutv.com")
    port = 8601
    global s
    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    s.connect((host,port))

def send_msg(msg):
    data_length = len(msg) + 8
    code = 689
    msgHead = struct.pack('<i',data_length) \
          + struct.pack('<i',data_length) + struct.pack('<i',code)
    s.send(msgHead)
    sent = 0
    while sent < len(msg):
        tn = s.send(msg[sent:])
        sent = sent + tn

def danmu(room_id):
    '''
    1.客户端向弹幕服务器发送登录请求
    2.客户端收到登录成功消息后发送进入弹幕分组请求给弹幕服务器
    '''
    login = 'type@=loginreq/roomid@=%s/\0'%room_id
    login = login.encode('utf-8')
    send_msg(login)
    joingroup = 'type@=joingroup/rid@=%s/gid@=-9999/\0'%room_id
    joingroup = joingroup.encode('utf-8')
    send_msg(joingroup)
    while True:
        content = s.recv(1024)
        if judge_chatmsg(content):
            nickname = nick_name(content)
            chatmsg = chat_msg(content)
            print '%s : %s'%(nickname,chatmsg)
        else:
            pass


def keep_alive():
    '''
    客户端每隔 45 秒发送心跳信息给弹幕服务器
    '''
    while True:
        msg = 'type@=keeplive/tick@=%s/\0'%str(int(time.time()))
        send_msg(msg)
        time.sleep(45)

def nick_name(content):
    '''
    弹幕消息:
    type@=chatmsg/rid@=301712/gid@=-9999/uid@=123456/nn@=test /txt@=666/level@=1/
    判断type,弹幕消息为chatmsg,txt为弹幕内容,nn为用户昵称
    '''
    pattern = re.compile(r'nn@=(.*)/txt@')
    nickname = pattern.findall(content)[0]
    return nickname

def chat_msg(content):
    '''
    弹幕消息:
    type@=chatmsg/rid@=301712/gid@=-9999/uid@=123456/nn@=test /txt@=666/level@=1/
    判断type,弹幕消息为chatmsg,txt为弹幕内容,nn为用户昵称
    '''
    pattern = re.compile(r'txt@=(.*)/cid@')
    chatmsg = pattern.findall(content)[0]
    return chatmsg

def judge_chatmsg(content):
    '''
    判断是否为弹幕消息
    '''
    pattern = re.compile(r'type@=(.*)/rid@')
    data_type = pattern.findall(content)
    try:
        if data_type[0] == 'chatmsg':
            return True
        else:
            return False
    except Exception, e:
        return False



if __name__ == '__main__':
    connect()
    t1 = threading.Thread(target=danmu,args=(2947432,))
    t2 = threading.Thread(target=keep_alive)
    t1.start()
    t2.start()

最后

斗鱼提供的文档已经是一年前的了,里面传回的消息内容增加了不少,但整体逻辑还是没变,我这边只取了弹幕里面的昵称和文本内容,其他的消息各位可以先打印出来看了再写正则表达式去匹配就好。


我的博客即将搬运同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan?invite_code=4smxcktb7utn

上一篇:android Framelayout动态添加组件


下一篇:通过k-means进行图像量化压缩--python实现