数据爬取遇到EventStream是个什么东西?EventSource与websocket有何区别?Java后台如何获取爬取数据并入库?EventStream后台服务怎么写?

好久没更新了,今天办完房子装修手续,有点空咱们更新一下。

今天更新的内容是以前工作中采集数据的时候遇到的,目前我遇到的通过EventSource方式给前端提供数据的方式比较少,只见过这一种但是这种方式感觉还是有很多优势。

我们开始之前先看一下这几个问题。

  1. 数据爬取遇到EventStream是个什么东西?

在一次采集数据的过程中遇到这样一幕,一般我们的请求都是http,请求结束以后就释放连接,耗时也很低,大部分我们很容易发现调用的接口就直接获取数据了,但是我在本次采集中没有找到相关的数据接口,这就有些纳闷了,我就想她是如何提供数据的呢?接着我想他肯定是用了websocket或dwr技术推送给前端数据,我就查看相关页面源码最后也没找到,打开调试以后发现有一个特别耗时的链接,引起了我的注意。我就跟进去了,如下图:

EventSource方式获取数据

数据爬取遇到EventStream是个什么东西?EventSource与websocket有何区别?Java后台如何获取爬取数据并入库?EventStream后台服务怎么写?

正常http请求

上一篇:2021 年全国职业院校技能大赛高职组云计算赛项试卷-私有云


下一篇:RadonDB MySQL on K8s 2.1.0 发布!