使用htmlunit爬取同花顺网站数据

背景

周末闲来无事,想做一个财报分析软件,然后就想从同花顺获取数据,主要是想下载三大报表,下载地址是http://basic.10jqka.com.cn/api/stock/export.php?export=debt&type=year&code=600519,

然后问题来了,这个访问是不需要登录的,在浏览器直接点击就能下载,但是使用HttpURLConnection来获取的时候就报401,经过分析是缺少cookie,然后去网站上copy了一个cookie,放上去可以获取数据了,然后过几分钟,cookie就失效了。

查找原因

把地址拿到postman中访问,返回了一段js,可以看到把地址又重新访问了一下,说明这段js对cookie做了修改

<html>

<body>
	<script type="text/javascript" src="//s.thsi.cn/js/chameleon/chameleon.min.1621682.js"></script>
	<script src="//s.thsi.cn/js/chameleon/chameleon.min.1621682.js" type="text/javascript"></script>
	<script language="javascript" type="text/javascript">
		window.location.href="//basic.10jqka.com.cn/api/stock/export.php?export=debt&type=year&code=000895";
	</script>
</body>

</html>

然后我纳闷了,为什么浏览器里面可以直接下载呢?原因是我事先已经访问了该页面,cookie已经生成好了,于是把浏览器的缓存清空,再去下载,就没反应了,也就是说首次直接访问上面的地址其实是无法下载的,

然后清空cookie,在chameleon.min.1621682.js这个js中的setCookie的几个地方打断点,可以发现每隔几秒setCookie就会执行一次,v对应的值就会改变,cookie如下,

使用htmlunit爬取同花顺网站数据

使用htmlunit爬取同花顺网站数据

由于代码比较复杂,想去分析js是如何操作的不太现实。所以就想到了使用selenium之类的解决方法。最后无意间找到了htmlunit。

解决方案

由于上面的原因,想要仅仅通过HttpURLConnection来实现是不可能的了,最终发现htmlunit可以执行js,并且能实现跳转,正好满足要求,使用方式如下:

1、引入maven

        <dependency>
            <groupId>net.sourceforge.htmlunit</groupId>
            <artifactId>htmlunit</artifactId>
            <version>2.50.0</version>
        </dependency>

2、编写代码

private InputStream downloadSheet(String urlStr) {
        try {
            WebClient webclient = new WebClient(BrowserVersion.CHROME); // 设置浏览器版本
            webclient.getOptions().setTimeout(10 * 1000);//设置超时时间
            webclient.getOptions().setRedirectEnabled(true);//启用跳转
            webclient.getOptions().setThrowExceptionOnFailingStatusCode(false);
            webclient.getOptions().setUseInsecureSSL(true);
            webclient.getOptions().setJavaScriptEnabled(true); // 启用javascript
            webclient.getOptions().setThrowExceptionOnScriptError(false); // 关闭js的异常抛出
            webclient.getOptions().setCssEnabled(false); // 不加载CSS文件
            webclient.getCookieManager().setCookiesEnabled(true);
            webclient.setJavaScriptTimeout(600 * 1000);
            webclient.waitForBackgroundJavaScript(60 * 1000);
            webclient.setAjaxController(new NicelyResynchronizingAjaxController());
            webclient.setRefreshHandler(new ImmediateRefreshHandler());
            Page page = webclient.getPage(urlStr);
            InputStream is = page.getWebResponse().getContentAsStream();
            return is;
        }catch (Exception e){
            
        }
        return null;
    }

由于第一次使用,对这个框架不熟,由于没有启用跳转,最开始也是报401,最终一路摸索,终于可以拿到流了,由于是下载excel,只需要拿到流丢给easyExcel读取就行了,到这里就结束了。

上一篇:perl返回哈希和的键和值


下一篇:Error:this.getOptions is not a function