使用代码获得知乎文章的标题和 url

2024-02-11 09:23:52

我有个需求：将我知乎主页下全部 2514 篇文章的名称和链接使用代码解析出来。

https://www.zhihu.com/people/jerrywang_sap/posts

使用 postman 测试，发现不需要任何 Authentication，就可以直接返回该网页的 HTML 源代码：

这个 class type 为 ContentItem 和 ArticleItem 的 div，其子节点 a 就包含了文章的 url. 标题也可以解析出来。

知乎文章的数据加载，没有采取延迟加载，而是通过分页方式进行：

为简单起见，可以在代码里硬编码总的页数为 126：

为什么通过 jsDOM 解析出来的 a tag 只有 30 个元素：

而通过浏览器打开的页面，a 标签有 140 个。

我用postman 以及 request API 取回来的知乎页面，a 标签个数只有30.

可能与 user agent 相关。

浏览器里取回的网页大小：363KB

postman 取回的大小：

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36

注意，好像也是客户端渲染。服务器推送过来的网页，只有2条文章：

真正的文章 api 原来在这里：

每页包含20条文章：

使用 postman 发请求：

遇到错误消息：

{
    "error": {
        "code": 10002,
        "message": "10002:请求参数异常，请升级客户端后重试"
    }
}

网上搜索了一下，发现知乎引入了反爬虫机制。所以我放弃这条路了。

更多Jerry的原创文章，尽在：“汪子熙”:

码农公寓