用C#写个小程序爬取漫画

 这是要爬的地址 https://www.iqiyi.com/manhua/detail_18yzlq8jc5.html,F12 查看网络发现他是通过 https://www.iqiyi.com/manhua/catalog/18yzlq8jc5/ 这个接口获取目录信息的。

 

用C#写个小程序爬取漫画

用C#写个小程序爬取漫画

 

 用C#写个小程序爬取漫画

 

 这是第一话的地址 https://www.iqiyi.com/manhua/reader/18yzlq8jc5_18yzebufq1.html ,跟接口返回的数据对比发现前面的部分是固定的,后面的就是 comicId+"_"+episodeId+".html"。

下面通过C#代码获取漫画第一话的地址。

首先准备一个类方便解析json

class ResponseData
{
    public Data data { get; set; }
}
class Data
{
    public List<Episode> episodes { get; set; }
}
class Episode
{
    public string comicId { get; set; }
    public string episodeId { get; set; }
}
HttpClient client = new HttpClient();

var json = client.GetStringAsync("https://www.iqiyi.com/manhua/catalog/18yzlq8jc5/").Result;
var responseData = JsonConvert.DeserializeObject<ResponseData>(json);
responseData.data.episodes.ForEach(x =>
{
    Console.WriteLine($"https://www.iqiyi.com/manhua/reader/{x.comicId}_{x.episodeId}.html");
});

用C#写个小程序爬取漫画

 

 这样每一话的地址就显示出来了,最后把每话里的图片保存起来就行了。打开第一话,发现图片地址不是从接口返回的,而是直接写在html里的

用C#写个小程序爬取漫画

 

 在浏览器开发者工具中选中一个图片标签,选择复制 XPath,会得到 /html/body/div[3]/ul/li[1]/img

用C#写个小程序爬取漫画

 

再把后面的 li[1] 改成 li,然后搜索,就把html中所有的img标签都找到了

用C#写个小程序爬取漫画

 

 下面用C#完成上面的操作,首先需要装一个第三方库。

用C#写个小程序爬取漫画

 

long i = 1;
responseData.data.episodes.ForEach(x =>
{
    var url = $"https://www.iqiyi.com/manhua/reader/{x.comicId}_{x.episodeId}.html";
    var html = client.GetStringAsync(url).Result;
    var document = new HtmlDocument();
    document.LoadHtml(html);
    //XPath的含义是html下的body下的第二(三)个div下的ul。。。
    //注意这里用的是/html/body/div[3]/ul/li/img会返回null,使用/html/body/div[2]/ul/li/img,返回是从浏览器开发者工具查看的html代码是经过浏览器解析后,有时页面结构跟源码不一样,这时候就要直接支源码中去查看
    var nodes = document.DocumentNode.SelectNodes("/html/body/div[2]/ul/li/img");
    nodes.ToList().ForEach(n =>
    {
        //查看源码发现只有前三个图片的地址在src属性里,后面的都是在属性里
        string imgUrl = "";
        if (n.Attributes["src"] != null)
        {
            imgUrl = n.Attributes["src"].Value;
        }
        else
        {
            imgUrl = n.Attributes["data-original"].Value;
        }
        if (imgUrl != null)
        {
            var stream = client.GetStreamAsync(imgUrl).Result;
            //这里要添加System.Drawing引用
            var image = System.Drawing.Image.FromStream(stream);
            if (!Directory.Exists("D:\\海贼王\\"))
            {
                Directory.CreateDirectory("D:\\海贼王\\");
            }
            image.Save("D:\\海贼王\\" + i + ".jpg");
            i++;

        }
    });
});

 

大功告成!!

用C#写个小程序爬取漫画

 

用C#写个小程序爬取漫画

上一篇:hibernate4的级联删除为什么不行啊?


下一篇:EasyOCR,识别图片中的文字真的so easy