最近在查wpf绘图资料时,偶然看到python使用CSS器抓取网页的功能。觉得很强,这里用C#也实现一下。
先介绍一下CSS选择器
在 CSS 中,选择器是一种模式,用于选择需要添加样式的元素。
选择器 |
例子 |
例子描述 |
.intro |
选择 class="intro" 的所有元素。 |
|
#firstname |
选择 id="firstname" 的所有元素。 |
|
* |
选择所有元素。 |
|
p |
选择所有 <p> 元素。 |
|
div,p |
选择所有 <div> 元素和所有 <p> 元素。 |
|
div p |
选择 <div> 元素内部的所有 <p> 元素。 |
|
div>p |
选择父元素为 <div> 元素的所有 <p> 元素。 |
|
div+p |
选择紧接在 <div> 元素之后的所有 <p> 元素。 |
|
[target] |
选择带有 target 属性所有元素。 |
|
[target=_blank] |
选择 target="_blank" 的所有元素。 |
|
[title~=flower] |
选择 title 属性包含单词 "flower" 的所有元素。 |
|
[lang|=en] |
选择 lang 属性值以 "en" 开头的所有元素。 |
|
a:link |
选择所有未被访问的链接。 |
|
a:visited |
选择所有已被访问的链接。 |
|
a:active |
选择活动链接。 |
|
a:hover |
选择鼠标指针位于其上的链接。 |
|
input:focus |
选择获得焦点的 input 元素。 |
|
p:first-letter |
选择每个 <p> 元素的首字母。 |
|
p:first-line |
选择每个 <p> 元素的首行。 |
|
p:first-child |
选择属于父元素的第一个子元素的每个 <p> 元素。 |
|
p:before |
在每个 <p> 元素的内容之前插入内容。 |
|
p:after |
在每个 <p> 元素的内容之后插入内容。 |
|
p:lang(it) |
选择带有以 "it" 开头的 lang 属性值的每个 <p> 元素。 |
|
p~ul |
选择前面有 <p> 元素的每个 <ul> 元素。 |
|
a[src^="https"] |
选择其 src 属性值以 "https" 开头的每个 <a> 元素。 |
|
a[src$=".pdf"] |
选择其 src 属性以 ".pdf" 结尾的所有 <a> 元素。 |
|
a[src*="abc"] |
选择其 src 属性中包含 "abc" 子串的每个 <a> 元素。 |
|
p:first-of-type |
选择属于其父元素的首个 <p> 元素的每个 <p> 元素。 |
|
p:last-of-type |
选择属于其父元素的最后 <p> 元素的每个 <p> 元素。 |
|
p:only-of-type |
选择属于其父元素唯一的 <p> 元素的每个 <p> 元素。 |
|
p:only-child |
选择属于其父元素的唯一子元素的每个 <p> 元素。 |
|
p:nth-child(2) |
选择属于其父元素的第二个子元素的每个 <p> 元素。 |
|
p:nth-last-child(2) |
同上,从最后一个子元素开始计数。 |
|
p:nth-of-type(2) |
选择属于其父元素第二个 <p> 元素的每个 <p> 元素。 |
|
p:nth-last-of-type(2) |
同上,但是从最后一个子元素开始计数。 |
|
p:last-child |
选择属于其父元素最后一个子元素每个 <p> 元素。 |
|
:root |
选择文档的根元素。 |
|
p:empty |
选择没有子元素的每个 <p> 元素(包括文本节点)。 |
|
#news:target |
选择当前活动的 #news 元素。 |
|
input:enabled |
选择每个启用的 <input> 元素。 |
|
input:disabled |
选择每个禁用的 <input> 元素 |
|
input:checked |
选择每个被选中的 <input> 元素。 |
|
:not(p) |
选择非 <p> 元素的每个元素。 |
|
::selection |
选择被用户选取的元素部分。 |
使用Nuget搜索这个包就可以C#自带的类库的里不支持这个操作,所以需要用到三方库。这里用的是HtmlAgilityPack
这里以抓取https://technet-info.com/Main.aspx为例
未完