有一个文本,需要将所有的域名截取出来,并统计重复域名出现的次数

http://www.baidu.com/index.html

http://www.baidu.com/index.html
http://www.baidu.com/index.html
http://www.jd.com/index.html
http://www.jd.com/index.html
http://www.qq.com/index.html
http://www.sina.com/index.html

使用方式:
awk -F / '{print $3}' filename | sort | unique -c | sort -nr

-F #匹配某个字符

{print $3} #输出切割后的指定列

sort #首先按ASCII码进行排序,保证同一域名聚集

uniqe -c #按照字符进行唯一合并

sort -nr #重新排序去重后的字符,并使用-r倒序

3 www.baidu.com
2 www.jd.com
1 www.sina.com
1 www.qq.com