192. 统计词频

难度:中等

写一个 bash 脚本以统计一个文本文件 words.txt 中每个单词出现的频率。

为了简单起见,你可以假设:

  • words.txt只包括小写字母和 ' ' 。
  • 每个单词只由小写字母组成。
  • 单词间由一个或多个空格字符分隔。

示例:

假设 words.txt 内容如下:

the day is sunny the the
the sunny is is

你的脚本应当输出(以词频降序排列):

the 4
is 3
sunny 2
day 1

说明:

  • 不要担心词频相同的单词的排序问题,每个单词出现的频率都是唯一的。
  • 你可以使用一行 Unix pipes 实现吗?

脚本:

cat words.txt | tr -s ' ' '\n' | sort | uniq -c | sort -rn | awk '{print $2, $1}'

1、用cat读取文件

2、用tr命令将空格替换为换行,tr是translate的缩写 

-s 替换重复的字符

-s: squeeze-repeats,用SET1指定的字符来替换对应的重复字符 (replace each input sequence of  a  repeated  character  that  is listed in SET1 with a single occurrence of that character)

不加-s,出现连续空格时,会转换出多余的空行

3、排序

4、去重计数

5、用sort排序,-r是降序, -n是按数值大小排序

6、使用awk行处理命令打印结果,$2是第2个字段,$1是第一个字段

 

上一篇:IP地址分类


下一篇:关于对PyTorch中nn.Linear的官方API文档解读