哈哈哈，我又来参加DataWhale组队学习了，本期是第32期组队学习，具体时间20211213~20211228，学习网址如下：
课程链接
备份链接
目录
任务8
8.1 下载周杰伦歌词文本，并进行解压
根据前面所学，使用 wget 下载文件即可，下载后使用 unzip 命令即可解压。
8.2 利用grep命令完成指定操作，并输出到屏幕
grep 使用语法为：grep [选项] "搜索内容" 文件名 ，选项是一些特性参数，是可选的，可以不填。
选项的主要参数有如下几个：
| 选项参数 | 描述 |
|---|---|
| -a 或 --text | 不要忽略二进制的数据。 |
| -A<显示行数> 或 --after-context=<显示行数> | 除了显示符合范本样式的那一列之外，并显示该行之后的内容。 |
| -b 或 --byte-offset | 在显示符合样式的那一行之前，标示出该行第一个字符的编号。 |
| -B<显示行数> 或 --before-context=<显示行数> | 除了显示符合样式的那一行之外，并显示该行之前的内容。 |
| -c 或 --count | 计算符合样式的列数。 |
| -C<显示行数> 或 --context=<显示行数>或-<显示行数> | 除了显示符合样式的那一行之外，并显示该行之前后的内容。 |
| -d <动作> 或 --directories=<动作> | 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。 |
| -e<范本样式> 或 --regexp=<范本样式> | 指定字符串做为查找文件内容的样式。 |
| -E 或 --extended-regexp | 将样式为延伸的正则表达式来使用。 |
| -f<规则文件> 或 --file=<规则文件> | 指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。 |
| -F 或 --fixed-regexp | 将样式视为固定字符串的列表。 |
| -G 或 --basic-regexp | 将样式视为普通的表示法来使用。 |
| -h 或 --no-filename | 在显示符合样式的那一行之前，不标示该行所属的文件名称。 |
| -H 或 --with-filename | 在显示符合样式的那一行之前，表示该行所属的文件名称。 |
| -i 或 --ignore-case | 忽略字符大小写的差别。 |
| -l 或 --file-with-matches | 列出文件内容符合指定的样式的文件名称。 |
| -L 或 --files-without-match | 列出文件内容不符合指定的样式的文件名称。 |
| -n 或 --line-number | 在显示符合样式的那一行之前，标示出该行的列数编号。 |
| -o 或 --only-matching | 只显示匹配PATTERN 部分。 |
| -q 或 --quiet或–silent | 不显示任何信息。 |
| -r 或 --recursive | 此参数的效果和指定"-d recurse"参数相同。 |
| -s 或 --no-messages | 不显示错误信息。 |
| -v 或 --invert-match | 显示不包含匹配文本的所有行。 |
| -V 或 --version | 显示版本信息。 |
| -w 或 --word-regexp | 只显示全字符合的列。 |
| -x --line-regexp | 只显示全列符合的列。 |
| -y | 此参数的效果和指定"-i"参数相同。 |
根据以上介绍的参数用法，很容易写出如下几个题目。
-
统计歌词中 包含【超人】的歌词
-
统计歌词中 包含【外婆】但不包含【期待】的歌词
Linux shell中可以将第一个命令的输出结果返回给第二个命令，只需添加管道符|，如果你知道哪个结果集会更小，请将第一个放入管道符|左侧以获得最佳性能，因为第二个命令只需要 处理第一个的输出，而不是整个输入。
如上图所示，这两个命令都可以获取正确的结果，具体使用哪种写法，根据数据情况决定。 -
统计歌词中 以【我】开头的歌词
这里要用到正则表达式，正则表达式可以按照规律匹配文本，非常强大。
常用正则表达式如下：
| 选项参数 | 描述 |
|---|---|
| ? | 匹配前一个字符重复 0 次，或 1 次（?是扩展正则，需要使用 egrep 命令） |
| * | 匹配前一个字符重复 0 次，或任意多次 |
| [] | 匹配中括号中任意一个字符。例如，[abc]代表一定匹配一个字符，或者是 a，或者是 b，或者是 c |
| [-] | 匹配中括号中任意一个字符，-代表一个范围。例如，[a-z]代表匹配一个小写字母 |
| [^] | 逻辑非，表示匹配不是中括号内的一个字符。例如，[^0-9]代表匹配一个不是数字的字符 |
| ^ | 匹配行首 |
| $ | 匹配行尾 |
- 统计歌词中 以【我】结尾的歌词
8.3 利用sed命令完成指定操作，并输出到屏幕
sed 是强大的文本处理工具，以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，是一个管道命令。sed 命令应用语法为：sed [选项] '命令' 待处理文本
常用选项如下：
| 选项参数 | 描述 |
|---|---|
| -n | 使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。 |
| -e | 直接在指令列模式上进行 sed 的动作编辑； |
| -f | 直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed 动作； |
| -r | sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法) |
| -i | 直接修改读取的档案内容，而不是由屏幕输出。 |
常用命令如下：
| 命令参数 | 描述 |
|---|---|
| a | 新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～ |
| c | 取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！ |
| d | 删除，‘nd’ 代表删除某行，‘m,nd’ 代表删除 m至n行，’$d’ 代表删除末尾行 |
| i | 插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)； |
| p | 列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作～ |
| s | 取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！ |
参考上述参数介绍，完成指定操作如下：
- 将歌词中 第2行 至 第40行 删除
（不加
-i参数时，只会在屏幕打印删除后的文本结果，源文件不改变；使用-i参数后，源文件也被修改）
- 将歌词中 所有【我】替换成【你】
任务9
9.1 使用zip命令压缩文件夹
zip 压缩解压缩命令语法如下：
解压：unzip filename.zip
压缩：zip filename.zip dirname
9.2 使用tar命令’压缩’文件夹
tar 压缩解压缩命令语法如下：
解包：tar zxvf filename.tar
打包：tar czvf filename.tar dirname
由上图可以看到，mba1398.tar 明显比 mba1398.zip 要大，这是因为 tar 命令只是用来打包，而不是压缩。想要压缩文件时，要避免直接使用 tar 命令，可以先将文件打包，再使用其他命令进行压缩。
9.3 使用tar.gz命令压缩文件夹
tar.gz 压缩解压缩命令语法如下：
解压：tar zxvf filename.tar.gz
压缩：tar zcvf filename.tar.gz dirname
压缩多个文件：tar zcvf filename.tar.gz dirname1 dirname2 dirname3…
可以看到，tar.gz 命令的作用也是打包。
任务10
10.1 使用find统计文件系统中以py为后缀名的文件个数
Linux find 命令用来在指定目录下查找文件。任何位于参数之前的字符串都将被视为欲查找的目录名。如果使用该命令时，不设置任何参数，则 find 命令将在当前目录下查找子目录与文件。并且将查找到的子目录和文件全部进行显示。
其基本语法为：find [path] - [expression]
- 当
path为空时，则使用当前路径为path - 当
expression为空时，则使用-print为预设expression。expression中常用参数如下：
| 选项参数 | 描述 |
|---|---|
| -mount, -xdev | 只检查和指定目录在同一个文件系统下的文件，避免列出其它文件系统中的文件 |
| -amin n | 在过去 n 分钟内被读取过 |
| -anewer file | 比文件 file 更晚被读取过的文件 |
| -atime n | 在过去n天内被读取过的文件 |
| -cmin n | 在过去 n 分钟内被修改过 |
| -cnewer file | 比文件 file 更新的文件 |
| -ctime n | 在过去n天内被修改过的文件 |
| -empty | 空的文件-gid n or -group name |
| -ipath p, -path p | 路径名称符合 p 的文件，ipath 会忽略大小写 |
| -name name, -iname name | 文件名称符合 name 的文件。（最常用）iname 会忽略大小写 |
| -size n | 文件大小 是 n 单位，b 代表 512 位元组的区块，c 表示字元数，k 表示 kilo bytes，w 是二个位元组。 |
| -type c | 文件类型是 c 的文件。 |
| -type d | 文件类型是目录 |
| -type c | 文件类型是字型装置文件 |
| -type b | 文件类型是区块装置文件 |
| -type p | 文件类型是具名贮列 |
| -type f | 文件类型是一般文件 |
| -type l | 文件类型是符号连结 |
| -type s | 文件类型是socket |
本练习要求统计py为后缀名的文件个数，需要先将py为后缀的文件找出来，然后再计数。
Linux 中 wc 命令用于字符统计，可以计算文件的行数、字数、字节数，应用语法为：wc [-lwc] filename
-
-l行数 -
-w字数 -
-c字节数
在默认的情况下（参数为空时），wc将计算指定文件的行数、字数，以及字节数。
10.2 使用find寻找/home/文件夹下文件内容包含datawhale的文件
查找文件需使用 find /home -type f 命令，而查找内容需使用 grep "datawhale" 命令，两者结合需要 xargs 来帮忙，find命令去加载你在查找的东西，xargs会对你查找到的每一个东西，做相同的操作。find /home -type f | xargs grep "datawhale" 就是查找 /home 目录下，文件内容包含 datawhale 的所有文件。
xargs参考文档
默认会显示文件名及文件内容（冒号前是文件名，冒号后是文件内容），如果只想看文件名，需要加上 -r -l 参数。
10.3 使用locate寻找到python3.6.1.gz文件
locate 命令用来查找文件或目录。 locate 命令要比 find -name 快得多，原因在于它不搜索具体目录，而是搜索一个数据库 /var/lib/mlocate/mlocate.db 。这个数据库中含有本地所有文件信息。Linux系统自动创建这个数据库，并且每天自动更新一次，因此，我们在用 whereis和locate 查找文件时，有时会找到已经被删除的数据，或者刚刚建立文件，却无法查找到，原因就是因为数据库文件没有被更新。为了避免这种情况，可以在使用 locate 之前，先使用 updatedb 命令，手动更新数据库。整个 locate 工作其实是由四部分组成的:
-
/usr/bin/updatedb主要用来更新数据库，通过crontab自动完成的 -
/usr/bin/locate查询文件位置 -
/etc/updatedb.confupdatedb 的配置文件 -
/var/lib/mlocate/mlocate.db存放文件信息的文件
一般情况我们只需要输入 locate fileName 即可查找指定文件。
至此，本次组队学习结束。
在此，我要感谢 datawhale、感谢水哥、感谢本次组队学习的助教、感谢与我共同组队的小伙伴们，有了你们的存在，才有了本次亦苦亦甜的学习旅程，掌握了很多没有接触过的内容，感觉很棒，谢谢你们。
咱们后会有期。