一、sed介绍
- Sed是文本处理工具,依赖于正则表达式,可以读取文本内容,根据指定条件对数据进行添加、删除、替换等操作,广泛应用于shell脚本,以完成自动化处理任务。
- Sed在处理数据时默认不直接修改源文件,而是把当前处理的行存储在临时缓冲区中,所有指令都在缓冲区中操作,处理完成后,把缓冲区内容默认输出到屏幕,接着处理下一行内容,这样不断重复,直到文件末尾,文件本身内容并没有做任何改变。
二、sed的工作流程
- 读取
- sed 从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中(又称模式空间,pattern space)。
- 执行
- 默认情况下,所有的 sed 命令都在模式空间中顺序地执行,除非指定了行的地址,否则 sed 命令将会在所 有的行上依次执行
- 显示
- 发送修改后的内容到输出流。再发送数据后,模式空间将会被清空。
三、sed命令的常见用法
- 通常情况下调用 sed 命令有两种格式
sed[选项] ‘操作‘ 参数
sed [选项] -f 脚本文件 参数
3.1、sed命令选项
选项 | 解释 |
-e或-expression= | 表示用指定命令或者脚本来处理输入的文本文件 |
-f 或-file= | 表示用指定的脚本文件来处理输入的文本文件 |
-h或一help | 显示帮助 |
-n、-quiet 或silent | 表示仅显示处理后的结果 |
-i | 直接编辑文本文件,直接编辑源文件 |
3.2、操作命令
操作 | 解释 |
a | 增加,在当前行下面增加一行指定内容 |
c | 替换,将选定行替换为指定内容 |
d | 删除,删除选定的行 |
i | 插入,在选定行上面插入一行指定内容 |
p | 打印,如果同时指定行,表示打印指定行;如果不指定行,则表示打印所有内容;如果有非打印字符,则以ASCII码输出。其通常与“-n”选项一起使用 |
s | 替换,替换指定字符 |
y | 字符转换 |
3.3、sed 常用示例
3.3.1、p - 输出符合条件的文本
- p 表示正常输出
[root@localhost ~]# sed -n ‘p‘ test.txt ‘输出所有内容,等同于 cat test.txt‘
...省略内容
[root@localhost ~]# sed -n ‘3p‘ test.txt ‘输出第 3 行‘
...省略内容
[root@localhost ~]# sed -n ‘3,5p‘ test.txt ‘输出第 3~5 行‘
...省略内容
[root@localhost ~]# sed -n ‘p;n‘ test.txt ‘输出所有奇数行,n 表示读入下一行资料‘
...省略内容
[root@localhost ~]# sed -n ‘n;p‘ test.txt ‘输出所有偶数行,n 表示读入下一行资料‘
...省略内容
[root@localhost ~]# sed -n ‘1,5{p;n}‘ test.txt ‘输出第 1~5 行之间的奇数行(第 1、3、5 行)‘
...省略内容
[root@localhost ~]# sed -n ‘10,${n;p}‘ test.txt ‘输出第 10 行至文件尾之间的偶数行‘
...省略内容
sed 命令与正则表达式结合使用
- sed 命令与正则表达式结合使用时格式略有不同,正则表达式以 “ / ” 包围
[root@localhost ~]# sed -n ‘/the/p‘ test.txt ‘输出包含the 的行‘
...省略部分内容
[root@localhost ~]# sed -n ‘4,/the/p‘ test.txt ‘输出从第 4 行至第一个包含 the 的行‘
...省略部分内容
[root@localhost ~]# sed -n ‘/the/=‘ test.txt ‘输出包含the 的行所在的行号,等号(=)用来输出行号‘
...省略部分内容
[root@localhost ~]# sed -n ‘/^PI/p‘ test.txt ‘输出以PI 开头的行‘
...省略部分内容
[root@localhost ~]# sed -n ‘/[0-9]$/p‘ test.txt ‘输出以数字结尾的行‘
...省略部分内容
[root@localhost ~]# sed -n ‘/\<wood\>/p‘ test.txt ‘输出包含单词wood 的行,\<、\>代表单词边界‘
...省略部分内容
3.3.2、d - 删除符合条件的文本
下面命令中 nl 命令用于计算文件的行数,结合该命令可以更加直观地查看到命令执行的结果
[root@localhost ~]# nl test.txt | sed ‘3d‘ ‘删除第 3 行‘
...省略内容
[root@localhost ~]# nl test.txt | sed ‘3,5d‘ ‘删除第 3~5 行‘
...省略内容
[root@localhost ~]# nl test.txt | sed ‘/cross/d‘ ‘删除包含cross 的行‘
...省略内容
[root@localhost ~]# nl test.txt | sed ‘/cross/! d‘ ‘删除不包含cross 的行‘
...省略内容
[root@localhost ~]# sed ‘/^[a-z]/d‘ test.txt ‘删除以小写字母开头的行‘
...省略内容
[root@localhost ~]# sed ‘/\.$/d‘ test.txt ‘删除以"."结尾的行‘
...省略内容
[root@localhost ~]# sed ‘/^$/d‘ test.txt ‘删除所有空行‘
...省略内容
[root@localhost ~]# sed -e ‘/^$/{n;/^$/d}‘ test.txt ‘删除重复的空行,即连续的空行只保留一个,效果与“cat -s test.txt”相同,n 表示读下一行数据‘
...省略内容
3.3.3、s - 替换符合条件的文本
- 使用 sed 命令进行替换操作时需要用到 s(字符串替换)、c(整行/整块替换)、y(字符转换)命令选项
[root@localhost ~]# sed ‘s/the/THE/‘ test.txt ‘将每行中的第一个the 替换为 THE ‘
[root@localhost ~]# sed ‘s/l/L/2‘ test.txt ‘将每行中的第 2 个l 替换为L ‘
[root@localhost ~]# sed ‘s/the/THE/g‘ test.txt ‘将文件中的所有the 替换为THE‘
[root@localhost ~]# sed ‘s/o//g‘ test.txt ‘将文件中的所有o 删除(替换为空串)‘
[root@localhost ~]# sed ‘s/^/#/‘ test.txt ‘在每行行首插入#号‘
[root@localhost ~]# sed ‘/the/s/^/#/‘ test.txt ‘在包含the 的每行行首插入#号‘
[root@localhost ~]# sed ‘s/$/EOF/‘ test.txt ‘在每行行尾插入字符串EOF‘
[root@localhost ~]# sed ‘3,5s/the/THE/g‘ test.txt ‘将第 3~5 行中的所有the 替换为 THE‘
[root@localhost ~]# sed ‘/the/s/o/O/g‘ test.txt ‘将包含the 的所有行中的o 都替换为 O‘
3.3.4、迁移符合条件的文本
- H,复制到剪贴板
- g、G,将剪贴板中的数据覆盖/追加至指定行
- w,保存为文件
- r,读取指定文件
- a,追加指定内容
[root@localhost ~]# sed ‘/the/{H;d};$G‘ test.txt ‘将包含the 的行迁移至文件末尾,{;}用于多个操作‘
[root@localhost ~]# sed ‘1,5{H;d};17G‘ test.txt ‘将第 1~5 行内容转移至第 17 行后‘
[root@localhost ~]# sed ‘/the/w out.file‘ test.txt ‘将包含the 的行另存为文件out.file ‘
[root@localhost ~]# sed ‘/the/r /etc/hostname‘ test.txt ‘将文件/etc/hostname 的内容添加到包含the 的每行以后‘
[root@localhost ~]# sed ‘3aNew‘ test.txt ‘在第 3 行后插入一个新行,内容为 New ‘
[root@localhost ~]# sed ‘/the/aNew‘ test.txt ‘在包含the 的每行后插入一个新行,内容为 New‘
[root@localhost ~]# sed ‘3aNew1\nNew2‘ test.txt ‘在第 3 行后插入多行内容,中间的\n 表示换行‘
3.3.5、f - 使用脚本编辑文件
[root@localhost ~]# sed ‘1,5{H;d};17G‘ test.txt ‘将第 1~5 行内容转移至第 17 行后‘
‘以上操作可以改用脚本文件方式:‘
[root@localhost ~]# vim abc.list ‘编辑指令放到/abc.list中‘
1,5H
1,5d
17G
[root@localhost ~]# sed -f abc.list test.txt ‘使用abc.list文件指令编辑test.txt文件‘