shell脚本sed工具

一、sed介绍

  • Sed是文本处理工具,依赖于正则表达式,可以读取文本内容,根据指定条件对数据进行添加、删除、替换等操作,广泛应用于shell脚本,以完成自动化处理任务。
  • Sed在处理数据时默认不直接修改源文件,而是把当前处理的行存储在临时缓冲区中,所有指令都在缓冲区中操作,处理完成后,把缓冲区内容默认输出到屏幕,接着处理下一行内容,这样不断重复,直到文件末尾,文件本身内容并没有做任何改变。

二、sed的工作流程

 

  • 读取
  •        sed 从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中(又称模式空间,pattern         space)。
  • 执行
  •         默认情况下,所有的 sed 命令都在模式空间中顺序地执行,除非指定了行的地址,否则 sed 命令将会在所           有的行上依次执行
  • 显示
  •         发送修改后的内容到输出流。再发送数据后,模式空间将会被清空。     

三、sed命令的常见用法

 

  • 通常情况下调用 sed 命令有两种格式

 

    sed[选项] ‘操作‘ 参数
    sed [选项] -f 脚本文件 参数

3.1、sed命令选项

 

 

选项 解释
-e或-expression= 表示用指定命令或者脚本来处理输入的文本文件
-f 或-file= 表示用指定的脚本文件来处理输入的文本文件
-h或一help 显示帮助
-n、-quiet 或silent 表示仅显示处理后的结果
-i 直接编辑文本文件,直接编辑源文件

 

 

 

3.2、操作命令

 

操作 解释
a 增加,在当前行下面增加一行指定内容
c 替换,将选定行替换为指定内容
d 删除,删除选定的行
i 插入,在选定行上面插入一行指定内容
p 打印,如果同时指定行,表示打印指定行;如果不指定行,则表示打印所有内容;如果有非打印字符,则以ASCII码输出。其通常与“-n”选项一起使用
s 替换,替换指定字符
y 字符转换

 

 

 

 

3.3、sed 常用示例

3.3.1、p - 输出符合条件的文本

 

  • p 表示正常输出

 

[root@localhost ~]# sed -n ‘p‘ test.txt  ‘输出所有内容,等同于 cat test.txt‘
    ...省略内容
[root@localhost ~]# sed -n ‘3p‘ test.txt	‘输出第 3 行‘
     ...省略内容
[root@localhost ~]# sed -n ‘3,5p‘ test.txt	‘输出第 3~5 行‘
      ...省略内容
[root@localhost ~]# sed -n ‘p;n‘ test.txt	‘输出所有奇数行,n 表示读入下一行资料‘
     ...省略内容
[root@localhost ~]# sed -n ‘n;p‘ test.txt	‘输出所有偶数行,n 表示读入下一行资料‘
     ...省略内容
[root@localhost ~]# sed -n ‘1,5{p;n}‘ test.txt	‘输出第 1~5 行之间的奇数行(第 1、3、5 行)‘
     ...省略内容
[root@localhost ~]# sed -n ‘10,${n;p}‘ test.txt	‘输出第 10 行至文件尾之间的偶数行‘
     ...省略内容

 

 

 

sed 命令与正则表达式结合使用

 

  • sed 命令与正则表达式结合使用时格式略有不同,正则表达式以 “ / ” 包围

 

[root@localhost ~]# sed -n ‘/the/p‘ test.txt		‘输出包含the 的行‘
    ...省略部分内容
[root@localhost ~]# sed -n ‘4,/the/p‘ test.txt		‘输出从第 4 行至第一个包含 the 的行‘
    ...省略部分内容
[root@localhost ~]# sed -n ‘/the/=‘ test.txt		‘输出包含the 的行所在的行号,等号(=)用来输出行号‘
    ...省略部分内容
[root@localhost ~]# sed -n ‘/^PI/p‘ test.txt		‘输出以PI 开头的行‘
    ...省略部分内容
[root@localhost ~]# sed -n ‘/[0-9]$/p‘ test.txt		‘输出以数字结尾的行‘
    ...省略部分内容
[root@localhost ~]# sed -n ‘/\<wood\>/p‘ test.txt		‘输出包含单词wood 的行,\<、\>代表单词边界‘
    ...省略部分内容

 

 

3.3.2、d - 删除符合条件的文本

 

下面命令中 nl 命令用于计算文件的行数,结合该命令可以更加直观地查看到命令执行的结果

 

[root@localhost ~]# nl test.txt | sed ‘3d‘	‘删除第 3 行‘
    ...省略内容
[root@localhost ~]# nl test.txt | sed ‘3,5d‘	‘删除第 3~5 行‘
    ...省略内容
[root@localhost ~]# nl test.txt | sed ‘/cross/d‘	‘删除包含cross 的行‘
    ...省略内容
[root@localhost ~]# nl test.txt | sed ‘/cross/! d‘	‘删除不包含cross 的行‘
    ...省略内容
[root@localhost ~]# sed ‘/^[a-z]/d‘ test.txt	‘删除以小写字母开头的行‘
    ...省略内容
[root@localhost ~]# sed ‘/\.$/d‘ test.txt	‘删除以"."结尾的行‘
    ...省略内容
[root@localhost ~]# sed ‘/^$/d‘ test.txt	‘删除所有空行‘
    ...省略内容
[root@localhost ~]# sed -e ‘/^$/{n;/^$/d}‘ test.txt	‘删除重复的空行,即连续的空行只保留一个,效果与“cat -s test.txt”相同,n 表示读下一行数据‘
    ...省略内容

 

 

3.3.3、s - 替换符合条件的文本

 

  • 使用 sed 命令进行替换操作时需要用到 s(字符串替换)、c(整行/整块替换)、y(字符转换)命令选项

 

[root@localhost ~]# sed ‘s/the/THE/‘ test.txt	‘将每行中的第一个the 替换为 THE ‘
[root@localhost ~]# sed ‘s/l/L/2‘ test.txt	‘将每行中的第 2 个l 替换为L ‘
[root@localhost ~]# sed ‘s/the/THE/g‘ test.txt	‘将文件中的所有the 替换为THE‘
[root@localhost ~]# sed ‘s/o//g‘ test.txt	‘将文件中的所有o 删除(替换为空串)‘
[root@localhost ~]# sed ‘s/^/#/‘ test.txt	‘在每行行首插入#号‘
[root@localhost ~]# sed ‘/the/s/^/#/‘ test.txt		‘在包含the 的每行行首插入#号‘
[root@localhost ~]# sed ‘s/$/EOF/‘ test.txt		‘在每行行尾插入字符串EOF‘
[root@localhost ~]# sed ‘3,5s/the/THE/g‘ test.txt	‘将第 3~5 行中的所有the 替换为 THE‘
[root@localhost ~]# sed ‘/the/s/o/O/g‘ test.txt	‘将包含the 的所有行中的o 都替换为 O‘

 

 

 

3.3.4、迁移符合条件的文本

 

  • H,复制到剪贴板
  • g、G,将剪贴板中的数据覆盖/追加至指定行
  • w,保存为文件
  • r,读取指定文件
  • a,追加指定内容

 

[root@localhost ~]# sed ‘/the/{H;d};$G‘ test.txt	‘将包含the 的行迁移至文件末尾,{;}用于多个操作‘
[root@localhost ~]# sed ‘1,5{H;d};17G‘ test.txt	‘将第 1~5 行内容转移至第 17 行后‘
[root@localhost ~]# sed ‘/the/w out.file‘ test.txt	‘将包含the 的行另存为文件out.file ‘
[root@localhost ~]# sed ‘/the/r /etc/hostname‘ test.txt	‘将文件/etc/hostname 的内容添加到包含the 的每行以后‘
[root@localhost ~]# sed ‘3aNew‘ test.txt		‘在第 3 行后插入一个新行,内容为 New ‘
[root@localhost ~]# sed ‘/the/aNew‘ test.txt	‘在包含the 的每行后插入一个新行,内容为 New‘ 
[root@localhost ~]# sed ‘3aNew1\nNew2‘ test.txt	‘在第 3 行后插入多行内容,中间的\n 表示换行‘

 

 

3.3.5、f - 使用脚本编辑文件

 

[root@localhost ~]# sed ‘1,5{H;d};17G‘ test.txt	‘将第 1~5 行内容转移至第 17 行后‘
‘以上操作可以改用脚本文件方式:‘
[root@localhost ~]# vim abc.list		‘编辑指令放到/abc.list中‘
1,5H
1,5d
17G
[root@localhost ~]# sed -f abc.list test.txt ‘使用abc.list文件指令编辑test.txt文件‘

 

 

 

 

 

shell脚本sed工具

上一篇:规范主机名和设置最大文件进程数


下一篇:linux 分区建议(转)