sed详细分析

【一、简单描述】

sed命令类似命令行的文本编辑器,以行为单位(见注1)。除非带命令i(in-place)否则源文件内容并不会被更新。

 

【二、使用】

【2.1、使用方式】

存在两种使用方式:

1、sed [options] 'command' file[files]

2、sed [options] -f 脚本文件 file[files]

 

【2.2、常用选项(options)】

-e(script 多次编辑):直接在指令模式上进行sed动作编辑

-f(file):将要使用的sed动作写入到一个文件内,-f filename将执行filename内的sed动作

-i(in--place):对[file]的处理直接写进文件

-r(regexp-extern):使用扩展性正则表达式

具体使用见常用命令说明。

 

【2.3、常用命令(command)】

常用命令及范例见下:

命令

用法、意义和范例

s(swap)

用法:[指定地址]s/匹配字符/替换字符/替换标识(g.)

意义:替换匹配的内容

范例:替换所有的good为GOOD

sed -n 's/good/GOOD/g'p test.txt (关于最后的替换标示(g)见后面说明,使用的测试文档test.txt见注3)

d(delete)

用法:[指定地址]d

意义:删除指定地址的行

范例:删除1-2行

sed '1,2d' test.txt (没加-n原因:被处理的两行被删除,所以加-n不会有输出,见注2)

i\(insert)

用法:[指定地址]i\添加内容

意义:在指定定制前方插入文本行

范例:在第一行和第二行前面添加start

sed '1,2i\star' test.txt (没加n的原因不在赘述)

a\(append)

用法:[指定地址]i\添加内容

意义:在指定地址的后方插入文本行

范例:在第一行后面添加end

sed '1a\end' test.txt

c\(chose)

用法:[指定地址]c\替换的内容

意义:将指定地址行替换成相应的文本

范例:将第一行替换成start

sed '1c\start' test.txt

p(print)

用法:[指定地址]p

意义:在屏幕上输出指定地址内容

范例:打印前两行

sed -n '1,2'p test.txt

=

用法:[指定地址]=

意义:在屏幕上输出当前行号

范例:在每行前面一行打印行号

sed '1,$'= test.txt

l(字母l,line)

用法:[指定地址]l

意义:打印指定行,同时显示控制字符

范例:打印第一行,且显示控制字符(见后面说明)

sed -n '1'l test.txt

y

用法:[指定地址]y/匹配字符(可以写成字符串形式)/替换字符/

意义:替换指定地址的匹配字符

范例:替换全局(整个文本)g为G,o为O,d为D,!为?

sed 'y/god!/GOD?/' test.txt

n(next)

用法:[指定地址]n

意义:读取指定地址的内容到缓存空间

范例:

r(read)

用法:[指定地址] r 指定文件

意义:读取指定文件的到指定地址之后

范例:读取test1.txt的内容到第二行后面

sed '2r test1.txt' test.txt

w(write)

用法:[指定地址]w 指定文件

意义:将指定地址的内容写入到指定文件(以write形式)

范例:将test.txt中的第二行写入到test1.txt

sed '2w test1.txt' test.txt

q(quit)

用法:[指定地址]q

意义:读取到指定的行之后退出

范例:打印前两行(注意:没有加n表明处理到第二行就退出)

sed '2'q test.txt

 

关于替换标示的说明:

替换标示

意义和范例

n

意义:(范围1-512),仅替换第n个被模式匹配的内容(在输入file未成功)

范例:替换第二次的空格为'@'

echo "1 2 3 4" | sed 's/ /;/2'

g

意义:全局替换

范围:替换全部的good为GOOD

sed 's/good/GOOD/g' test.txt

 

【2.4、元字符集】(仅列出同标准的正则表达式的差异项)

同标准正则表达式差异的元字符集:

符号

意义和范例

\(..\)

注:即 (..)添加\为转义

意义:保存指定匹配的字符串,使用数字\n(n表示位置)可去除

范例:

  1. 单个参数的情况

    保存匹配字符good的前面两个字符go,全局替换匹配的字符串为go(\1:指代go)--istest

    sed 's/\(go\)od/\1--istest/g' test.txt

  2. 两个参数

    分别保存匹配字符go??dd的go和od,去掉中间的两个??将\1\2连接在一起成为good

    sed 's/\(go\)??\(od\)/\1\2/g' test.txt

    多个的则不在赘述

&

意义:指代匹配字符串

范例:替换good为==good==

sed 's/good/==&==/g' test.txt

\<

用法:\<[指定字符串]

意义:匹配字符串的开始

范例:替换以ni为开头的字符串为==ni==..(该行剩余字符串)

sed 's/\<ni/==&==/g' test.txt

\>

用法:[指定字符串]\>

意义:匹配字符串的结束

范例:替换以ni为结尾的字符串为==ni==..(该行剩余字符串)

sed -n 's/ni\>/==&==/g'p test.txt

 

【2.5、常规使用方式】

【2.5.1、分隔符说明】

上面的事例中我们都采用了'\'来充当分隔符,其实分割符可以按照中间的习惯设定,当然出现同分隔符一致的匹配字符的时候,

你需要添加转义字符'/'

例如:

1、使用其他分隔符:

替换当前路径的/home为空格:pwd | sed 's:/home::g'

2、遇见匹配的字符串同分隔符一样时:

替换当前路径的/home为空格:pwd | sed 's/\/home//g'

 

【2.5.2、使用组合表达式】

1、对每一行执行多个操作:采用-e (expression 见man)

范例:

如果有行有以he开头的打印,全局替换hello为HELLO,全局替换!为??

sed -ne '/\<he/'p -ne 's/hello/HELLO/g'p -ne 's/!/??/g'p test.txt

执行步骤分析:

上例中,我们特意在每条执行语句后面执行p,执行结果如下:

sed详细分析

说明:

第一步:'/\<he/'p (找到以he开头那一行,将它打印出来)

第二步:'s/hello/HELLO/g'p (全局替换hello为HELLO)

第三步:'s/!/??/g'p (全局替换!为??)

由此我们看出执行的总体流程为:获取当前一行内容到缓存空间,根据表达式(express)对缓存空间的数据进行处理(见注2)。

上图中,标注的第三步(第三个表达式:'s/!/??/g'p)并不完整,完整的第三步应该对应为:

sed详细分析

也正是由于第三步,

此时输出的才有这么多内容!

 

2、对同一行采用多个动作采用{} 加 ; 的方式

范例:找到以he为开头的行,替换该行的hello为HELLO并打印, 替换该行的!为??并打印

sed -n '/\<he/{s/hello/HELLO/;p;s/!/??/g;p}' test.txt

 

3、采用 | (管道)

管道的处理方式更类似与一个一个函数执行的情况

范例:替换good为GOOD并打印作为下一条执行命令的输入,替换!为??并打印

sed -n 's/good/GOOD/g'p test.txt | sed -n 's/!/??/g'p

 

总结:重点注意-e和{};区别

【2.5.3、提取特殊行】

1、提取奇数行:

sed -n '1~2'p test.txt

2、提取偶数行:

sed -n '2~2'p test.txt

 

【2.5.4、引用shell变量】

将一般使用的单引号'' 替换成 "",原因:双引号为弱转义,不会取出$变量的功能,而单引号为强转义,会把$视为一般符号表示。

范例:

步骤1、设置TEST变量:export TEST="good"

步骤2、调用TEST变量:sed -n "/$TEST/"p test.txt

 

【三、注释】

注1:模式空间和地址匹配

1、模式空间

可以简单的认为模式空间就是sed处理的缓存空间,以下图表示一个sed替换的执行过程:

sed详细分析

在上图中的左侧为执行指令:

s/Unix/UNIX/                      #将Unix转化为 UNIX

s/UNIX System/UNIX Operating System/      #将UNIX System 转化为 UNIX Operating System

右侧表示缓冲区的执行情况(也就是模式空间)。

 

2、地址匹配

以各行号来表示每行(地址定位),下表描述[指定范围空间]可采用的描述方式:

符号

意义和范例

1

意义:表示第一行

范例:屏幕仅输出test的第一行(n,p见后面分析)

sed -n '1'p test

2

意义:表示第二行

范例:屏幕仅输出test的第二行

sed -n '2'p test

$

意义:表示最后一行

范例:屏幕仅输出test的最后一行

sed -n '$'p test

1,2

意义:表示第一行到第二行

范例:屏幕仅输出test的第一行和第二行

sed -n '1,2'p test

1,/匹配字符串/

意义:表示第一行到到/匹配字符串/

范例:输出从首行到包含/good/i的行(此时首行不在/goog/的检索范围内)

sed -n '1,/good/'p test.txt

/匹配字符串/,/匹配字符串/!

意义:不在匹配字符串的行

范例:首先找到两个字符串的匹配行,然后打印出不在这些行里面的行

本例中:假设有10行,匹配/ni/,/i/的为2-3行,所以打印的为1,4-10行。

sed -n '/ni/,/i/!'p test.txt

 

注2:sed的执行流程

在使用sed处理文件的时候,如果没有添加-n将会在输出结果的时候同时输出源数据,比如:

源数据:

sed详细分析

我们输出前两行

sed详细分析

因此简单描述sed的处理流程:

1、读入新的一行内容到缓存空间(并打印到屏幕)

2、依次取指令匹配模式(也就是command)

3、重复处理完2(失败也是处理完),输出缓存行(这是加了p的缘故)的内容,回到1

4、处理直到1没有新的一行=>结束

 

注3:测试文本(test.txt)

内容:

good!

goood!

good!

nigood!

goodni!

hello!

e

i

good!

goo''od!

go??od!

goooood!

GOOD!

NICE!

 

【四、参考】

http://blog.jobbole.com/31026/

http://kodango.com/sed-and-awk-notes-part-2

http://mirrors.ustc.edu.cn/gnu/ (gnu镜像,sed源码)

上一篇:npm vue ivew vue-cli3


下一篇:intellij IDEA 出现“Usage of API documented as @since 1.6+”的解决办法