Linux命令:sed -i 解析、sed是什么、工作原理、基本语法使用以及数字和正则定址

  sed 是一个比较古老的,功能十分强大的用于文本处理的流编辑器,加上正则表达式的支持,可以进行大量的复杂的文本编辑操作。sed 本身是一个非常复杂的工具,有专门的书籍讲解 sed 的具体用法,但是个人觉得没有必要去学习它的每个细节,那样没有特别大的实际意义。我们经常在 Dockerfile 文件中看到 sed -i 之类的语句,故此研究了解一些 sed 命令。

一、sed 简介

1、sed 是什么

  sed 全名为 stream editor,流编辑器,用程序的方式来编辑文本,功能相当的强大,可以在大多数操作系统中使用。

  sed 的出现作为 grep 的继任者,与vim等编辑器不同,sed 是一种非交互式编辑器(即用户不必参与编辑过程),它使用预先设定好的编辑指令对输入的文本进行编辑,完成之后再输出编辑结构。sed 基本上就是在玩正则模式匹配,所以,玩sed的人,正则表达式一般都比较强。

2、sed 工作原理

  sed 会一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,成为"模式空间",接着用 sed 命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。

3、正则表达式的匹配过程

  简单描述一下正则表达式的匹配过程,就是拿正则表达式所表示的字符串去和原文字符串内容去匹配,直到匹配到原文内容字符串中的一个完整子串就表示匹配成功。举个例子,有一行文件内容 "this is better desk",这里用"esk"去匹配,匹配过程是这样的:首先拿e去匹配文件行内容,从this开始,直到better的e,第一个字符匹配成功,接着s去匹配better字符e后边的t字符,没有匹配成功;然后重新拿esk中的e去和better的第二个t去匹配,没有成功,接着原始内容的下一个字符,直到desk中的e字符,逐个匹配s,k字符,到此为止,esk成功匹配,正则表达式匹配完毕。整个过程就是这样,即使再复杂的正则表达式的匹配过程也是按照此过程来进行的。

二、sed 基本语法

# sed [-nefr] [动作]
选项与参数:
-n :使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后,则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e :直接在命令列模式上进行 sed 的动作编辑;
-f :直接将 sed 的动作写在一个文件内, -f filename 则可以运行 filename 内的 sed 动作;
-r :sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i :直接修改读取的文件内容,而不是输出到终端。
 
动作说明: [n1[,n2]]function
n1, n2 :不见得会存在,一般代表『选择进行动作的行数』,举例来说,如果我的动作是需要在 1020 行之间进行的,则『 10,20[动作行为] 』
 
function:
a :新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~
c :取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!
d :删除,因为是删除啊,所以 d 后面通常不接任何咚咚;
i :插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
p :列印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行~
s :取代,可以直接进行取代的工作哩!通常这个 s 的动作可以搭配正规表示法!例如 1,20s/old/new/g 就是啦!

  sed -i 就是直接对文本文件进行操作的

sed -i s/原字符串/新字符串/ /home/1.txt
sed -i s/原字符串/新字符串/g /home/1.txt

  这两条命令的区别就是和正则表达式一样,加了 g 就是每行都全局替换。没有 g 就是每行只替换第一个匹配的。比如:

#cat 1.txt
d
ddd
#ff

sed -i s/d/7523/ /home/1.txt
执行结果
7523
7523dd
#ff
// 只替换每行的第一个

sed -i s/d/7523/g /home/1.txt
执行结果
7523
752375237523
#ff
// 每行全部替换

  其他命令例子

// 去掉 “行首” 带“@”的首字母@
sed -i s/^@// file

// 特定字符串的行前插入新行
sed -i /特定字符串/i 新行字符串 file

// 特定字符串的行后插入新行
sed -i /特定字符串/a 新行字符串 file

// 特定字符串的删除
sed -i /字符串/d file

1、选项 -e:如果需要用sed对文本内容进行多种操作,则需要执行多条子命令来进行操作

// 例子1:
echo -e hello world | sed -e s/hello/A/ -e s/world/B/
// 结果:A B

// 例子2:
echo -e hello world | sed s/hello/A/;s/world/B/
// 结果:A B

  说明:例子1和例子2的写法的作用完全等同,可以根据喜好来选择,如果需要的子命令操作比较多的时候,无论是选择-e选项方式,还是选择分号的方式,都会使命令显得臃肿不堪,此时使用-f选项来指定脚本文件来执行各种操作会比较清晰明了。

2、选项-i:sed默认会把输入行读取到模式空间,简单理解就是一个内存缓冲区,sed子命令处理的内容是模式空间中的内容,而非直接处理文件内容。因此在sed修改模式空间内容之后,并非直接写入修改输入文件,而是打印输出到标准输出。如果需要修改输入文件,那么就可以指定-i选项。

// 例子1:不加 -i,原文件没变,只是输出
cat file.txt
hello world
[root@localhost]# sed s/hello/A/ file.txt
A world
[root@localhost]# cat file.txt
hello world

 // 例子2:加上 -i,不输出,但是修改了原文件
[root@localhost]# sed -i s/hello/A/ file.txt
[root@localhost]# cat file.txt
A world

// 例子3:
[root@localhost]# sed –i.bak s/hello/A/ file.txt

  说明:最后一个例子会把修改内容保存到file.txt,同时会以file.txt.bak文件备份原来未修改文件内容,以确保原始文件内容安全性,防止错误操作而无法恢复原来内容。

3、选项-f:还记得 -e 选项可以来执行多个子命令操作,用分号分隔多个命令操作也是可以的,如果命令操作比较多的时候就会比较麻烦,这时候把多个子命令操作写入脚本文件,然后使用 -f 选项来指定该脚本。

// 例子1:
echo "hello world" | sed -f sed.script
// 结果:A B

// sed.script脚本内容:
s/hello/A/
s/world/B/
// 说明:在脚本文件中的子命令串就不需要输入单引号了。

4、选项-r:sed命令的匹配模式支持正则表达式的,默认只能支持基本正则表达式,如果需要支持扩展正则表达式,那么需要添加-r选项。

echo "hello world" | sed -r s/(hello)|(world)/A/g
// A A

三、数字定址和正则定址

1、关于定址的概念

  默认情况下sed会对每一行内容进行匹配、处理、输出,某些情况不需要对处理的文本全部编辑,只需要其中的一部分,比如1-10行,偶数行,或者是包含"hello"字符串的行,这种情况下就需要我们去定位特定的行来处理,而不是全部内容,这里把这个定位指定的行叫做"定址"。

2、数字定址

  数字定址其实就是通过数字去指定具体要操作编辑的行,数字定址有几种方式,每种方式都有不同的应用场景,下边以举例的方式来描述每种数字定址的用法。

// 例子1:将第4行中hello字符串替换为A,其它行如果有hello也不会被替换。
sed –n ‘4s/hello/A/’ message

// 例子2:将第2-4行中hello字符串替换为A,其它行如果有hello也不会被替换。
sed –n ‘2,4s/hello/A/’ message

// 例子3:从第2行开始,再接着往下数4行,也就是2-6行,这些行会把hello字符替换为A
sed –n ‘2,+4s/hello/A/’ message

// 例子4:第4行开始,到第6行。解释6的由来,"4,~3"表示从4行开始到下一个3的倍数,这里从4开始算,那就是6了,当然9就不是了,因为是要求3的第一个超过前边数字4的倍数,感觉这种适用场景不会太多。
sed –n ‘4,~3s/hello/A/’ message

// 例子5:从第4行开始,每隔3行就把hello替换为A。比如从4行开始,7行,10行等依次+3行。这个比较常用,比如3替换为2的时候,也就是每隔2行的步调,可以实现奇数和偶数行的操作。
sed –n ‘4~3s/hello/A/’ message

// 例子6:$符号表示最后一行,和正则中的$符号类似,但是第1行不用^表示,直接1就行了。
sed –n ‘$s/hello/A/’ message

// 例子7:!符号表示取反,该命令是将除了第1行,其它行hello替换为A,上述定址方式也可以使用!符号。
sed -n ‘1!s/hello/A/’ message

3、正则定址:正则定址使用目的和数字定址完全一样,使用方式上有所不同,是通过正则表达式的匹配来确定需要处理编辑哪些行,其它行就不需要额外处理。

// 例子1:将匹配到nihao的行执行删除操作。
sed -n ‘/nihao/d’ message

// 例子2:删除空行
sed -n ‘/^$/d’ message

// 例子3:匹配以TS开头的行到TE开头的行之间的行,把匹配到的这些行删除
sed -n ‘/^TS/,/^TE/d’ message

4、数字定址和正则定址混用

sed -n ‘1,/^TS/d’ message
// 说明:匹配从第1行到TS开头的行,把匹配的行删除。

5、关于定址的分组命令

// 例子1:该命令表示将从TS开头的行到TE开头的行之间范围的行内容中CN替换为China,并且把Beijing替换为BJ,类似于多命令之间用分号的那种方式,不过这样定址代码只写了一遍,相当于执行了一条子命令。
/^TS/,/^TE/{
s/CN/China/
s/Beijing/BJ/
} 

// 例子2:效果类似例子1
sed -n ‘2,3s{/cn/china/;/a/b/}’ message

  更多详细用法可以看这篇文章:https://blog.csdn.net/qq_33468857/article/details/84324609

Linux命令:sed -i 解析、sed是什么、工作原理、基本语法使用以及数字和正则定址

上一篇:linux操作系统远程连接方法


下一篇:go时间/时间戳操作大全(小结)