linux文本文件处理命令

一、文本文件查看命令

cat

命令描述:cat命令用于查看内容较少的纯文本文件。

命令格式:cat [选项] [文件]

命令参数说明:

参数

说明

-n或--number

显示行号

-b或--number-nonblank

显示行号,但是不对空白行进行编号

-s或--squeeze-blank

当遇到有连续两行以上的空白行,只显示一行的空白行

命令使用示例:

1. 将一个自增序列写入test.txt文件中。

for i in $(seq 1 10); do echo $i >> test.txt ; done


linux文本文件处理命令

2. 查看文件内容。

cat test.txt

命令输出结果:

3. 将文件内容清空。

cat /dev/null > test.txt


4. 再次检查文件内容。

cat test.txt

命令输出结果:

linux文本文件处理命令

more

命令描述:more命令从前向后分页显示文件内容。

常用操作命令:

操作

作用

Enter

向下n行,n需要定义,默认为1行

Ctrl+F或空格键(Space)

向下滚动一页

Ctrl+B

向上滚动一页

=

输出当前行的行号

!命令

调用Shell执行命令

q

退出more

命令使用示例:

从第20行开始分页查看系统日志文件/var/log/messages。

more +20 /var/log/messages


命令输出结果:

linux文本文件处理命令

less

命令描述:less命令可以对文件或其它输出进行分页显示,与moe命令相似,但使用 less 可以随意浏览文件,而 more 仅能向前移动,却不能向后移动。

命令格式:less [参数] 文件

命令参数说明:

参数

说明

-e

当文件显示结束后,自动离开

-m

显示类似more命令的百分比

-N

显示每行的行号

-s

显示连续空行为一行

命令常用操作:

快捷键

说明

/字符串

向下搜索字符串

?字符串

向上搜索字符串

n

重复前一个搜索

N

反向重复前一个搜索

b或pageup

向上翻一页

空格键或pagedown

向下翻一页

u

向前翻半页

d

向后翻半页

y

向前滚动一行

回车键

向后滚动一行

q

退出less命令

命令使用示例:

查看命令历史使用记录并通过less分页显示。

history | less


head

命令描述:head命令用于查看文件开头指定行数的内容。

命令格式:head [参数] [文件]

命令参数说明:

参数

说明

-n [行数]

显示开头指定行的文件内容,默认为10

-c [字符数]

显示开头指定个数的字符数

-q

不显示文件名字信息,适用于多个文件,多文件时默认会显示文件名

命令使用示例:

查看/etc/passwd文件的前5行内容。

head -5 /etc/passwd


命令输出结果:

linux文本文件处理命令

tail

命令描述:tail命令用于查看文档的后N行或持续刷新内容。

命令格式:tail [参数] [文件]

命令参数说明:

参数

说明

-f

显示文件最新追加的内容

-q

当有多个文件参数时,不输出各个文件名

-v

当有多个文件参数时,总是输出各个文件名

-c [字节数]

显示文件的尾部n个字节内容

-n [行数]

显示文件的尾部n行内容

命令使用示例:

查看/var/log/messages系统日志文件的最新10行,并保持实时刷新。

tail -f -n 10 /var/log/messages


linux文本文件处理命令

ctrl+c键退出文本实时查看界面。

stat

命令描述:用来显示文件的详细信息,包括inode、atime、mtime、ctime等。

命令使用示例:

查看/etc/passwd文件的详细信息。

stat /etc/passwd


命令输出结果:

linux文本文件处理命令

wc

命令描述:wc命令用于统计指定文本的行数、字数、字节数。

命令格式:wc [参数] [文件]

命令参数说明:

参数

说明

-l

只显示行数

-w

只显示单词数

-c

只显示字节数

命令使用示例:

统计/etc/passwd文件的行数。

wc -l /etc/passwd


命令输出结果:

linux文本文件处理命令

file

命令描述: file命令用于辨识文件类型。

命令格式:file [参数] [文件]

命令参数说明:

参数

说明

-b

列出辨识结果时,不显示文件名称

-c

详细显示指令执行过程,便于排错或分析程序执行的情形

-f [文件]

指定名称文件,其内容有一个或多个文件名称时,让file依序辨识这些文件,格式为每列一个文件名称

-L

直接显示符号连接所指向的文件类别

命令使用示例:

查看/var/log/messages文件的文件类型。

file /var/log/messages


命令输出结果:

linux文本文件处理命令

diff

命令描述:diff命令用于比较文件的差异。

命令使用示例:

1. 构造两个相似的文件

echo -e '第一行\n第二行\n我是log1第3行\n第四行\n第五行\n第六行' > 1.log echo -e '第一行\n第二行\n我是log2第3行\n第四行' > 2.log


2. 分别查看两个文件linux文本文件处理命令

3. 使用diff查看两个文件的差异

linux文本文件处理命令

对比结果中的3c3表示两个文件在第3行有不同,5,6d4表示2.log文件相比1.log文件在第4行处开始少了1.log文件的第5和第6行。

二、文本文件处理命令

grep

命令描述:grep命令用于查找文件里符合条件的字符串。

grep全称是Global Regular Expression Print,表示全局正则表达式版本,它能使用正则表达式搜索文本,并把匹配的行打印出来。

在Shell脚本中,grep通过返回一个状态值来表示搜索的状态:

  • 0:匹配成功。
  • 1:匹配失败。
  • 2:搜索的文件不存在。

命令格式:grep [参数] [正则表达式] [文件]

命令常用参数说明:

参数

说明

-c或--count

计算符合样式的列数

-d recurse或-r

指定要查找的是目录而非文件

-e [范本样式]

指定字符串做为查找文件内容的样式

-E 或 --extended-regexp

将样式为延伸的正则表达式来使用

-F 或 --fixed-regexp

将样式视为固定字符串的列表

-G 或 --basic-regexp

将样式视为普通的表示法来使用

-i 或 --ignore-case

忽略字符大小写的差别

-n 或 --line-number

在显示符合样式的那一行之前,标示出该行的列数编号

-v 或 --revert-match

显示不包含匹配文本的所有行

命令使用示例:

  • 查看sshd服务配置文件中监听端口配置所在行编号。grep -n Port /etc/ssh/ssh_config命令输出结果:linux文本文件处理命令
  • 查询字符串在文本中出现的列数。grep -c localhost /etc/hosts命令输出结果:linux文本文件处理命令
  • 反向查找,不显示符合条件的行。ps -ef | grep sshdps -ef | grep -v grep | grep sshd

命令输出结果:

linux文本文件处理命令

  • 以递归的方式查找目录下含有关键字的文件。grep -r *.sh /etc命令输出结果:linux文本文件处理命令
  • 使用正则表达式匹配httpd配置文件中异常状态码响应的相关配置。grep 'ntp[0-9].aliyun.com' /etc/ntp.conf命令输出结果:linux文本文件处理命令

sed

命令描述:sed是一种流编辑器,它是文本处理中非常中的工具,能够完美的配合正则表达式使用。

1. 处理时,把当前处理的行存储在临时缓冲区中,称为模式空间(pattern space)。
2. 接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。
3. 接着处理下一行,这样不断重复,直到文件末尾。

注意:

  • sed命令不会修改原文件,例如删除命令只表示某些行不打印输出,而不是从原文件中删去。
  • 如果要改变源文件,需要使用-i选项。

命令格式:sed [参数] [动作] [文件]

参数说明:

参数

说明

-e [script]

执行多个script

-f [script文件]

执行指定script文件

-n

仅显示script处理后的结果

-i

输出到原文件,静默执行(修改原文件)

动作说明:

动作

说明

a

在行后面增加内容

c

替换行

d

删除行

i

在行前面插入

p

打印相关的行

s

替换内容

命令使用示例:

  • 删除第3行到最后一行内容。sed '3,$d' /etc/passwd命令输出结果:linux文本文件处理命令
  • 在最后一行新增行。sed '$a admin:x:1000:1000:admin:/home/admin:/bin/bash' /etc/passwd命令输出结果:linux文本文件处理命令
  • 替换内容。sed 's/SELINUX=disabled/SELINUX=enforcing/' /etc/selinux/config命令输出结果:linux文本文件处理命令
  • 替换行。sed '1c abcdefg' /etc/passwd命令输出结果:linux文本文件处理命令

awk

命令描述:和 sed 命令类似,awk 命令也是逐行扫描文件(从第 1 行到最后一行),寻找含有目标文本的行,如果匹配成功,则会在该行上执行用户想要的操作;反之,则不对行做任何处理。

命令格式:awk [参数] [脚本] [文件]

参数说明:

参数

说明

-F fs

指定以fs作为输入行的分隔符,awk 命令默认分隔符为空格或制表符

-f file

读取awk脚本

-v val=val

在执行处理过程之前,设置一个变量var,并给其设置初始值为val

内置变量:

变量

用途

FS

字段分隔符

$n

指定分隔的第n个字段,如$1、$3分别表示第1、第三列

$0

当前读入的整行文本内容

NF

记录当前处理行的字段个数(列数)

NR

记录当前已读入的行数

FNR

当前行在源文件中的行号

awk中还可以指定脚本命令的运行时机。默认情况下,awk会从输入中读取一行文本,然后针对该行的数据执行程序脚本,但有时可能需要在处理数据前运行一些脚本命令,这就需要使用BEGIN关键字,BEGIN会在awsk读取数据前强制执行该关键字后指定的脚本命令。

和BEGIN关键字相对应,END关键字允许我们指定一些脚本命令,awk会在读完数据后执行它们。

命令使用示例:

  • 查看本机IP地址。ifconfig eth0 |awk '/inet/{print $2}'命令输出结果:linux文本文件处理命令
  • 查看本机剩余磁盘容量。df -h |awk '/\/$/{print $4}'命令输出结果:linux文本文件处理命令
  • 统计系统用户个数。awk -F: '$3<1000{x++} END{print x}' /etc/passwd命令输出结果:linux文本文件处理命令
  • 输出其中登录Shell不以nologin结尾(对第7个字段做!~反向匹配)的用户名、登录Shell信息。awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd命令输出结果:linux文本文件处理命令
  • 输出/etc/passwd文件中前三行记录的用户名和用户uid。head -3 /etc/passwd | awk 'BEGIN{FS=":";print "name\tuid"}{print $1,"\t"$3}END{print "sum lines "NR}'命令输出结果:linux文本文件处理命令
  • 查看tcp连接数。netstat -na | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'命令输出结果:linux文本文件处理命令
  • 关闭指定服务的所有的进程。ps -ef | grep httpd | awk {'print $2'} | xargs kill -9

cut

命令描述:cut命令主要用来切割字符串,可以对输入的数据进行切割然后输出。

命令格式:cut [参数] [文件]

参数说明:

参数

说明

-b

以字节为单位进行分割

-c

以字符为单位进行分割

-d

自定义分隔符,默认为制表符

命令使用示例:

  • 按字节进行切割。

linux文本文件处理命令

  • 按字符进行切割。

linux文本文件处理命令

  • 按指定字符进行切割。

linux文本文件处理命令

tr

命令描述:tr命令用于对来自标准输入的字符进行替换、压缩和删除。

命令格式:tr [参数] [文本]

参数说明:

参数

说明

-c

反选指定字符

-d

删除指定字符

-s

将重复的字符缩减成一个字符

-t [第一字符集] [第二字符集]

删除第一字符集较第二字符集多出的字符,使两个字符集长度相等

命令使用示例:

  • 将输入字符由大写转换为小写。echo "HELLO WORLD" | tr 'A-Z' 'a-z'命令输出结果:linux文本文件处理命令
  • 删除字符。echo "hello 123 world 456" | tr -d '0-9'命令输出结果:linux文本文件处理命令
  • 压缩字符。echo "thissss is a text linnnnnnne." | tr -s ' sn'命令输出结果:linux文本文件处理命令
  • 产生随机密码。cat /dev/urandom | tr -dc a-zA-Z0-9 | head -c 13命令输出结果:linux文本文件处理命令
上一篇:【Elasticsearch】-批量操作


下一篇:【Elasticsearch】-聚合查询