Shell常用模块

1.比较

shell脚本中大于,大于等于,小于,小于等于、不等于的表示方法

应对方法:

大于 -gt (greater than)
小于 -lt (less than)
大于或等于 -ge (greater than or equal)
小于或等于 -le (less than or equal)
不相等 -ne (not equal)

******************************************

2.for循环

Linux下Shell的for循环语句
第一类:数字性循环
-----------------------------
for1-1.sh

#!/bin/bash

for((i=1;i<=10;i++));
do
echo $(expr $i \* 3 + 1);
done
-----------------------------
for1-2.sh

#!/bin/bash

for i in $(seq 1 10)
do
echo $(expr $i \* 3 + 1);
done
-----------------------------
for1-3.sh

#!/bin/bash

for i in {1..10}
do
echo $(expr $i \* 3 + 1);
done
-----------------------------
for1-4.sh

#!/bin/bash

awk ‘BEGIN{for(i=1; i<=10; i++) print i}‘
第二类:字符性循环
-----------------------------
for2-1.sh

#!/bin/bash

for i in `ls`;
do
echo $i is file name\! ;
done
-----------------------------
for2-2.sh

#!/bin/bash

for i in $* ;
do
echo $i is input chart\! ;
done
-----------------------------
for2-3.sh

#!/bin/bash

for i in f1 f2 f3 ;
do
echo $i is appoint ;
done
-----------------------------
for2-4.sh

复制代码
#!/bin/bash

list="rootfs usr data data2"
for i in $list;
do
echo $i is appoint ;
done
复制代码
第三类:路径查找
-----------------------------
for3-1.sh

#!/bin/bash

for file in /proc/*;
do
echo $file is file path \! ;
done
-----------------------------
for3-2.sh

#!/bin/bash

for file in $(ls *.sh)
do
echo $file is file path \! ;
done
总结:

现在一般都使用for in结构,for in结构后面可以使用函数来构造范围,比如$()、``这些,里面写一些查找的语法,比如ls test*,那么遍历之后就是输出文件名了。

******************************************

3.非空判断

3.1 在Shell里面判断字符串是否为空

判断字符串为空的方法有三种:
if [ "$str" = "" ]
if [ x"$str" = x ]
if [ -z "$str" ] (-n 为非空)

3.2如何在shell中判断一个文件是否为空

方法一:在shell中通过test指令测试文件是否为空的示例脚本如下:

#! /bin/sh

if test -s file.txt; then
echo "hi"
else
echo "empty"
fi

方法二:在shell中,test指令还有另外一种写法,上面的脚本和下面的脚本是等价的:

#! /bin/sh

if [ -s file.txt ]; then
echo "hi"
else
echo "empty"
fi

********************************************************

4.Shell中判断文件,目录是否存在

-e filename 如果 filename存在,则为真
-d filename 如果 filename为目录,则为真
-f filename 如果 filename为常规文件,则为真
-L filename 如果 filename为符号链接,则为真
-r filename 如果 filename可读,则为真
-w filename 如果 filename可写,则为真
-x filename 如果 filename可执行,则为真
-s filename 如果文件长度不为0,则为真
-h filename 如果文件是软链接,则为真

***************************************************
实例如下:

 

4.1.判断文件夹是否存在

#shell判断文件夹是否存在

#如果文件夹不存在,创建文件夹
if [ ! -d "/myfolder" ]; then
mkdir /myfolder
fi

4.2.判断文件夹是否存在并且是否具有可执行权限

#shell判断文件,目录是否存在或者具有权限
folder="/var/www/"
file="/var/www/log"

# -x 参数判断 $folder 是否存在并且是否具有可执行权限
if [ ! -x "$folder"]; then
mkdir "$folder"
fi

4.3.判断文件夹是否存在

# -d 参数判断 $folder 是否存在
if [ ! -d "$folder"]; then
mkdir "$folder"
fi

4.4.判断文件是否存在

# -f 参数判断 $file 是否存在
if [ ! -f "$file" ]; then
touch "$file"
fi


4.5.判断一个变量是否有值

# -n 判断一个变量是否有值
if [ ! -n "$var" ]; then
echo "$var is empty"
exit 0
fi

4.6.判断两个变量是否相等.

# 判断两个变量是否相等
if [ "$var1" = "$var2" ]; then
echo ‘$var1 eq $var2‘
else
echo ‘$var1 not eq $var2‘
fi


5.shell脚本--sed的用法

5.1.sed命令实例:

sed ‘3ahello‘ 1.txt #向第三行后面添加hello,3表示行号

sed ‘/123/ahello‘ 1.txt #向内容123后面添加hello,如果文件中有多行包括123,则每一行后面都会添加

sed ‘$ahello‘ 1.txt #在最后一行添加hello

sed ‘3ihello‘ 1.txt #在第三行之前插入hello

sed ‘/123/ihello‘ 1.txt #在包含123的行之前插入hello,如果有多行包含123,则包含123的每一行之前都会插入hello

sed ‘$ihello‘ 1.txt #在最后一行之前插入hello

2.更改文件中指定的行

sed ‘1chello‘ 1.txt #将文件1.txt的第一行替换为hello

sed ‘/123/chello‘ 1.txt #将包含123的行替换为hello

sed ‘$chello‘ 1.txt #将最后一行替换为hello

3.删除文件中的行

sed ‘4d‘ 1.txt #删除第四行

sed ‘1~2d‘ 1.txt #从第一行开始删除,每隔2行就删掉一行,即删除奇数行

sed ‘1,2d‘ 1.txt #删除1~2行

sed ‘1,2!d‘ 1.txt #删除1~2之外的所有行

sed ‘$d‘ 1.txt #删除最后一行

sed ‘/123/d‘ 1.txt #删除匹配123的行

sed ‘/123/,$d‘ 1.txt #删除从匹配123的行到最后一行

sed ‘/123/,+1d‘ 1.txt #删除匹配123的行及其后面一行

sed ‘/^$/d‘ 1.txt #删除空行

sed ‘/123\|abc/!d‘ 1.txt #删除不匹配123或abc的行,/123\|abc/ 表示匹配123或abc ,!表示取反

sed ‘1,3{/123/d}‘ 1.txt #删除1~3行中,匹配内容123的行,1,3表示匹配1~3行,{/123/d}表示删除匹配123的行

4:替换文件中的内容

sed ‘s/123/hello/‘ 1.txt #将文件中的123替换为hello,默认只替换每行第一个123

sed ‘s/123/hello/g‘ 1.txt #将文本中所有的123都替换为hello

sed ‘s/123/hello/2‘ 1.txt #将每行中第二个匹配的123替换为hello

sed -n ‘s/123/hello/gpw 2.txt‘ 1.txt #将每行中所有匹配的123替换为hello,并将替换后的内容写入2.txt

sed ‘/#/s/,.*//g‘ 1.txt #匹配有#号的行,替换匹配行中逗号后的所有内容为空 (,.*)表示逗号后的所又内容

sed ‘s/..$//g‘ 1.txt #替换每行中的最后两个字符为空,每个点代表一个字符,$表示匹配末尾 (..$)表示匹配最后两个字符

sed ‘s/^#.*//‘ 1.txt #将1.txt文件中以#开头的行替换为空行,即注释的行 ( ^#)表示匹配以#开头,(.*)代表所有内容

sed ‘s/^#.*//;/^$/d‘ 1.txt #先替换1.txt文件中所有注释的空行为空行,然后删除空行,替换和删除操作中间用分号隔开

sed ‘s/^[0-9]/(&)/‘   1.txt   #将每一行中行首的数字加上一个小括号   (^[0-9])表示行首是数字,&符号代表匹配的内容

或者  sed ‘s/[0?9][0?9]/(\1)/‘   1.txt  #替换左侧特殊字符需钥转义,右侧不需要转义,\1代表匹配的内容

sed ‘s/$/&‘haha‘/‘ 1.txt # 在1.txt文件的每一行后面加上"haha"字段

5.打印文件中的行

sed -n ‘3p‘ 1.txt #打印文件中的第三行内容

sed -n ‘2~2p‘ 1.txt #从第二行开始,每隔两行打印一行,波浪号后面的2表示步长

sed -n ‘$p‘ 1.txt #打印文件的最后一行

sed -n ‘1,3p‘ 1.txt #打印1到3行

sed -n ‘3,$p‘ 1.txt #打印从第3行到最后一行的内容

sed -n ‘/you/p‘ 1.txt #逐行读取文件,打印匹配you的行

sed -n ‘/bob/,3p‘ 1.txt #逐行读取文件,打印从匹配bob的行到第3行的内容

sed -n ‘/you/,3p‘ 1.txt #打印匹配you 的行到第3行,也打印后面所有匹配you 的行

sed -n ‘1,/too/p‘ 1.txt #打印第一行到匹配too的行

sed -n ‘3,/you/p‘ 1.txt #只打印第三行到匹配you的行

sed -n ‘/too/,$p‘ 1.txt #打印从匹配too的行到最后一行的内容

sed -n ‘/too/,+1p‘ 1.txt #打印匹配too的行及其向后一行,如果有多行匹配too,则匹配的每一行都会向后多打印一行

sed -n ‘/bob/,/too/p‘ 1.txt #打印从匹配内容bob到匹配内容too的行

6.打印文件的行号

sed -n "$=" 1.txt #打印1.txt文件最后一行的行号(即文件有多少行,和wc -l 功能类似)

sed -n ‘/error/=‘ 1.txt #打印匹配error的行的行号

sed -n ‘/error/{=;p}‘ 1.txt #打印匹配error的行的行号和内容(可用于查看日志中有error的行及其内容)

7.从文件中读取内容

sed ‘r 2.txt‘ 1.txt #将文件2.txt中的内容,读入1.txt中,会在1.txt中的每一行后都读入2.txt的内容

sed ‘3r 2.txt‘ 1.txt #在1.txt的第3行之后插入文件2.txt的内容(可用于向文件中插入内容)

sed ‘/245/r 2.txt‘ 1.txt #在匹配245的行之后插入文件2.txt的内容,如果1.txt中有多行匹配456则在每一行之后都会插入

sed ‘$r 2.txt‘ 1.txt #在1.txt的最后一行插入2.txt的内容

8.向文件中写入内容

sed -n ‘w 2.txt‘ 1.txt #将1.txt文件的内容写入2.txt文件,如果2.txt文件不存在则创建,如果2.txt存在则覆盖之前的内容

sed -n ‘2w 2.txt‘ 1.txt #将文件1.txt中的第2行内容写入到文件2.txt

sed  -n -e ‘1w  2.txt‘  -e ‘$w 2.txt‘   1.txt   #将1.txt的第1行和最后一行内容写入2.txt

sed  -n -e ‘1w  2.txt‘  -e ‘$w  3.txt‘  1.txt   #将1.txt的第1行和最后一行分别写入2.txt和3.txt

sed -n ‘/abc\|123/w 2.txt‘ 1.txt #将1.txt中匹配abc或123的行的内容,写入到2.txt中

sed -n ‘/666/,$w 2.txt‘ 1.txt #将1.txt中从匹配666的行到最后一行的内容,写入到2.txt中

sed -n ‘/xyz/,+2w 2.txt‘ 1.txt #将1.txt中从匹配xyz的行及其后2行的内容,写入到2.txt中

9.sed 在shell脚本中的使用

9.1:替换文件中的内容

#!/bin/bash
if [ $# -ne 3 ];then            #判断参数个数
  echo "Usage:  $0 old-part new-part filename"    #输出脚本用法
  exit
fi

sed -i "s#$1#$2#"  $3          #将 旧内容进行替换,当$1和$2中包含"/"时,替换指令中的定界符需要更换为其他符号

9.2:删除文件中的空白行

#!/bin/bash

if [ ! -f $1 ];then #判断参数是否为文件且存在

echo "$0 is not a file"

exit

fi

sed -i "/^$/d" $1 #将空白行删除


9.3:格式化文本内容

#!/bin/bash
a=‘s/^  *>//      #定义一个变量a保存sed指令,‘s/^ *>//‘:表示匹配以0个或多空格开头紧跟一个‘>‘号的行,将匹配内容替换
s/\t*//                 #‘s/\t*//‘:表示匹配以0个或多个制表符开头的行,将匹配内容替换

s/^>//               #‘s/^>//‘ :表示匹配以‘>‘开头的行,将匹配内容替换

s/^ *//‘               #‘s/^ *//‘:表示匹配以0个或多个空格开头的行,将匹配内容替换
#echo $a
sed "$a" $1        #对用户给定的文本文件进行格式化处理

******************************************************
*******************************************************
实用脚本:批量更改当前目录中的文件后缀名:

示例1:

#!/bin/bash
if [ $# -ne 2 ];then               #判断用户的输入,如果参数个数不为2则打印脚本用法
  echo "Usage:$0 + old-file new-file"
  exit
fi
for i in *$1*                         #对包含用户给定参数的文件进行遍历
do
  if [ -f $i ];then
     iname=`basename $i`        #获取文件名
     newname=`echo $iname | sed -e "s/$1/$2/g"`         #对文件名进行替换并赋值给新的变量
     mv  $iname  $newname          #对文件进行重命名
   fi
done

exit 666


示例2:

#!/bin/bash
read -p "input the old file:" old        #提示用户输入要替换的文件后缀
read -p "input the new file:" new
[ -z $old ] || [ -z $new ] && echo "error" && exit      #判断用户是否有输入,如果没有输入怎打印error并退出
for file in `ls *.$old`
do
  if [ -f $file ];then
     newfile=${file%$old}                        #对文件进行去尾
     mv $file ${newfile}$new                   #文件重命名
  fi


示例3:

#!/bin/bash

if [ $# -ne 2 ];then        #判断位置变量的个数是是否为2
   echo "Usage:$0  old-file  new-file"
   exit
fi
for file in `ls`                      #在当前目录中遍历文件
do
  if [[ $file =~ $1$ ]];then   #对用户给出的位置变量$1进行正则匹配,$1$表示匹配以变量$1的值为结尾的文件
     echo $file                      #将匹配项输出到屏幕进行确认
     new=${file%$1}             #对文件进行去尾处理,去掉文件后缀保留文件名,并将文件名赋给变量new                  
     mv $file ${new}$2          #将匹配文件重命名为:文件名+新的后缀名
  fi

done


6.shell中awk命令使用

6.1基本打印

Awk常用内置变量表:
1 $0 当前记录(作为单个变量)
2 $1~$n 当前记录的第n个字段,字段间由FS分隔
3 FS 输入字段分隔符 默认是空格 (可记忆为:FieldsSpace缩写)
4 NF 当前记录中的字段个数,就是有多少列 (可记忆为:NumberFields缩写)
5 NR 已经读出的记录数,就是行号,从1开始 (可记忆为:NumberRows缩写)
6 RS 输入的记录他隔符默 认为换行符 (可记忆为:RowsSpace缩写)
7 OFS 输出字段分隔符 默认也是空格 (可记忆为:OutputFieldsSpace缩写)
8 ORS 输出的记录分隔符,默认为换行符 (可记忆为:OutputRowsSpace缩写)
9 ARGC 命令行参数个数
10 ARGV 命令行参数数组
11 FILENAME 当前输入文件的名字
12 IGNORECASE 如果为真,则进行忽略大小写的匹配
13 ARGIND 当前被处理文件的ARGV标志符
14 CONVFMT 数字转换格式 %.6g
15 ENVIRON UNIX环境变量
16 ERRNO UNIX系统错误消息
17 FIELDWIDTHS 输入字段宽度的空白分隔字符串
18 FNR 当前记录数
19 OFMT 数字的输出格式 %.6g
20 RSTART 被匹配函数匹配的字符串首
21 RLENGTH 被匹配函数匹配的字符串长度

示例:

awk ‘{print $0}‘ p1 #打印整行: $0

awk -F : ‘{print $NF}‘ p1 #打印每行的最后一个字段: $NF

awk -F : ‘{print $3}‘ p1 #打印第三个字段: $3

awk ‘NR==1{print $0}‘ p1 #打印第一行NR==1

awk ‘END{print $0}‘ p1 #打印最后一行

awk -F: ‘NR==1{print $NF}‘ p1 #打印第一行最后一个字段

awk -F: ‘END{print $NF}‘ p1 #打印最后一行最后一个字段

awk -F: ‘{print $(NF-1),"nihao"}‘ p1 #打印每行的倒数第二个字段,并在其后打印你好

cat /etc/passwd |awk -F ‘:‘ ‘{print $1}‘ #冒号分割,只显示/etc/passwd的账户

cat /etc/passwd |awk -F ‘:‘ ‘{print $1"\t"$7}‘ #只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

cat /etc/passwd |awk -F ‘:‘ ‘BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}‘ #如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"

awk ‘{print NR,$0}‘ p1 #打印行号

awk ‘BEGIN{print ENVIRON["PATH"];}‘ #打印当前系统环境变量的某个特定值

awk ‘BEGIN{FS=":";OFS=":"}{print $1,$3,$4,$5,$6,$7}‘ p1 #分割,删除第2个字段


6.2条件操作符:

<、<=、==、!=、>=、~匹配正则表达式、!~不匹配正则表达式

awk ‘{if ($4~/ASIMA/) print $0}‘ temp #表示如果第四个域包含 ASIMA,就打印整条

awk ‘$3=="48" {print $0}‘ temp 只打印第 3 域等于"48"的记录

awk ‘$0 !~ /ASIMA/‘ temp 打印整条不包含 ASIMA 的记录

awk ‘$1 != "asima"‘ temp #打印 不等于 asima的对象

awk ‘{if ($1<$2) print $1 "is smaller"}‘ temp #打印较小的对象

awk ‘/[Gg]reen/‘ temp 打印整条包含 Green,或者 green 的记录

awk ‘$1 ~/^...a/‘ temp 打印第 1 域中第四个字符是 a 的记录,符号’^’代表行首,符合’.’代表任意字符

awk ‘$0~/(abc)|(efg)/‘ temp 使用|时,语句需要括起来

awk ‘{if ( $1=="a" && $2=="b" ) print $0}‘ temp

awk ‘{if ($1=="a" || $1=="b") print $0}‘ temp

echo $PWD | awk -F/ ‘{print $NF}‘ 显示当前目录名

6.3 awk 操作符:

输入域到变量名: awk ‘{name=$1;six=$3; if (six=="man") print name " is " six}‘ temp

域值比较操作: awk ‘BEGIN {BASE="27"} {if ($4<BASE) print $0}‘ temp

修改数值域取值:(原输入文件不会被改变)
awk ‘{if ($1=="asima") $6=$6-1;print $1,$6,$7}‘ temp

修改文本域:
awk ‘{if ($1=="asima) ($1=="desc");print $1}‘ temp
只显示修改记录:(只显示所需要的,区别上一条命令,注意{}) awk ‘{if ($1=="asima) {$1=="desc";print$1}}‘ temp

创建新的输出域: awk ‘{$4=$3-$2; print $4}‘ temp

统计列值:

awk ‘(tot+=$3);END {print tot}‘ temp 会显示每列的内容
awk ‘{(tot+=$3)};END {print tot}‘ temp 只显示最后的结果

文件长度相加:
ls -l|awk ‘/^[^d]/ {print $9"\t"$5} {tot+=$5} END{print "totKB:" tot}‘

只列出文件名: ls -l|awk ‘{print $9}‘ 常规情况文件名是第9域


6.4 awk 内置字符串函数:

gsub(r,s) 在整个$0中用s替代r

awk ‘gsub(/name/,"xingming") {print $0}‘ temp

gsub(r,s,t) 在整个t中用s替代r

index(s,t) 返回s中字符串t的第一位置

awk ‘BEGIN {print index("Sunny","ny")}‘ temp 返回4

length(s) 返回s的长度

match(s,r) 测试s是否包含匹配r的字符串

awk ‘$1=="J.Lulu" {print match($1,"u")}‘ temp 返回4

split(s,a,fs) 在fs上将s分成序列a

awk ‘BEGIN {print split("12#345#6789",myarray,"#")"‘

返回3,同时myarray[1]="12", myarray[2]="345", myarray[3]="6789"

sprint(fmt,exp) 返回经fmt格式化后的exp

sub(r,s) 从$0中最左边最长的子串中用s代替r(只更换第一遇到的匹配字符串)

substr(s,p) 返回字符串s中从p开始的后缀部分

substr(s,p,n) 返回字符串s中从p开始长度为n的后缀部分


6.5 printf 函数的使用:

字符转换: echo "65" |awk ‘{printf "%c\n",$0}‘ 输出A

awk ‘BEGIN {printf "%f\n",999}‘ 输出999.000000

格式化输出:awk ‘{printf "%-15s %s\n",$1,$3}‘ temp 将第一个域全部左对齐显示

6.6 其他 awk 用法:向一行 awk 命令传值:

awk ‘{if ($5<AGE) print $0}‘ AGE=10 temp
who | awk ‘{if ($1==user) print $1 " are in " $2 ‘ user=$LOGNAME 使用环境变量


awk 脚本命令:

!/bin/awk -f
# all comment lines must start with a hash ‘#‘
# name: student_tot.awk
# to call: student_tot.awk grade.txt
# prints total and average of club student points
# print a header first
BEGIN
{
print "Student Date Member No. Grade Age Points Max"
print "Name Joined Gained Point Available"
print"========================================================="
}

# let‘s add the scores of points gained
(tot+=$6);

# finished processing now let‘s print the total and average point
END
{
print "Club student total points :" tot
print "Average Club Student points :" tot/N
}


awk 数组:

For (element in array) print array[element]
awk ‘BEGIN {
record="123#456#789";split(record,myarray,"#")
}
END {
for (i in myarray) {print myarray[i]}
}


条件判断语句(if):


awk ‘BEGIN{
test=100;
if(test>90)
{
print "very good";
}
else if(test>60)
{
print "good";
}
else
{
print "no pass";
}
}‘

very good
每条命令语句后面可以用“;”号结尾。


循环语句(while,for,do)


awk ‘BEGIN{
test=100;
total=0;
while(i<=test)
{
total+=i;
i++;
}
print total;
}‘

5050


for 循环

awk ‘BEGIN{
for(k in ENVIRON)
{
print k"="ENVIRON[k];
}
}‘

AWKPATH=.:/usr/share/awk
OLDPWD=/home/web97
SSH_ASKPASS=/usr/libexec/openssh/gnome-ssh-askpass
SELINUX_LEVEL_REQUESTED=
SELINUX_ROLE_REQUESTED=
LANG=zh_CN.GB2312


awk ‘BEGIN{
total=0;
for(i=0;i<=100;i++)
{
total+=i;
}
print total;
}‘

输出为:5050

awk ‘BEGIN{
total=0;
i=0;
do
{
total+=i;
i++;
}while(i<=100)
print total;
}‘

 


7.shell中打输出json

echo ‘{"A":"‘{$A}‘","B":"‘{$B}‘","C":"‘{$C}‘"}‘


格式化输出json:
json数据如下:
[{
"id": "1"
},
{
"data": "231566"
},
{
"id": "2"
},
{
"data": "12345515"
},
{
"id": "3"
},
{
"data": "4124412512"
}, {
"id": "4"
}
]

cat test2.txt |grep -vE ‘({|}||)‘|cut -d: -f 2|sed ‘:a;N;$!ba;s/\n/ /g‘|awk ‘BEGIN{print"\n设置计数 器t=1";t=1}{for(i=1;i<NF;i++)if((i%2)!=0){t++;print "key:"$i,"value:"$(i+1)} else continue}END{print "循环次数:"t}‘

Shell常用模块

上一篇:linux --tar: .BUILDINFO: time stamp 2020-08-27 17:25:55 is 68853652.868391065 s in the future .MTREE


下一篇:Linux常用命令