Linux-shell-完全详解

Linux-shell-完全详解(1)

Shell简介:什么是Shell,Shell命令的两种执行方式1

几种常见的Shell1

Shell脚本语言与编译型语言的差异2

四、什么时候使用Shell3

第一个Shell脚本3

六、Shell变量:Shell变量的定义、删除变量、只读变量、变量类型5

七、Shell特殊变量:Shell $0, $#, $*, $@, $?, $$和命令行参数6

Shell替换:Shell变量替换,命令替换,转义字符9

Shell运算符:Shell算数运算符、关系运算符、布尔运算符、字符串运算符12

Shell注释20

一、 Shell字符串20

十二、Shell数组:shell数组的定义、数组长度21

三、 Shell echo命令23

四、 shell printf命令:格式化输出语句24

十五、Shell if else语句25

十六、Shell case esac语句28

十七、Shell for循环30

十八、Shell while循环31

十九、Shell until循环32

二十、Shell break和continue命令33

二十一、Shell函数:Shell函数返回值、删除函数、在终端调用函数35

二十二、Shell函数参数37

二十三、Shell输入输出重定向:Shell Here Document,/dev/null文件38

二十四、Shell文件包含41

Linux-shell-完全详解(1)

一、Shell简介:什么是Shell,Shell命令的两种执行方式

Shell本身是一个用C语言编写的程序,它是用户使用Unix/Linux的桥梁,用户的大部分工作都是通过Shell完成的。Shell既是一种命令语言,又是一种程序设计语言。作为命令语言,它交互式地解释和执行用户输入的命令;作为程序设计语言,它定义了各种变量和参数,并提供了许多在高级语言中才具有的控制结构,包括循环和分支。
它虽然不是Unix/Linux系统内核的一部分,但它调用了系统核心的大部分功能来执行程序、建立文件并以并行的方式协调各个程序的运行。因此,对于用户来说,shell是最重要的实用程序,深入了解和熟练掌握shell的特性极其使用方法,是用好Unix/Linux系统的关键。
Shell有两种执行命令的方式:

1交互式(Interactive:解释执行用户的命令,用户输入一条命令,Shell就解释执行一条。

2批处理(Batch:用户事先写一个Shell脚本(Script),其中有很多条命令,让Shell一次把这些命令执行完,而不必一条一条地敲命令。
Shell脚本和编程语言很相似,也有变量和流程控制语句,但Shell脚本是解释执行的,不需要编译,Shell程序从脚本中一行一行读取并执行这些命令,相当于一个用户把脚本中的命令一行一行敲到Shell提示符下执行。
Shell初学者请注意,在平常应用中,建议不要用 root 帐号运行 Shell 。作为普通用户,不管您有意还是无意,都无法破坏系统;但如果是 root,那就不同了,只要敲几个字母,就可能导致灾难性后果。

二、几种常见的Shell

上面提到过,Shell是一种脚本语言,那么,就必须有解释器来执行这些脚本。
Unix/Linux上常见的Shell脚本解释器有bashshcshksh等,习惯上把它们称作一种Shell。我们常说有多少种Shell,其实说的是Shell脚本解释器。

bash

bashLinux标准默认的shell,本教程也基于bash讲解。bashBrian FoxChet Ramey共同完成,是BourneAgain Shell的缩写,内部命令一共有40个。
Linux使用它作为默认的shell是因为它有诸如以下的特色:

可以使用类似DOS下面的doskey的功能,用方向键查阅和快速输入并修改命令。

1自动通过查找匹配的方式给出以某字符串开头的命令。

2包含了自身的帮助功能,你只要在提示符下面键入help就可以得到相关的帮助。

sh

sh

Steve Bourne开发,是Bourne Shell的缩写,sh Unix 标准默认的shell

ash

ash shell 是由Kenneth Almquist编写的,Linux中占用系统资源最少的一个小shell,它只包含24个内部命令,因而使用起来很不方便。

csh

csh Linux比较大的内核,它由以William Joy为代表的共计47位作者编成,共有52个内部命令。该shell其实是指向/bin/tcsh这样的一个shell,也就是说,csh其实就是tcsh

ksh

ksh Korn shell的缩写,由Eric Gisin编写,共有42条内部命令。该shell最大的优点是几乎和商业发行版的ksh完全兼容,这样就可以在不用花钱购买商业版本的情况下尝试商业版本的性能了。

注意bashBourne Again Shell 的缩写,是linux标准的默认shell ,它基于Bourne shell,吸收了C shellKorn shell的一些特性。bash完全兼容sh,也就是说,用sh写的脚本可以不加修改的在bash中执行。

三、Shell脚本语言与编译型语言的差异

大体上,可以将程序设计语言可以分为两类:编译型语言和解释型语言。

编译型语言

很多传统的程序设计语言,例如FortranAdaPascalCC++Java,都是编译型语言。这类语言需要预先将我们写好的源代码(source code)转换成目标代码(object code),这个过程被称作“编译”。
运行程序时,直接读取目标代码(object code)。由于编译后的目标代码(object code)非常接近计算机底层,因此执行效率很高,这是编译型语言的优点。
但是,由于编译型语言多半运作于底层,所处理的是字节、整数、浮点数或是其他机器层级的对象,往往实现一个简单的功能需要大量复杂的代码。例如,在C++里,就很难进行“将一个目录里所有的文件复制到另一个目录中”之类的简单操作。

解释型语言

解释型语言也被称作“脚本语言”。执行这类程序时,解释器(interpreter)需要读取我们编写的源代码(source code),并将其转换成目标代码(object code),再由计算机运行。因为每次执行程序都多了编译的过程,因此效率有所下降。

使用脚本编程语言的好处是,它们多半运行在比编译型语言还高的层级,能够轻易处理文件与目录之类的对象;缺点是它们的效率通常不如编译型语言。不过权衡之下,通常使用脚本编程还是值得的:花一个小时写成的简单脚本,同样的功能用CC++来编写实现,可能需要两天,而且一般来说,脚本执行的速度已经够快了,快到足以让人忽略它性能上的问题。脚本编程语言的例子有awkPerlPythonRubyShell

四、什么时候使用Shell

因为Shell似乎是各UNIX系统之间通用的功能,并且经过了POSIX的标准化。因此,Shell脚本只要“用心写”一次,即可应用到很多系统上。因此,之所以要使用Shell脚本是基于:

1、简单性:Shell是一个高级语言;通过它,你可以简洁地表达复杂的操作。

2、可移植性:使用POSIX所定义的功能,可以做到脚本无须修改就可在不同的系统上执行。

3、开发容易:可以在短时间内完成一个功能强大又妤用的脚本
但是,考虑到Shell脚本的命令限制和效率问题,下列情况一般不使用Shell

 

1、资源密集型的任务,尤其在需要考虑效率时(比如,排序,hash等等)。

2、需要处理大任务的数学操作,尤其是浮点运算,精确运算,或者复杂的算术运算(这种情况一般使用C++FORTRAN 来处理)。

3、有跨平台(操作系统)移植需求(一般使用C Java)。

4、复杂的应用,在必须使用结构化编程的时候(需要变量的类型检查,函数原型,等等)。

5、对于影响系统全局性的关键任务应用。

6、对于安全有很高要求的任务,比如你需要一个健壮的系统来防止入侵、破解、恶意破坏等等。

7、项目由连串的依赖的各个部分组成。

8、需要大规模的文件操作。

9、需要多维数组的支持。

10、需要数据结构的支持,比如链表或数等数据结构。

11、需要产生或操作图形化界面 GUI

12、需要直接操作系统硬件。

13、需要 I/O socket 接口。

14、需要使用库或者遗留下来的老代码的接口。

15、私人的、闭源的应用(shell 脚本把代码就放在文本文件中,全世界都能看到)。


如果你的应用符合上边的任意一条,那么就考虑一下更强大的语言吧——或许是PerlTclPythonRuby——或者是更高层次的编译语言比如C/C++,或者是Java。即使如此,你会发现,使用shell来原型开发你的应用,在开发步骤中也是非常有用的。

 

五、第一个Shell脚本

 

打开文本编辑器,新建一个文件,扩展名为shsh代表shell),扩展名并不影响脚本执行,见名知意就好,如果你用phpshell 脚本,扩展名就用php好了。

输入一些代码:

#!/bin/bash

echo "Hello World !"

#!” 是一个约定的标记,它告诉系统这个脚本需要什么解释器来执行,即使用哪一种Shellecho命令用于向窗口输出文本。

运行Shell脚本有两种方法。

作为可执行程序

将上面的代码保存为test.sh,并 cd 到相应目录:

chmod +x ./test.sh  #使脚本具有执行权限./test.sh  #执行脚本

注意,一定要写成./test.sh,而不是test.sh。运行其它二进制的程序也一样,直接写test.shlinux系统会去PATH里寻找有没有叫test.sh的,而只有/bin, /sbin, /usr/bin/usr/sbin等在PATH里,你的当前目录通常不在PATH里,所以写成test.sh是会找不到命令的,要用./test.sh告诉系统说,就在当前目录找。

通过这种方式运行bash脚本,第一行一定要写对,好让系统查找到正确的解释器。

这里的"系统",其实就是shell这个应用程序(想象一下Windows Explorer),但我故意写成系统,是方便理解,既然这个系统就是指shell,那么一个使用/bin/sh作为解释器的脚本是不是可以省去第一行呢?是的。

作为解释器参数

这种运行方式是,直接运行解释器,其参数就是shell脚本的文件名,如:

/bin/sh test.sh/bin/php test.php

这种方式运行的脚本,不需要在第一行指定解释器信息,写了也没用。

再看一个例子。下面的脚本使用 read 命令从 stdin 获取输入并赋值给 PERSON 变量,最后在 stdout 上输出:

#!/bin/bash

 

# Author : mozhiyan

# Copyright (c) http://see.xidian.edu.cn/cpp/linux/

# Script follows here:

 

echo "What is your name?"

read PERSON

echo "Hello, $PERSON"

运行脚本:

chmod +x ./test.sh$./test.shWhat is your name?mozhiyanHello, mozhiyan$

六、Shell变量:Shell变量的定义、删除变量、只读变量、变量类型

 

Shell支持自定义变量。

定义变量

定义变量时,变量名不加美元符号($),如:

variableName="value"

注意,变量名和等号之间不能有空格,这可能和你熟悉的所有编程语言都不一样。同时,变量名的命名须遵循如下规则:

1、首个字符必须为字母(a-zA-Z)。

2、中间不能有空格,可以使用下划线(_)。

3、不能使用标点符号。

4、不能使用bash里的关键字(可用help命令查看保留关键字)。


变量定义举例:

myUrl="http://see.xidian.edu.cn/cpp/linux/"

myNum=100

使用变量

使用一个定义过的变量,只要在变量名前面加美元符号($)即可,如:

your_name="mozhiyan"

echo $your_name

echo ${your_name}

变量名外面的花括号是可选的,加不加都行,加花括号是为了帮助解释器识别变量的边界,比如下面这种情况:

for skill in Ada Coffe Action Java

do

    echo "I am good at ${skill}Script"

done

如果不给skill变量加花括号,写成echo "I am good at $skillScript",解释器就会把$skillScript当成一个变量(其值为空),代码执行结果就不是我们期望的样子了。

推荐给所有变量加上花括号,这是个好的编程习惯。

重新定义变量

已定义的变量,可以被重新定义,如:

myUrl="http://see.xidian.edu.cn/cpp/linux/"

echo ${myUrl}

 

myUrl="http://see.xidian.edu.cn/cpp/shell/"

echo ${myUrl}

 

这样写是合法的,但注意,第二次赋值的时候不能写 $myUrl="http://see.xidian.edu.cn/cpp/shell/",使用变量的时候才加美元符($)。

只读变量

使用 readonly 命令可以将变量定义为只读变量,只读变量的值不能被改变。

下面的例子尝试更改只读变量,结果报错:

#!/bin/bash

 

myUrl="http://see.xidian.edu.cn/cpp/shell/"

readonly myUrl

myUrl="http://see.xidian.edu.cn/cpp/danpianji/"

运行脚本,结果如下:

/bin/sh: NAME: This variable is read only.

删除变量

使用 unset 命令可以删除变量。语法:

unset variable_name

变量被删除后不能再次使用;

unset 命令不能删除只读变量。

举个例子:

#!/bin/sh

 

myUrl="http://see.xidian.edu.cn/cpp/u/xitong/"

unset myUrl

echo $myUrl

上面的脚本没有任何输出。

变量类型

运行shell时,会同时存在三种变量:

1) 局部变量

局部变量在脚本或命令中定义,仅在当前shell实例中有效,其他shell启动的程序不能访问局部变量。

2) 环境变量

所有的程序,包括shell启动的程序,都能访问环境变量,有些程序需要环境变量来保证其正常运行。必要的时候shell脚本也可以定义环境变量。

3) shell变量

shell变量是由shell程序设置的特殊变量。shell变量中有一部分是环境变量,有一部分是局部变量,这些变量保证了shell的正常运行。

 

七、Shell特殊变量:Shell $0, $#, $*, $@, $?, $$和命令行参数

 

前面已经讲到,变量名只能包含数字、字母和下划线,因为某些包含其他字符的变量有特殊含义,这样的变量被称为特殊变量。

例如,$ 表示当前Shell进程的ID,即pid,看下面的代码:

$echo $$

运行结果

29949

 

特殊变量列表

变量

含义

$0

当前脚本的文件名

$n

传递给脚本或函数的参数。n 是一个数字,表示第几个参数。例如,第一个参数是$1,第二个参数是$2。

$#

传递给脚本或函数的参数个数。

$*

传递给脚本或函数的所有参数。

$@

传递给脚本或函数的所有参数。被双引号(" ")包含时,与 $* 稍有不同,下面将会讲到。

$?

上个命令的退出状态,或函数的返回值。

$$

当前Shell进程ID。对于 Shell 脚本,就是这些脚本所在的进程ID。

命令行参数

运行脚本时传递给脚本的参数称为命令行参数。命令行参数用 $n 表示,例如,$1 表示第一个参数,$2 表示第二个参数,依次类推。

请看下面的脚本:

#!/bin/bash

 

echo "File Name: $0"

echo "First Parameter : $1"

echo "First Parameter : $2"

echo "Quoted Values: $@"

echo "Quoted Values: $*"

echo "Total Number of Parameters : $#"

运行结果:

$./test.sh Zara AliFile Name : ./test.shFirst Parameter : ZaraSecond Parameter : AliQuoted Values: Zara AliQuoted Values: Zara AliTotal Number of Parameters : 2

$* $@ 的区别

$* $@ 都表示传递给函数或脚本的所有参数,不被双引号(" ")包含时,都以"$1" "$2" "$n" 的形式输出所有参数。

但是当它们被双引号(" ")包含时,"$*" 会将所有的参数作为一个整体,以"$1 $2 $n"形式输出所有参数;"$@" 会将各个参数分开,以"$1" "$2" "$n" 的形式输出所有参数。

下面的例子可以清楚的看到 $* $@ 的区别:

#!/bin/bash

echo "\$*=" $*

echo "\"\$*\"=" "$*"

 

echo "\$@=" $@

echo "\"\$@\"=" "$@"

 

echo "print each param from \$*"

for var in $*

do

    echo "$var"

done

 

echo "print each param from \$@"

for var in $@

do

    echo "$var"

done

 

echo "print each param from \"\$*\""

for var in "$*"

do

    echo "$var"

done

 

echo "print each param from \"\$@\""

for var in "$@"

do

    echo "$var"

done

执行 ./test.sh "a" "b" "c" "d",看到下面的结果:

$*=  a b c d"$*"= a b c d$@=  a b c d"$@"= a b c dprint each param from $*abcdprint each param from $@abcdprint each param from "$*"a b c dprint each param from "$@"abcd

退出状态

$? 可以获取上一个命令的退出状态。所谓退出状态,就是上一个命令执行后的返回结果。
退出状态是一个数字,一般情况下,大部分命令执行成功会返回 0,失败返回 1
不过,也有一些命令返回其他值,表示不同类型的错误。


下面例子中,命令成功执行:

$./test.sh Zara AliFile Name : ./test.shFirst Parameter : ZaraSecond Parameter : AliQuoted Values: Zara AliQuoted Values: Zara AliTotal Number of Parameters : 2$echo $?0$


$? 也可以表示函数的返回值,后续将会讲解。

 

八、Shell替换:Shell变量替换,命令替换,转义字符

 

如果表达式中包含特殊字符,Shell 将会进行替换。例如,在双引号中使用变量就是一种替换,转义字符也是一种替换。

举个例子:

#!/bin/bash

 

a=10

echo -e "Value of a is $a \n"

运行结果:

Value of a is 10

这里 -e 表示对转义字符进行替换。如果不使用 -e 选项,将会原样输出:

Value of a is 10\n


下面的转义字符都可以用在 echo 中:

转义字符

含义

\\

反斜杠

\a

警报,响铃

\b

退格(删除键)

\f

换页(FF),将当前位置移到下页开头

\n

换行

\r

回车

\t

水平制表符(tab键) 

\v

垂直制表符

可以使用 echo 命令的 -E 选项禁止转义,默认也是不转义的;使用 -n 选项可以禁止插入换行符。

命令替换

命令替换是指Shell可以先执行命令,将输出结果暂时保存,在适当的地方输出。

命令替换的语法:

`command`

注意是反引号,不是单引号,这个键位于 Esc 键下方。

下面的例子中,将命令执行结果保存在变量中:

#!/bin/bash

 

DATE=`date`

echo "Date is $DATE"

 

USERS=`who | wc -l`

echo "Logged in user are $USERS"

 

UP=`date ; uptime`

echo "Uptime is $UP"

运行结果:

Date is Thu Jul  2 03:59:57 MST 2009Logged in user are 1Uptime is Thu Jul  2 03:59:57 MST 200903:59:57 up 20 days, 14:03,  1 user,  load avg: 0.13, 0.07, 0.15

变量替换

变量替换可以根据变量的状态(是否为空、是否定义等)来改变它的值

可以使用的变量替换形式:

形式

说明

${var}

变量本来的值

${var:-word}

如果变量 var 为空或已被删除(unset),那么返回 word,但不改变 var 的值。

${var:=word}

如果变量 var 为空或已被删除(unset),那么返回 word,并将 var 的值设置为 word

${var:?message}

如果变量 var 为空或已被删除(unset),那么将消息 message 送到标准错误输出,可以用来检测变量 var 是否可以被正常赋值。
若此替换出现在Shell脚本中,那么脚本将停止运行。

${var:+word}

如果变量 var 被定义,那么返回 word,但不改变 var 的值。


请看下面的例子:

#!/bin/bash echo ${var:-"Variable is not set"}echo "1 - Value of var is ${var}" echo ${var:="Variable is not set"}echo "2 - Value of var is ${var}" unset varecho ${var:+"This is default value"}echo "3 - Value of var is $var" var="Prefix"echo ${var:+"This is default value"}echo "4 - Value of var is $var" echo ${var:?"Print this message"}echo "5 - Value of var is ${var}"

运行结果:

Variable is not set

1 - Value of var is

 

Variable is not set

2 - Value of var is Variable is not set

 

3 - Value of var is

This is default value

4 - Value of var is Prefix

Prefix

5 - Value of var is Prefix

由于篇幅原因在后面内容在Linux-shell-完全详解(2/3)



上一篇:K8s 安全之Kube-bench


下一篇:Python学习笔记