shell介绍+ shell中的变量 +shell中的循环和判断+ shell中的字符串操作+ shell扩展 +awk命令 +sed命令
part01 shell的介绍
1.shell是什么
Shell是用户与Linux操作系统沟通的桥梁
Linux的Shell种类众多，这里我们学习的是bash，也就是Bourne Again
2.Shell
1：由于易用和免费，Bash在日常工作中被广泛使用
2：Bash是大多数Linux系统默认的Shell
3.shell脚本文件格式：
文件名后缀通常是.sh
#!/bin/bash
#这里是注释
在一般情况下，人们并不区分 Bourne Shell和Bourne Again Shell，所以，在这里，我们可能看到#!/bin/bash，它同样也可以改为#!/bin/sh。
4.脚本执行的常用方式
a.sh 这样的话需要保证脚本具有执行权限并且在环境变量PATH中有(.)，这样在执行的时候会先从当前目录查找
./a.sh 只要保证这个脚本具有执行权限即可
/usr/local/a.sh 只要保证这个脚本具有执行权限即可
bash a.sh 直接可以执行，甚至这个脚本文件中的第一行都可以不引入/bin/bash，它是将hello.sh作为参数传给bash命令来执行的
bash的单步执行 bash -x /path/to/aa.sh
bash语法检查 bash -n /path/to/aa.sh
part02 shell的变量
1.变量
变量不需要声明，初始化不需要指定类型
变量命名
1：只能使用数字，字母和下划线，且不能以数字开头
2：变量名区分大小写
3：建议命名要通俗易懂 注意：变量赋值是通过等号(=)进行赋值,在变量、等号和值之间不能出现空格。
显示变量值使用echo命令(类似于java中的system.out) ，加上$变量名，也可以使用${变量名}
例如：echo $JAVA_HOME 或者echo ${JAVA_HOME}
2.变量分类
本地变量 环境变量 位置变量 特殊变量
1.本地变量
只对当前shell进程有效，对当前进程的子进程和其它shell进程无效。
定义：VAR_NAME=VALUE
变量引用：${VAR_NAME}
取消变量：unset VAR_NAME
相当于java中的私有变量(private)，只能当前类使用，子类和其他类都无法使用。
2.环境变量
自定义的环境变量对当前shell进程及其子shell进程有效，对其它的shell进程无效
定义：export VAR_NAME=VALUE
对所有shell进程都有效需要配置到配置文件中
vi /etc/profile
source /etc/profile
相当于java中的protected修饰符,对当前类，子孙类，以及同一个包下面可以共用。
和windows中的环境变量比较类似
3.位置变量
$1,$2,.....$10....
test.sh 3 89
$0：脚本自身
$1：脚本的第一个参数
$2：脚本的第二个参数
相当于java中main函数中的args参数，可以获取外部参数。
4.特殊变量
$?：接收上一条命令的返回状态码
返回状态码在0-255之间
$#：参数个数 $*：或者$@：所有的参数
$$：获取当前shell脚本的进程号（PID）(可以实现脚本自杀)(或者使用exit命令直接退出也可以 exit [num])
3.单引号,双引号,反引号
‘‘单引号不解析变量 echo ‘$JAVA_HOME‘
""双引号会解析变量 echo "$JAVA_HOME"
``反引号是执行并引用一个命令的执行结果，类似于$(...) echo `$JAVA_HOME`
注意下面这两种情况：
echo ‘ "$JAVA_HOME" ‘ echo " ‘$JAVA_HOME‘ "
part3 shell中的循环和判断
1.for循环
通过使用一个变量去遍历给定列表中的每个元素，在每次变量赋值时执行一次循环体，直至赋值完成所有元素退出循环
格式1
for ((i=0;i<10;i++))
do
...
done
格式2
for i in 0 1 2 3 4 5 6 7 8 9
do
...
done
格式三
for i in {0..9}
do
...
Done
2.条件测试
bash条件测试
格式：
test EXPR
[ EXPR ]：注意中括号和表达式之间的空格
整型测试：
-gt：大于：例如[ $num1 -gt $num2 ]或者test $num1 -gt $num2
-lt：小于
-ge：大于等于
-le：小于等于
-eq：等于
-ne：不等于
字符串测试：
=：等于，例如判断变量是否为空 [ "$str" = "" ] 或者[ -z $str ]
!=：不等于
3.while循环
适用于循环次数未知，或不便用for直接生成较大的列表时
格式：
while 测试条件
do
循环体
done
如果测试条件为“真”，则进入循环，测试条件为假，则退出循环。
4.if判断
单分支
if 测试条件;then
选择分支
fi
双分支
if 测试条件
then
选择分支1
else
选择分支2
fi
多分支
if 条件1; then
分支1
elif 条件2; then
分支2
elif 条件3; then
分支3
...
else
分支n
Fi
Part 04 shell中的字符串
1.字符串操作
获取长度：${#VAR_NAME}
字符串截取
${variable:offset:length}或者${variable:offset}
字符串替换
${variable/substr/replace}
${variable//substr/replace}
取尾部的指定个数的字符
${variable: -length}：注意冒号后面有空格
大小写转换
小-->大：${variable^^}
大-->小：${variable,,}
Part 05 shell扩展
1.算术运算
let varName=算术表达式
varName=$[算术表达式]
varName=$((算术表达式))
2.date
显示当前时间
格式化输出 +%Y-%m-%d
格式%s表示自1970-01-01 00:00:00以来的秒数
指定时间输出 --date=‘2009-01-01 11:11:11‘
指定时间输出 --date=‘3 days ago‘ 或者 -d ‘3 days ago‘
高级用法：获取指定日期的前一天
date -d ‘20180101 1 days ago‘ +%Y-%m-%d
3.read
read命令接收标准输入（键盘）的输入，或者其他文件描述符的输入。得到输入后，read命令将数据放入一个标准变量中。
格式
read VAR_NAME
read如果后面不指定变量，那么read命令会将接收到的数据放置在环境变量REPLY中
read -p "Enter your name:" VAR_NAME
read -t 5 -p "enter your name:" VAR_NAME
read -s -p "Enter your password: " pass
4.后台模式运行脚本
在脚本后面加一个&
test.sh &
这样的话虽然可以在后台运行，但是当用户注销(logout)或者网络断开时,终端会收到Linux HUP信号(hangup)信号从而关闭其所有子进程
nohup命令
不挂断的运行命令，忽略所有挂断(hangup)信号
使用nohup test.sh &
nohup会忽略进程的hangup挂断信号，所以关闭当前会话窗口不会停止这个进程的执行。
nohup会在当前执行的目录生成一个nohup.out日志文件
5.标准输入、输出、错误、重定向
标准输入、输出、错误可以使用文件描述符0、1、2引用
使用重定向可以把信息重定向到其他位置
ls >file 或者 ls 1>file（ls >>file）
lk 2>file(lk是一个错误命令)
ls >file 2>&1
ls > /dev/null(把输出信息重定向到无底洞)
例子：nohup command >/dev/null 2>&1 &
6.crontab定时器
linux下的定时任务
编辑 vi /etc/crontab
查看crontab执行日志
tail -f /var/log/cron
必须打开rsyslog服务cron文件中才会有执行日志(service rsyslog status)
查看cron服务状态
service crond status
启动cron服务
service crond start
问题：如果设置每5分钟执行一次的crontab，那么这个脚本分别会在什么时间执行？
需求：每天凌晨一点实现一次练习一的功能
00 01 * * * root /bin/bash /usr/local/shell_04/for3.sh
分钟 小时 几号 月份 星期几 command
7.ps和jps
ps：用来显示进程的相关信息
ps显示当前启动的所有进程
ps -e显示系统中所有进程
ps -ef|grep java
jps：类似linux的ps命令,不同的是ps是用来显示所有进程，而jps只显示java进程,准确的说是显示当前用户已启动的部分java进程信息，信息包括进程号和简短的进程command。
8.vi常用命令小技巧
查找字符串
/string
查找下一个，按“n”即可
查找某一行
:10(直接跳转到第10行)
复制粘贴
yy(复制当前行)
2 yy(从当前行开始，复制2行)
p(粘贴)
删除
dd(删除当前行)
999dd(删除当前行及下面所有行)
跳到文件最后一行
G
调到文件第一行
gg
9.linux-SecureCRT假死问题
ctrl+s会造成终端假死，什么都无法输入，这个命令是linux中一个比较古老的命令
ctrl+q退出假死状态
Part 06 awk命令
① awk简介
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk。
现在一般所说的awk就是gawk
② awk的主要特点
awk程序的报告生成能力通常用来从大文本文件中提取数据元素并将它们格式化成可读的报告。最完美的例子是格式化日志文件。awk程序允许从日志文件中只过滤出你想要看的数据
③ awk用法
命令格式
awk [options] program file
options ：选项
program ：程序
file：文件（需要处理的数据文件）
选项 描述
-F fs 指定行中分隔数据字段的字段分隔符
-f file 指定程序脚本文件
④ awk处理文本数据
awk的基本特性之一就是它处理文本文件中数据的能力。它会自动给每行中的每个数据元素分配一个变量。
$0代表整个文本行
$1代表文本行中的第1个数据字段
$2代表文本行中的第2个数据字段
$n代表文本行中的第n个数据字段
注意：每个数据字段在文本行中都是通过字段分隔符来划分的。awk中的默认字段分隔符是任意的空白字符(例如空格或制表符)
如果想要读取使用其他字段分隔符的文件，可以使用-F 选项指定：awk -F: ‘{print $1}‘ /etc/passwd
⑤ awk脚本
如果某编程语言一次只能执行一条命令，那么它不会有太大用处。awk编程语言允许你将多条命令组成一个正常的程序。在这我们可以把这些命令保存到一个文件中，这个文件我们就称为是awk的脚本文件。
格式：只要将每条命令放到一个新的行就好了，不需要用分号。
awk -F: -f script /etc/passwd
这里的script是一个文件，需要使用-f参数指定
⑥ awk中的BEGIN、END
BEGIN：有时可能需要在处理数据前运行脚本，比如为报告创建开头部分。
END：跟BEGIN关键字类似，END关键字允许你指定一个程序脚本，awk会在读完数据后执行它。
⑦ awk内置变量
FS：Field Seperator, 输入时的字段分隔符
awk ‘BEGIN{FS=":"}{print $1,$7}‘ /etc/passwd
RS：Record Seperator, 输入行分隔符
OFS: Output Field Seperator, 输出时的字段分隔符;
ORS: Outpput Row Seperator, 输出时的行分隔符；
NF：Numbers of Field，字段数量
NR：Numbers of Record, 行号；所有文件的一并计数；
FNR：行号；各文件分别计数；
⑧ awk中的匹配操作符以及比较
正则表达式需要放在/expr/中，/expr/必须出现在它要控制的程序脚本的左花括号前。
awk ‘/110.52.250.126/ {print $1}‘ access_2013_05_30.log
匹配操作符允许将正则表达式限定在数据行中的特定数据字段。
awk ‘ ($1 ~ /110.52.250.126/) {print $1}‘ access_2013_05_30.log
awk ‘ ($1 !~ /110.52.250.126/) {print $1}‘ access_2013_05_30.log
⑨ 实例-分析网站日志
针对ngix中的access访问日志进行分析，主要统计pv，uv等
扩展
shell中的管道|
command 1 | command 2：他的功能是把第一个命令command 1执行的结果作为command 2的输入传给command 2
wc -l
统计行数
uniq -c
在输出行前面加上每行在输入文件中出现的次数
uniq -u
仅显示不重复的行
sort -nr
-n：依照数值的大小排序
-r：以相反的顺序来排序
-k：按照哪一列进行排序
head -3
取前三名
Part 07 sed命令
1.Sed -i ‘s/aaa/bbb/g‘ test.conf
-i 表示直接修改文档内容
s 表示用一个字符串替换另一个
aaa 表示需要替换的源字符串
bbb 表示需要替换的目的字符串
g 表示对文件内的所有匹配数据进行替换