《Linux.Shell编程从入门到精通》读书笔记

第一章 第一个Shell程序

  • 以 #!解析器名称 开头,表示选择哪个解释器解释shell脚本
  • source命令
  • export命令
  • env命令
  • unset命令

    第二章 shell编程基础
  • 函数传递
  • 标准输入输出符号

    第三章 编程的基本元素
  • 获取命令执行返回值
  • $((数值计算)) 获取数值计算结果 如:$((100 - 2*100/400))
  • 替换运算符
  • 模式匹配运算符
  • shift命令可以截取参数列表最左端的一个参数
  • type命令判断被执行命令的来源(别名、关键字、函数、内置命令、外部命令)
  • test命令用于评估表达式,返回零(true)或者非零(false)
  • 逻辑运算符
  • 运算符号
  • 执行反单引号(`)之间的命令,引用结果作为字符串
  • getopt命令用于分析命令标志和参数

    第四章 正则表达式
  • 元字符
  • POSIX字符集
  • 后向引用
  • 交替、分组

    第五章 基本文本处理
  • 排序文本
  • 文本去重
  • 统计文本
  • 打印和格式化输出
  • 提取文本开头和结尾
  • 字段处理
  • 文本替换
  • Linux下的配置文件

    第六章 文件和文件系统
  • 文件
  • 文件系统

    第七章 流编辑器sed
  • 工作地址范围
  • 命令
  • [:特殊字符:]用于匹配特俗字符

    第八章 文本处理利器awk
  • awk代码结构
  • 内建变量
  • 局部变量
  • 字符串函数

    第九章 进程
  • 进程管理命令
  • init进程
  • 调度系统任务
  • 加载proc虚拟文件系统:mount -t proc proc /proc

    第十章 OpenSSH
  • 安装openssh
  • 使用SSH登录远程主机(要求远程主机正在运行sshd)

    第十一章 实用程序(日志处理程序、系统监控程序)
  • 日志清理程序
  • 系统监控程序

第一个Shell程序

以 #!解析器名称 开头,表示选择哪个解释器解释shell脚本

source命令

使用source执行shell脚本时,不会创建子进程,而在父进程中直接执行。

当需要在程序中修改当前shell本身的环境变量时,使用source命令

source命令也可用来读入包含函数的文件

使用方法:source fileName 或者 . fileName

export命令

export命令用于设置或显示环境变量

使用方法:export [-fnp] [变量名称]=[变量设置值]

-f 代表[变量名称]中为函数名称

-n 删除指定的变量。变量实际上并没有删除,只是不会输出到后续指令的执行环境中

-p 列出所有的shell赋予程序

env命令

env命令用于临时改变环境变量值

unset命令

从当前shell删除变量或函数

shell编程基础

函数传递

$0 $1 $2 位置参数

$* 以一个单字符串显示所有向脚本传递的参数

$@ 所有向脚本传递的参数

$# 传入函数的参数个数

$$ 脚本运行的当前进程id号

$! 后台运行的最后一个进程id号

$? 显示最后命令的退出状态

$- 显示shell使用的当前选项

标准输入输出符号

0<:标准输入

1> 或者 >:重定向标准输出

2>:重定向标准错误

&>:标准输出和标准错误

编程的基本元素

获取命令执行返回值

  1. $(命令) 如:$(date +%Y%m%d%H%M%S)
  2. 命令 如:echo 123

$((数值计算)) 获取数值计算结果 如:$((100 - 2*100/400))

替换运算符

  1. ${varname:-word}

    如果varname存在且非null,则返回varname的值;否则,返回word
  2. ${varname:=word}

    如果varname存在且非null,则返回varname的值;否则,将varname的值设置为word,然后返回word
  3. ${varname:?message}

    如果varname存在且非null,则返回varname的值;否则打印message,并退出当前脚本
  4. ${varname:+word}

    如果varname存在且非null,则返回word;否则返回null

模式匹配运算符

  1. ${varname#pattern}

    如果模式匹配变量取值的开头处,则删除匹配的最短部分,并返回剩下部分
  2. ${varname##pattern}

    如果模式匹配变量取值的开头处,则删除匹配的最长部分,并返回剩下部分
  3. ${varname%pattern}

    如果模式匹配变量取值的结尾处,则删除匹配的最短部分,并返回剩下部分
  4. ${varname%%pattern}

    如果模式匹配变量取值的结尾处,则删除匹配的最长部分,并返回剩下部分
  5. ${varname/pattern/string} ${varname//pattern/string}

    将varname中匹配模式的最长部分替换为string

    第一种格式中,只有匹配的第一部分被替换,第二种格式中,varname中所有匹配的部分都被替换

    如果模式以#开头,则必须匹配varname的开头,如果模式以%开头,则必须匹配varname的结尾

shift命令可以截取参数列表最左端的一个参数

type命令判断被执行命令的来源(别名、关键字、函数、内置命令、外部命令)

test命令用于评估表达式,返回零(true)或者非零(false)

逻辑运算符

  1. 关于文件与目录的侦测逻辑卷标!

    -f 常用!侦测『文件』是否存在 eg: if [ -f filename ]

    -d 常用!侦测『目录』是否存在

    -b 侦测是否为一个『 block 文件』

    -c 侦测是否为一个『 character 文件』

    -S 侦测是否为一个『 socket 标签文件』

    -L 侦测是否为一个『 symbolic link 的文件』

    -e 侦测『某个东西』是否存在!
  2. 关于程序的逻辑卷标!

    -G 侦测是否由 GID 所执行的程序所拥有

    -O 侦测是否由 UID 所执行的程序所拥有

    -p 侦测是否为程序间传送信息的 name pipe 或是 FIFO
  3. 关于文件的属性侦测!

    -r 侦测是否为可读的属性

    -w 侦测是否为可以写入的属性

    -x 侦测是否为可执行的属性

    -s 侦测是否为『非空白文件』

    -u 侦测是否具有『 SUID 』的属性

    -g 侦测是否具有『 SGID 』的属性

    -k 侦测是否具有『 sticky bit 』的属性
  4. 两个文件之间的判断与比较 ;例如[ test file1 -nt file2 ]

    -nt 第一个文件比第二个文件新

    -ot 第一个文件比第二个文件旧

    -ef 第一个文件与第二个文件为同一个文件( link 之类的文件)
  5. 逻辑的『和(and)』『或(or)』

    && 逻辑的 AND 的意思

    || 逻辑的 OR 的意思

运算符号

= 等于 应用于:整型或字符串比较 如果在[] 中,只能是字符串

!= 不等于 应用于:整型或字符串比较 如果在[] 中,只能是字符串

< 小于 应用于:整型比较 在[] 中,不能使用 表示字符串

大于 应用于:整型比较 在[] 中,不能使用 表示字符串

-eq 等于 应用于:整型比较

-ne 不等于 应用于:整型比较

-lt 小于 应用于:整型比较

-gt 大于 应用于:整型比较

-le 小于或等于 应用于:整型比较

-ge 大于或等于 应用于:整型比较

-a 双方都成立(and) 逻辑表达式 –a 逻辑表达式

-o 单方成立(or) 逻辑表达式 –o 逻辑表达式

-z 空字符串

-n 非空字符串

执行反单引号(`)之间的命令,引用结果作为字符串

getopt命令用于分析命令标志和参数

正则表达式

元字符

^ 锁定行或字符串的开始

$ 锁定行或字符串的结尾

当^和$结合使用时,意味着模式必须匹配整个串

. 匹配除了换行符以外的任意字符

[...] 方括号表达式,匹配括号内任意一个字符;如果^符号位于方括号的开始,则不匹配方括号中的任意字符

\ 转义字符,用于打开或关闭后续字符的特殊含义

x{m,n} 区间表达式,匹配x字符出现的次数区间

? 匹配前面正则表达式的零个或一个实例

  • 匹配前面正则表达式的一个或多个实例
  • 匹配零个或多个前面字符

    | 匹配前面或后面的正则表达式

    () 匹配括号括起来的正则表达式

    \b 单词锁定符,代表单词的开头和结尾,即单词的分界处

    \B 匹配两个单词组成字符间的空字符串

    < > 分别匹配单词开头和单词结尾

    \n 换行符

    \d 匹配一位数字

    \w 匹配文字和数字字符

    \W 匹配一个或多个非单词字符

POSIX字符集

[:alnum:] 数字字符

[:alpha:] 字母字符

[:blank:] 空格与制表符

[:cntrl:] 控制字符

[:digit:] 数字字符

[:graph:] 非空格

[:lower:] 小写字母

[:print:] 可显示的字符

[:punct:] 标点符号字符

[:space:] 空白(whitespace)字符

[:upper:] 大写字母

[:xdigit:] 十六进制数字

[. .] 排序符号,如[.cn.]表示cn字符序列,而单独的c和n都不行

[= =] 等价字符集

后向引用:匹配之前正则表达式使用(和)括起来选定之后引用的模式,使用\1~\9来引用选定的模式

如:(go).*\1 匹配一行中前后出现两个go

交替、分组

交替|:在不同序列之间用管道符号隔开

分组():让元字符修饰前置字符串

如:(man|woman)+ 匹配一个或多个man或者woman字符串

基本文本处理

排序文本

sort命令用于排序文件,对已排序的文件进行合并,并检查文件以确定它们是否已排序

文本去重

uniq命令用于文本去重(在使用uniq命令前,先使用sort命令,使所有重复行相邻)

统计文本

wc命令用于统计文本行数、字数以及字符数

打印和格式化输出

pr命令用于将文本转换成适合打印的文件

fmt命令用于编排文本文件

fold命令限制文本宽度

提取文本开头和结尾

head命令提取文件开头

tail命令提取文件结尾

字段处理

cut命令用于从一个文本文件或者文本流中提取文本列

join命令用于根据指定栏位,找到两个文件中指定栏位内容相同的行,将它们合并,并根据要求的格式输出内容

文本替换

tr命令用于替换字符

Linux下的配置文件

/etc/group 用户组定义

/etc/passwd 用户信息定义

/etc/inittab init的配置文件,在Linux启动时扮演重要角色

/etc/shadow 用户密码的存放地址

/etc/crontab cron(定期执行命令的程序)的配置文件

/etc/fstab 文件系统信息

文件和文件系统

文件

ls命令用于列出文件

chown命令用于改变文件的所有者

chgrp命令用于改变文件的用户组

umask命令用于指定哪些权限在新文件的默认权限中被删除

chmod命令用于修改文件权限

touch命令更新文件的访问和修改时间

find命令用于寻找文件

xargs命令用于遍历处理文件

comm命令用于比较两个已排序文件之间的差异

diff命令用于比较两个文件之间的差异

文件系统

fdisk命令用于查看/修改系统的分区表

mkfs命令用于创建文件系统

mount命令用于加载文件系统到指定的加载点

umount命令用于卸载已经加载的文件系统

df命令用于显示当前挂载情况

流编辑器(sed)

工作地址范围

  1. 行地址 如:删除第一行 sed -e '1d' filePath
  2. 行范围地址 如:打印1到5行 sed -n -e '1,5p' filePath
  3. 正则表达式地址 如:打印所有以开头的注释行 sed -n -e '/^#/p' filePath
  4. 两个用逗号分开的正则表达式之间的地址 如:打印从包含'BEGIN'的行开始,并且包含'END'的行结束的文本块 sed -n -e '/BEGIN/,/END/p' filePath

命令

  1. d 删除
  2. p 打印
  3. s/// 替换
  4. = 打印行号
  5. i 插入
  6. a 追加

[:特殊字符:]用于匹配特俗字符

文本处理利器(awk)

awk代码结构

  1. 处理输入前的初始化

    BEGIN{

    ....

    }
  2. 处理输入过程

    [ 条件 ] {

    ...

    }
  3. 处理完所有输入后的扫尾工作

    END{

    ...

    }

内建变量

FILENAME 当前输入文件的名称

FS 字段分隔符(支持正则表达式),默认为空格

OFS 输出字段分隔字符,默认为空格

ORS 输出记录分隔字符,默认为\n

RS 输入记录分隔字符

NF 当前记录的字段数

NR 在工作中的记录数

FNR 当前输入文件的记录数

局部变量:列在函数参数列表中并且在字首前置一些额外的空白 如: add(x,y, sum) {}

字符串函数

sub(/reg/, newsubstr, str) 只替换第一个匹配字符串

gsub(/reg/, newsubstr, str) 将字符串str中所有符号/reg/正则的子串替换为字符串newsubstr

index(str, substr) 返回子串substr在串str中的索引

length(str) 返回字符串的长度

match(str, /reg/) 如果在串str中找到正则/reg/匹配的串,则返回出现的位置,未找到则返回0

split(str, array, sep) 使用分隔符sep把字符串分解成数组array

substr(str, position[, length]) 返回str中从position开始的length个字符

toupper(str) 对字符进行大小写转换

sprintf("format", expr) 对expr使用printf格式说明

进程

进程管理命令

fork函数用于创建进程

ps命令用于查看系统正在运行的进程

top命令用于查看系统一段时间进程的动态信息

pstree命令用于打印进程树形结构

Ctrl+C快捷键用于中断前台进程

Ctrl+\快捷键用于杀死前台进程

Ctrl+Z快捷键用于挂起前台进程

bg命令用于将挂起进程转换为后台进程

fg命令用于将后台进程转换为前台进程

jobs命令用于显示当前shell的进程状况

kill命令用于向指定进程发送信号

init命令用于进程初始化工具,可切换运行等级

init进程

  1. /etc/inittab init程序读取的配置文件

    基本格式为 id:runlevels:action:process
    • id为1~2个字符,配置行的唯一标识,在配置文件中不能重复
    • runlevels(运行等级)取值如下
      • 等级0表示:表示关机(千万不能把initdefault 设置为0)
      • 等级1表示:单用户模式
      • 等级2表示:无网络连接的多用户命令行模式
      • 等级3表示:有网络连接的多用户命令行模式
      • 等级4表示:不可用
      • 等级5表示:带图形界面的多用户模式
      • 等级6表示:重新启动(千万不要把initdefault 设置为6)
    • action取值如下
      • respawn 启动并监视第4项指定的process,若process终止则重启它
      • wait 执行第4项指定的process,并等待它执行完毕
      • once 执行第4项指定的process
      • boot 不论在哪个执行等级,系统启动时都会运行第4项指定的process
      • bootwait 不论在哪个执行等级,系统启动时都会运行第4项指定的process,且一直等它执行完备
      • off 关闭任何动作,相当于忽略该配置行
      • ondemand 进入ondemand执行等级时,执行第4项指定的process
      • initdefault 系统启动后进入的执行等级,该行不需要指定process
      • sysinit 不论在哪个执行等级,系统会在执行boot 及bootwait之前执行第4项指定的process
      • powerwait 当系统的供电不足时执行第4项指定的 process,且一直等它执行完毕
      • powerokwait 当系统的供电恢复正常时执行第4项指定的process,且一直等它执行完毕
      • powerfailnow 当系统的供电严重不足时执行第4项指定的process
      • ctrlaltdel 用户按下【Ctrl+Alt+Del】时执行的操作
      • kbrequest 当用户按下特殊的组合键时执行第4项指定的process,此组合键需在keymaps文件定义
    • process为所要执行的shell命令。任何合法的shell语法均适用于该字段。
  2. /etc/rc.d/rcX.d文件(X代表运行等级)含有各个运行等级服务启动和终止配置

    /etc/rc.d/init.d目录下存放着对应运行等级的服务脚本
  3. 修改配置/etc/inittab后马上生效:kill -1 1 或者 init q

调度系统任务

  1. crontab命令用于调度重复性的任务

    控制访问的文件:cron.allow、cron.deny
  2. at命令用于调度只执行一次的任务

    控制访问的文件:at.deny

加载proc虚拟文件系统:mount -t proc proc /proc

SSH

安装openssh

  • 替换阿里云的源

    echo "http://mirrors.aliyun.com/alpine/latest-stable/main/" > /etc/apk/repositories

    echo "http://mirrors.aliyun.com/alpine/latest-stable/community/" >> /etc/apk/repositories

  • 同步时间

    cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

  • 更新源、安装openssh 并修改配置文件、生成key、启动sshd服务

    apk update &&

    apk add --no-cache openssh-server tzdata &&

    sed -i "s/#PermitRootLogin.*/PermitRootLogin yes/g" /etc/ssh/sshd_config &&

    ssh-keygen -t rsa -P "" -f /etc/ssh/ssh_host_rsa_key &&

    ssh-keygen -t ecdsa -P "" -f /etc/ssh/ssh_host_ecdsa_key &&

    ssh-keygen -t ed25519 -P "" -f /etc/ssh/ssh_host_ed25519_key &&

    /usr/sbin/sshd -D

使用SSH登录远程主机(要求远程主机正在运行sshd)

  • 基于口令的登录方法

    ssh -l 登录账号 远程主机

  • 基于密钥对的登录方法

    • 生成密钥对:ssh-keygen -d
    • 把公钥上传到服务器上(/.ssh/id_dsa.pub、/.ssh/authorized_keys)
    • 测试自动登录:ssh [登录账号@]远程主机 (需要输入第一步输入的passphrase,若想不输入passphrase可以考虑ssh-agent)

实用程序

日志清理程序

把以下代码保存为log_clean.sh文件中即可使用

内含操作:备份重要的日志、限制日志目录大小、清理老旧日志


# maximum log size
alarmrate=500
# the max size file can reach
file_max_size=5
# this is the directory where fresh logs are originally written
working_dir=/mnt/soho_storage/log
# this is the frequency our program runs
SLEEPTIME=5 # append year.month.day and timestamp to log filename
filenameConvert()
{
timestamp=$(date +%Y%m%d%H%M%S)
timestamp=`echo $timestamp`
RETVAL=$1.$timestamp
} # search dir to fetch the oldest log
searchdir()
{
oldestlog=`ls -rt | head -n 1 | awk '{print $1}'`
} # this function clean old logs under working dir if it reaches it's size limitation
clear_old_log_under_working_dir()
{
cd $working_dir
while true
do
logsize=`du -ms $working_dir | awk '{print $1}'`
if [ $logsize -gt $alarmrate ]
then
searchdir
rm -rf $oldestlog
else
break;
fi
done
} # this is the main process of our log backup activity
backuplog_process()
{
cd $log_ram_dir
for i in *
do
file_size=`du -m $i | awk '{print $1}'`
# need to backup log file
case $i in access.log | error.log | apcupsd.events | soho.log)
if [ ! -d $working_dir ]
then
mkdir -p $working_dir
fi
if [ file_size -gt file_max_size ]
then
filenameConvert $i
cp $log_ram_dir/$i $working_dir/$RETVAL
echo "" > $log_ram_dir/$i
clear_old_log_under_working_dir
fi
;;
*)
if [ file_size -gt file_max_size ]
then
echo "" > $log_ram_dir/$i
fi
done
} while true
do
backuplog_process
sleep $SLEEPTIME
done

系统监控程序

把以下代码保存为system_monitor.sh文件中即可使用

内含操作:监控内存、硬盘、CPU、进程,形成状态报告


# maximum ratio of memory usage
mem_quota=80
# hard disk
hd_path=/dev/sda1
# maximum ratio of hard disk usage
hd_quota=80
# maximum ratio of cpu usage
cpu_quota=80
# time gap between two times fetching cpu status
time_gap=60
# generate report every 10 minutes
runtime_gap=60 # fetch the ratio of memory usage
# @return 1: if larger than $mem_quota
0: if less than $mem_quota
watch_memory()
{
mem_total=`cat /proc/meminfo | grep MemTotal | awk '{print $2}'`
mem_free=`cat /proc/meminfo | grep MemFree | awk '{print $2}'`
mem_usage=$((100-mem_free*100/mem_total))
if [ $mem_usage -gt $mem_quota ]
then
mem_message="ALARM!! The memory usage is $mem_usage%!!"
return 1
else
return 0
fi
} # fetch the top 10 most wasting memory process
proc_memory_top10()
{
mem_busiest=`ps aux | sort -nk 4r | head -n 11`
} # fetch the ratio of hard disk usage
# @return 1: if larger than $hd_quota
0: if less than $hd_quota
watch_hd()
{
hd_usage=`df | grep $hd_path | awk '{print $5}' | sed 's/%//g'`
if [ $hd_usage -gt $hd_quota ]
then
hd_message="ALARM!! The hard disk usage is $hd_usage%!!"
return 1
else
return 0
fi
} # fetch cpu status at a time point
# format used unused
get_cpu_info()
{
cat /proc/stat | grep -i "^cpu[0-9]\+" | awk '{used+=$2+$3+$4;unused+=$5+$6+$7+$8} END{print used,unused}'
} # fetch the ratio of cpu usage
# fetch cpu stat two times, with time gap, then calculate the average status
# @return 1: if larger than $cpu_quota
0: if less than $cpu_quota
watch_cpu()
{
time_point_1=`get_cpu_info`
sleep $time_gap
time_point_2=`get_cpu_info`
cpu_usage=`echo $time_point_1 $time_point_2 | awk '{used=$3-$1;total+=$3+$4-$2-$1}';print $used*100/total`
if [ $cpu_usage -gt $cpu_quota ]
then
cpu_message="ALARM!! The cpu usage is over $cpu_usage%!!"
return 1
else
return 0
fi
} # fetch the top 10 busiest processes
proc_cpu_top10()
{
proc_busiest=`ps aux | sort -nk 3r | head -n 11`
} while true
do
# report content
report=""
# memory monitor
if [ `watch_memory` -eq 1 ]
then
report=$report'\n'$mem_message
proc_memory_top10
report=$report'\n'$mem_busiest
fi
# hard disk monitor
if [ `watch_hd` -eq 1 ]
then
report=$report'\n'$hd_message
fi
# cpu monitor
if [ `watch_cpu` -eq 1 ]
then
report=$report'\n'$cpu_message
proc_cpu_top10
report=$report'\n'$proc_busiest
fi
# feedback report
if [ -n $report ]
then
# todo...
fi
# sleep time
sleep $((runtime_gap-time_gap))
done
上一篇:JS实现全选、不选、反选


下一篇:android官方侧滑菜单DrawerLayout详解