shell学习笔记  

、查看/etc/shells，看看有几个可用的Shell

、 曾经用过的命令存在.bash_history中，但是~/.bash_history记录的是前一次登录前记录的所有指令，成功登出后，才存到 .bash_history中。

、man bash查看bash说明文件。

、echo $ 

、变量的设定中，单引号与双引号的不同：双引号仍然可以保留变量的内容，单引号内只能是一般字符，不会有特殊符号。

、反单引号`符号：在一串指令中，在`之内的指令都会被先执行，而其执行出来的结果将作为外部的输入内容。

、set：显示bash内的变量。

、$：代表目前这个SHELL的执行者代码（PID）。echo $$ 出现的数字就是PID号码。

、？：上一个指令所回传的值。0或者非0值:  echo $?

、目前个人电脑的CPU分为：/64位，其中32位分i386、i586、i686，而64位则称为x86_64。

、子程序仅会继承父程序的环境变量，不会继承父程序的自定义变量。

、export 变量名称：分享自己的变量设定给后来启动的程序。

、locale：列出系统所支持的所有语言。

、read：读取键盘变量

、declare、typeset：定义变量类型

、限制使用者的某些系统资源：ulimit

、#：符合取代文字的 最短的 那一个

、##：符合取代文字的 最长的 那一个

、%：从后面向前删除变量内容

、命令别名定义：alias，unalias（例如：定义alias lm='ls -al | more'）

、历史命令：history

、bash shell的操作环境：

例題：

設定 echo 的命令別名成為 echo -n ，然後再觀察 echo 執行的順序

答：

[root@www ~]# alias echo='echo -n'[root@www ~]# type -a echoecho is aliased to `echo -n'echo is a shell builtinecho is /bin/echo

瞧！很清楚吧！先 alias 再 builtin 再由 $PATH 找到 /bin/echo 囉！  

、bash的进站欢迎信息：/etc/issue,/etc/motd

、login shell整体环境的设定：/etc/profile

、source：读取环境设定的命令

、默认的bash设定：~/.bashrc

、Bash shell组合键：
組合按鍵    執行結果
Ctrl + C    終止目前的命令
Ctrl + D    輸入結束 (EOF)，例如郵件結束的時候；
Ctrl + M    就是 Enter 啦！
Ctrl + S    暫停螢幕的輸出
Ctrl + Q    恢復螢幕的輸出
Ctrl + U    在提示字元下，將整列命令刪除
Ctrl + Z    『暫停』目前的命令

、特殊符号：
符號    意義
*    代表『  個到無窮多個』任意字元
?    代表『一定有一個』任意字元
[ ]    同樣代表『一定有一個在括號內』的字元(非任意字元)。例如 [abcd] 代表『一定有一個字元， 可能是 a, b, c, d 這四個任何一個』
[ - ]    若有減號在中括號內時，代表『在編碼順序內的所有字元』。例如 [-] 代表  到  之間的所有數字，因為數字的語系編碼是連續的！
[^ ]    若中括號內的第一個字元為指數符號 (^) ，那表示『反向選擇』，例如 [^abc] 代表 一定有一個字元，只要是非 a, b, c 的其他字元就接受的意思。
符號    內容
#    註解符號：這個最常被使用在 script 當中，視為說明！在後的資料均不執行
     跳脫符號：將『特殊字元或萬用字元』還原成一般字元
|    管線 (pipe)：分隔兩個管線命令的界定(後兩節介紹)；
;    連續指令下達分隔符號：連續性命令的界定 (注意！與管線命令並不相同)
~    使用者的家目錄
$    取用變數前置字元：亦即是變數之前需要加的變數取代值
&    工作控制 (job control)：將指令變成背景下工作
!    邏輯運算意義上的『非』 not 的意思！
/    目錄符號：路徑分隔的符號
>, >>    資料流重導向：輸出導向，分別是『取代』與『累加』
<, <<    資料流重導向：輸入導向 (這兩個留待下節介紹)
' '    單引號，不具有變數置換的功能
" "    具有變數置換的功能！
` `    兩個『 ` 』中間為可以先執行的指令，亦可使用 $( )
( )    在中間為子 shell 的起始與結束
{ }    在中間為命令區塊的組合！

、/dev/null 垃圾桶黑洞
、eof：输入这个关键字，立刻结束，不需输入[ctrl]+d
、>与>>
、命令执行的判断依据：        ;    ,    &&    ||
、cut、grep：拾取命令
、排序命令：sort、wc、uniq
、tee
、字符转换命令：tr,col,join.paste,expand
、分割命令：split
、参数替换：xargs
、减号"-"的用途
）如果读取到一个Enter符号（CR），就会尝试开始执行该行命令，
）如果一行内容太多，可使用  \来延伸至下一行，
）# 可作为注解。

、>file  前面没有命令，shell会创建一个空文件（长度为0个字符），如果文件以前已经存在，其内容就会丢失。
、一行中可以键入多条命令，命令之间用分号分隔。
、如果在键入的命令之后跟一个&符号，该命令就发送到后台执行，也就是说，该命令不再占住终端，可以继续处理其他工作。
、$字符是shell的特殊字符，如果$后跟一个合法的变量名，shell会把它当作在此处用变量所存储的值来替换的指令。表达式可以写为$((expression))。
、shell变量$#，里面存的是命令行中所键入的参数个数。
、$*可以引用传递给程序的所有的参数，在参数不确定或者参数数目可变的程序中，通常是很有用的。 

. "$@" 它会被替换成“$n”，这里$@前后的双引号是必不可少的，如果没有，变量$@和$*完全一样。
、如果要给一个程序传递9个以上的参数，不能用$、$11的方法来取第10个以及以后的参数，要用${n}这种格式。
、shell自动将最后所执行命令的退出状态设置到shell变量$?中。
    $cp phonebook phone2
    $echo $?
    $
    0操作成功 非0操作失败 

、内部命令test，它用来在if命令中测试一种或几种条件，格式为 test expression。
    -n string 检测string不为空为真
    -n string 检测string为空为真
   test命令的另外一种模式[expression]
    -eq 等于
    -ge 大于等于
    -gt 大于
    -le 小于等于
    -lt 小于
    -ne 不等于
   文件判断
    -d  为目录
    -e  存在
    -f  普通文件
    -r  可读文件
    -s  长度不为0
    -w  可写文件
    -x  可执行文件
    -L  链接文件
   逻辑判断
    !   逻辑非
    -a  逻辑与
    -o  逻辑或 

、小括号格式 (  )
、else结构
    if command1
    then
       command
    else
       command
    fi
、内部命令exit 它可以立即终止shell程序的执行。exit n  n为希望返回的退出状态，不指定为最后一条命令的退出状态。 

、elif结构
    if command1
    then
       command
    elif command2
       then
         command
    else
       command
    fi 

、case结构
    case value in
    pat1)  command
           command
        ...
           command;; 

    pat2)  command
           command
        ...
           command;;
    ...
    patn)  command
           command
        ...
           command;; 

    *）
    esac 

    case语句中的特殊字符指定匹配模式：
        ?表示任一个字符
        *表示0或若干个任意字符一个，最后的“*）”表示默认模式，当使用前面的各种模式均无法匹配该变量时，将执行“*）”后的命令序列。

、-x 调试程序选项
    sh -x 程序名 程序参数 

、空命令  ：
    其目的是什么也不做，多用于条件语句 

、&&和||结构
    &&       如果在任何需要shell命令的位置写了 command1 && command2 则先执行command1,如果返回的退出状态为0则执行command2；如果command1返回的退出状态不为0，则跳过command2。
    ||       结构功能也差不多，区别在于只有当第一条命令的退出状态不为0时才执行第二条命令。
    在这种结构的左右两边都可以用管道线。如果用在左边，检测的是管道线中最后一条命令的退出状态。 

、for命令
    -n]/$*
    do
        command
        command
        ...
    done 

、while命令
    while command1
    do
        command
        command
        ...
    done
），并且$#递减。 

、until命令
    until command1
    do
        command
        command
        ...
    done
与while模式相反 

、sleep n 程序挂起n秒,  

　　's' for seconds (the default),
       'm' for minutes,

　　'h' for hours,

　　'd' for days.
、break n、continue n从n层循环中退出
、PATH  执行命令时shell要搜索的目录，这些目录彼此之间用冒号{:}分隔
、exec 命令      exec program  以新shell代替当前程序 

touch命令改变文件的时间信息。
参数：
-a : 仅修改access time。
-c : 仅修改时间，而不建立文件。
-r : 参照某个文件的时间记录。
-t : 后面可以接时间，格式为 [[CC]YY]MMDDhhmm[.SS] 如198408250310.
 -d, --date=STRING
              parse STRING and use it instead of current time
-f     (ignored)
-h, --no-dereference
              affect each symbolic link instead of any referenced file (useful
              only on systems that can change the timestamps of a symlink)
-m     change only the modification time
-r, --reference=FILE
              use this file's times instead of current time
-t STAMP
              use [[CC]YY]MMDDhhmm[.ss] instead of current time
--time=WORD
              change the specified time: WORD is access, atime, or use: equiv-
              alent to -a WORD is modify or mtime: equivalent to -m
--help display this help and exit
--version
              output version information and exit
       Note that the -d and -t options accept different time-date formats.

function show
{
    echo $$;
}
H="Hello,,,"
W="World!!!!"
# 调用函数，并传给两个参数H和W
show $H $W

正则表达式:\  关闭或者打开后续字符的特殊意义
.  匹配任何单个字符，初NUL外
*  匹配在它之前的任何数目的单个字符
+  1个或多个(ERE only)
?  0个或多个(ERE only)
^  表示一行的开始，在[^...]里面表示取反
$  表示一行的结尾
[...]  匹配方括号内的任一单个字符
{n}  匹配前面单个字符出现n次(ERE，在BRE中需要使用转义\{n\})
{n,m}  出现至少n次，最多m次
()  表示一个实例(ERE only)
|  匹配之前或之后的正则表达式(ERE only)

. 向后引用: backreferences
如，\(ab\)\(cd\)[def]*\\ 可以匹配abcdcdab, abcdeeecdab, abcdffcdab, ...向后引用最多可以有9个

. POSIX字符集: [:alpha:]
[:alnum:]  数字字符，如123
[:alpha:]  字母字符，如abcDEF
[:lower:]  小写字母字符，如abc
[:upper:]  大写字母字符，如DEF
[:blank:]  空格space于定位tab字符
……更多
$ grep -E ^[[:alpha:]]\{\} data.txt
hello, world.
abcDEFdefABC

. ERE(Extended RE)
没有向后引用。
区间表达不需要\{\}，直接使用abc{,}，表示c出现3到5次
?  表示0个或一个前置RE
+  1个或多个
*  与BRE相同，0个或多个
|  交替，匹配这个序列或那个序列或... read|write｜listen
() 分组，(abc){,}表示abc出现3到5次，但不包括括号()本身，

. 额外的GNU正则表达式运算符: \w
\w  匹配任何单词组成的字符
\W  匹配任何非单词组成的字符，^\w

. 进行文本查找替换: sed(steam editor)
sed s/regexp/replacement/
$ sed 's/:.*/:******/' data.txt
hello, world.
abcDEFdefABC
password:******
another password:******
上面命令把冒号(:)后面的所有内容替换成6个星号(*)，sed s/regexp/replacement/中的/作为一个定界符，任何可以显示的字符都可以，如
sed s;regexp;replacement;
sed s:regexp:replacement:
sed s,regexp,replacement,
……等
$ find /home/owen/test/todelete/ -type d -print |
sed 's;/home/owen/test/todelete;/home/owen/test/todel;' |
sed 's/^/mkdir /' |
sh -x
+ mkdir /home/owen/test/todel/
+ mkdir /home/owen/test/todel/xyz
该命令首先找出/home/owen/test/todelete/这个目录下的所有目录，包括这个目录自身，然后把todelete替换成todel，得到如下结果：
/home/owen/test/todel/
/home/owen/test/todel/xyz
然后在每行前面加上"mkdir "命令创建新的目录。所实现的功能类似cp。

. 查看系统的密码信息: /etc/passwd
$ more /etc/passwd
owen:x:::owen,,,:/home/owen:/bin/bash
每行都是以:分隔的7个字段，分别表示
owen 用户名称
x  加密后的密码
  用户ID编号
  用户组ID编号
owen,,,  用户姓名，附加其他信息，如联系方式等
/home/owen  用户的根目录
/bin/bash  登录的shell类型

. 从文本中剪贴部分内容: cut
$ cut -d : -f , /etc/passwd | grep -E ^m
man:man
mail:mail
messagebus:
mysql:MySQL Server,,,
-d 表示分割符，-f 表示field

. 连接2个文件，基于字段：join
join quotas.sorted sales.sorted
使用两个文件中第一个字段进行连接，如
quotas.sorted
a b
sales.sorted
a c
连接之后，为a b c
当然可以指定连接的key， -  - ， 参考manual

. 重新编排字段: awk
$ ls -l | awk '{ print $8, $5, $1}' | sort
data.txt  -rw-r--r--
finduser  -rwxr-xr-x
merge-sales.sh  -rwxr-xr-x
note.sh  -rwxr-xr-x
nusers  -rwxr-xr-x
quotas  -rw-r--r--
sales  -rw-r--r--
  total
这里先列出当前目录下的文件，然后使用awk显示文件名，大小，权限，最后进行排序显示。
awk默认使用空格作为分隔字符。
$ ls -l | awk '{ printf "%s %s\t %s\n", $1, $5, $8}' | sort
其基本模式如下：

#chapter  text process tools

. 文本排序: sort
$ sort -t : -k , /etc/passwd
-t指定分隔符，-k指定从哪个字段到哪个字段作为key进行排序

. 去除重复: uniq
$ sort uniq-data | uniq -c
       duo
       tres
       unus
消除重复，可以控制显示重复的或是未重复的记录

. 简单的文本格式化命令: fmt
$ more data.txt | fmt -w
hello, world.  abcDEFdefABC password:
another password:

string sort\nbased on lines delimilated by new
line sign
格式化成每行最多50个字符

. 计算行数、字数和字符数: wc
/usr/share/dict$ more words | grep ^herb | wc -lwc

. 查看标准输入的前n条记录，或是文件列表中的前n条，或后n条: head, tail
head -n  /etc/passwd
sed -e 5q /etc/passwd
显示倒数n条，一般用来查看最近的日志记录
tail -n  /etc/passwd

#chapter  the magic power of pipe

. 文字解谜好帮手puzzle-help.sh文件: example
FILES="
        /usr/dict/words
        /usr/share/dict/words
      "
pattern="$1"
egrep -h -i > /dev/null | sort -u -f
使用这个脚本来进行查找具有10个字母的单词，以b开头，第7位不是x就是y：
$ sh puzzle-help.sh '^b.{5}[xy].{3}$' | fmt
beatifying Birdseye's blarneying *lyn's Bulawayo's
等价于使用命令：
/usr/share/dict$ more words | egrep -i  '^b.{5}[xy].{3}$'| sort
beatifying
Birdseye's
blarneying
*lyn's
Bulawayo's

. 转换或者删除字符：tr
tr [ options ] source-char-list replace-char-list
-c 取source-char-list的反义，即对没有出现在source-char-list中的字符进行转换或删除
-d 删除source-char-list里出现的字符，如删除所有元音字母：
echo hello world | tr -d [aeiou]
hll wrld
-s 浓缩重复的字符，如：
echo hello world | tr -s l
helo world
一般会组合来使用，如全部转换成小写字符，所有非字母字符转换成换行符号
echo heLLo WorLd   End | tr A-Z a-z | tr -cs A-Za-z '\n'
hello
world
end
这里没有包括数字，如果需要包括，则添加A-Za-z0-9就可以了

. 统计一篇文章中单词出现频率: wf
tr -cs A-Za-z0- '\n' |     将非字母字符转换成换行符号，-cs参考第20条笔记
  tr A-Z a-z |              全部转换成小写字母
    sort |                  排序
      uniq -c |             统计频率，结果：  the等
        sort -k1,1nr -k2 |  首先只取第一个field即数字，按照数字顺序-n逆序-r排序，再对单词以字典顺序排序
          sed ${:-}q     ${}获取命令行的第一个参数，如果没有默认为25，后面q表示退出程序

${:-}是shell里面的一个参数展开形式，具体如下:
${var:-default-var}
展开方式是：首先查找${var}，如果找到，值就为${var}，如果没有找到，值就等于default-var

使用(需要chmod +x wf，然后把wf放到$PATH路径下)，使用频率最高的：
man awk | wf | pr -c4 -t -w80
     the              are                            mawk
     and               s              n
                      expr        be
     a                  awk
     of               or          file
     to              with          an          i
      in
pr命令，打印格式化，page column for printing
-c4 表示column4，相当于word的分栏操作，这里设置为4栏
-t  表示不显示页头和页尾，如果没有这个，就是一张打印纸那么大
-w80  设置页面宽度，这里是80个字符

最低的呢：
$ man awk | wf  | tail -n  | pr -c4 -t -w80
       typically          under           values               wc
       u                     underscores  variations         we
       unaltered          unlike         variety               whidbey
       unambiguous        unnecessary  vdiesp               writing
       unbuffered          vertical           xaxbxcx
       unchanged          usually         via                   xhh
       undefined
我的path
echo $PATH
/home/owen/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

这个程序比较有意思，我们可以算出awk手册里使用了多少个不重复的单词，才1014个，99999这个数没有实际意义，只是很大而已
$ man awk | wf  | wc -l

高频词汇（频率在5次以上，包括5次）个数，尽然是这么得少！
$ man awk | wf  | awk '$1 >= 5' | wc -l

. 学以致用: 标记和自动目录生成
$ more shell笔记.txt | grep -E '#'

#chapter  shell basic
#chapter  search and substitution
#chapter  text process tools
#chapter  the magic power of pipe

more shell笔记.txt | grep -E '^[0-9]+\.' | sed 's/^/@-/'
@-. 访问脚本从命令行接收到的参数：$n
@-. 在shell脚本执行时，使用-x打开脚本执行跟踪功能。如: $ sh -x nusers.sh
@-. 列出系统所支持的所有语言: locale -a
@-. shell BRE(Basic RE) and ERE(Extended RE)正则表达式简记：
@-. 向后引用: backreferences
@-. POSIX字符集: [:alpha:]
@-. ERE(Extended RE)
@-. 额外的GNU正则表达式运算符: \w
@-. 进行文本查找替换: sed(steam editor)
@-. 查看系统的密码信息: /etc/passwd
@-. 从文本中剪贴部分内容: cut
@-. 连接2个文件，基于字段：join
@-. 重新编排字段: awk
@-. 文本排序: sort
@-. 去除重复: uniq
@-. 简单的文本格式化命令: fmt
@-. 计算行数、字数和字符数: wc
@-. 查看标准输入的前n条记录，或是文件列表中的前n条，或后n条: head, tail
@-. 文字解谜好帮手puzzle-help.sh文件: example
@-. 转换或者删除字符：tr
@-. 统计一篇文章中单词出现频率: wf
@-. 学以致用: 标记和自动目录生成

使用sed命令给每条数据添加一个@-前缀，以便与真正的目录混淆。

#chapter  variables, repetitions

. 设置或修改环境变量: export
PATH=$PATH:/home/owen/bin
export PATH
打印环境变量export -p

. 从shell中删除变量于函数: unset
$ foo=
$ echo $foo

$ unset foo
$ echo $foo
使用unset -f function_name删除函数，默认为-v即删除变量

. 参数展开: ${varname:-word}
替换运算：
${varname:-word}  如果varname存在且非Null,则返回其值；否则返回word。用途: 如果变量未定义，则使用默认值

${varname:=word}  如果varname存在且非Null,则返回其值；否则设置它的值为word，并返回其值。用途: 如果变量未定义，则设置变量为默认值

${varname:+word}  如果varname存在且非Null,则返回word；否则返回null。用途: 为测试变量的存在。

${varname:?message}  如果varname存在且非Null,则返回其值；否则显示varname:message，并退出当前命令或脚本。用途: 捕捉由于变量未定义所导致的错误
$ echo ${vars:?"undefined, pls check it"}
bash: vars: undefined, pls check it

注意上面的${varname:-word}每个冒号(:)都是可选的，如果没有冒号，条件变为“如果varname存在”，也就是可以为空

更多模式匹配
$ p=/home/jwu/cases/long.file.name
$ echo $p
/home/jwu/cases/long.file.name

${variable#pattern}  如果模式匹配于变量的开头处，则删除匹配的最短部分，返回剩下的部分
$ echo ${p#/*/}
jwu/cases/long.file.name

${variable##pattern}  如果模式匹配于变量的开头处，则删除匹配的最长部分，返回剩下的部分
$ echo ${p##/*/}
long.file.name

${variable%pattern}  如果模式匹配于变量的结尾处，则删除匹配的最短部分，返回剩下的部分
$ echo ${p%.*}
/home/jwu/cases/long.file

${variable%%pattern}  如果模式匹配于变量的结尾处，则删除匹配的最长部分，返回剩下的部分
$ echo ${p%%.*}
/home/jwu/cases/long

注意，这里使用的pattern，以及shell里其他的地方，如case语句等，不同于前面正则表达式的模式匹配。如上，这里*代表任何一个符号，而.只代表点号本身。

. POSIX标准化字符从长度运算符: ${#variable}返回$variable值的长度
$ d=diversification
$ echo $d
diversification
$ echo ${#d}

. shell特殊变量，访问参数: $#, $@, $*
设置参数:　$ set -- hello "hi there" greeting
$#  传递到shell脚本或函数的参数总数
$@  传递进来的命令行参数，置于双引号("")内，会展开为个别的参数
$ for i in $@
> do echo i is $i
> done
i is hello
i is hi
i is there
i is greeting
注意上面的hi there之间的空格丢失了
$ for i in "$@"
> do echo i is $i
> done
i is hello
i is hi there
i is greeting
加上""会得到每个参数
$*  传递进来的命令行参数，置于双引号("")内，会展开为一个单独的参数

. shell运算符与C语言类似: + - * /
运算置于$((...))之内，注意是圆括号
具体参考运算表
例:
$(( && ))

$ echo $(( > ))

$ echo $(( > ))

$ echo $(( ( > ) || ( > ) ))

与C及其衍生语言C++, Java, and awk等相同，非0值表示true。

. 退出状态: $?
$ echo hello
hello
$ echo $?

$ e s
e: command not found
$ echo $?

POSIX的结束状态
    命令成功退出
其他状态都是失败退出，如
  命令找不到

可以在shell脚本中传递一个退出值给它的调用者，如exit 

. 判断语句: if-elif-else-fi
if pipeline
then ...
elif pipeline
then ...
else ...
fi

. 逻辑判断: NOT, AND, OR
NOT  if ! (...)
AND  (...) && (...)
OR   (...) || (...)

. test命令: if...
 ]
then
  echo Usage: finduser username >&
  exit
fi
主要的数字比较有
-eq  equal
-ne  not equal
-lt  less than
-gt  great than
-le  less or equal
-ge  great or equal

#chapter  input/output, file, and commands execute

    to be continue...

join用来将来自两个分类文本文件的行连在一起。下面讲述join工作方式。这里有两个文件file1和file2，当然已经分类。每个文件里都有一些元素与另一个文件相关。由于这种关系，join将两个文件连在一起，这有点像修改一个主文件，使之包含两个文件里的共同元素。文本文件中的域通常由空格或tab键分隔，但如果愿意，可以指定其他的域分隔符。类似于数据库中的join。
其一般格式为：
join [options] input-file1 input-file2
让我们看看它的可用选项列表：
an n为一数字，用于连接时从文件n中显示不匹配行。例如， -a1显示第一个文件的不匹配行，-a2为从第二个文件中显示不匹配行。
o n.m n为文件号，m为域号。.3表示只显示文件1第三域，每个n，m必须用逗号分隔，如1.，2.1。
j n m n为文件号，m为域号。使用其他域做连接域。
t 域分隔符。用来设置非空格或tab键的域分隔符。例如，指定冒号做域分隔符-t：
例子：
wangnc> pg name.txt
M.Golls  Hidd Rd
P.Heller The Acre
P.Willey  The Grove
T.Norms  Connaught Rd
K.Fletch  Woodlea
wangnc> pg town.txt
M.Golls Norwich NRD
P.Willey Galashiels GDD
T.Norms Brandon BSL
K.Fletch Mildenhall MAF
wangnc>
连接两个文件，使得名字支持详细地址。例如M . G o l l s记录指出地址为12 Hidd Rd。连接域为域0—名字域。因为两个文件此域相同， join将假定这是连接域：
wangnc> join name.txt town.txt
M.Golls  Hidd Rd Norwich NRD
P.Willey  The Grove Galashiels GDD
T.Norms  Connaught Rd Brandon BSL
K.Fletch  Woodlea Mildenhall MAF
好，工作完成。缺省join删除或去除连接键的第二次重复出现，这里即为名字域。
如果一个文件与另一个文件没有匹配域时怎么办？这时join不可以没有参数选项，经常指定两个文件的- a选项。下面的例子显示匹配及不匹配域。
wangnc> join -a1 -a2 name.txt town.txt
M.Golls  Hidd Rd Norwich NRD
P.Heller The Acre
P.Willey  The Grove Galashiels GDD
T.Norms  Connaught Rd Brandon BSL
K.Fletch  Woodlea Mildenhall MAF
使用- o选项选择连接域。例如要创建一个文件仅包含人名及城镇， join执行时需要指定显示域。方式如下：
使用1 . 1显示第一个文件第一个域， . 2显示第二个文件第二个域，其间用逗号分隔。命令为：
wangnc> join -o 1.1,2.2 name.txt town.txt
M.Golls Norwich
P.Willey Galashiels
T.Norms Brandon
K.Fletch Mildenhall
使用-jn m进行其他域连接，例如用文件1域3和文件2域2做连接键，命令为：
join -j1  -j2  file1 file2
使用join应注意连接域到底是哪一个，比如说你认为正在访问域4，但实际上join应该访问域5，这样将不返回任何结果。如果是这样，用awk检查域号。
例如，键入$awk '{print $4}'文件名，观察其是否匹配假想域。

sed是一个强大的文本过滤工具。使用sed可以从文件或字符串中抽取所需信息。
sed是一个非交互性文本流编辑器。它编辑文件或标准输入导出的文本拷贝。Vi也是一个文本编辑器。sed可以随意编辑小或大的文件，有许多sed命令用来编辑、删除，并允许做这项工作时不在现场。sed一次性处理所有改变，因而变得很有效，对用户来讲，最重要的是节省了时间。使用sed需要记住的一个重要事实是，无论命令是什么， sed并不与初始化文件打交道，它操作的只是一个拷贝，然后所有的改动如果没有重定向到一个文件，将输出到屏幕。
打印第2行：(p表示显示行，-n表示只显示匹配行)
sed -n '2p' data.f
现打印1到3行，用逗号分隔行号：
sed -n '1,3p' data.f
模式匹配行：
sed -n '/USP/'p data.f 同 awk '$0~/USP/' data.f
使用4,/USP/。意即只在第四行查询模式the：???
sed -n '4,/USP/'p data.f
要打印整个文件，只需将行范围设为第一行到最后一行1 , $。$意为最后一行:
sed -n '1,$p' data.f
要打印文件第一行，使用行号：
sed -n '1p' data.f
要打印最后一行，使用$。$是代表最后一行的元字符:
sed -n '$p' data.f
要打印行号，使用等号=。打印模式匹配的行号，使用格式/pattern/ =
sed -n '/USP/=' data.f
打印模式匹配的行号及其所有内容，使用-e
sed -e '/USP/=' data.f
如果只打印行号及匹配行，必须使用两个sed命令，并使用e选项。第一个命令打印模式匹配行，第二个使用=选项打印行号，格式为sed -n -e /pattern/p -e /pattern/=
sed -n -e '/USP/p' -e '/USP/=' data.f
sed 's/Unix/UNIX/' file     将第一个Unix换成UNIXsed 's/Unix?UNIX/' file      将所有的Unix换成UNIXsed -n '1,2p' file             只显示前两行sed -n '/UNIX/p' file        只打印包含UNIX的行sed '1,2d' file                删除第一行和第二行sed '/UNIX/d' file            删除包含UNIX的各行sed '5d'                    删除第5行sed '/[Tt]est/d'            删除包含test或ZTest的行sed -n '20,25p' file        只显示文件file的第20行到第25行sed '1,10s/unix/UNIX/g' file 把file前10行中的unix改为UNIXsed '/jan/s/-1/-5/'            将所有包含jan的行中第1个-1改为－5sed 's/...//' file            删除file文件每一行的前3个字符sed 's/...$//' file            删除data文件每一行的最后3个字符

sort命令的一般格式为：
sort -cmu -o output_file [other options] +pos1 +pos2 input_files
下面简要介绍一下sort的参数：
-c 测试文件是否已经分类。
-m 合并两个分类文件。
-u 删除所有复制行。
-o 存储sort结果的输出文件名。
其他选项有：
-b 使用域进行分类时，忽略第一个空格。
-n 指定分类是域上的数字分类。
-t 域分隔符；用非空格或tab键分隔域。
-r 对分类次序或比较求逆。
+n n为域号。使用此域号开始分类。
n n为域号。在分类比较时忽略此域，一般与+n一起使用。
post1 传递到m，n。m为域号，n为开始分类字符数；例如4，6意即以第5域分类，从第7个字符开始。
最基本的sort方式为sort filename，按第一域进行分类（分类键0）。实际上读文件时sort操作将行中各域进行比较，这里返回基于第一域sort的结果：
sort -t: /etc/passwd > passwd.bak
如果要逆向sort结果，使用- r选项。在通读大的注册文件时，使用逆向sort很方便。下面是按域0分类的逆向结果：
sort -t: -r /etc/passwd > passwd.bak
有时需要只按第2域（分类键1）分类。这里为重排报文*应区代码，使用t ，意义为按分类键1分类:
sort -t: + /etc/passwd > passwd.bak
如果是数值域，即为数值分类，可以使用- n选项：
sort -t: +2n /etc/passwd > passwd.bak
有时，原文件中有重复行，这时可以使用- u选项进行唯一性（不重复）分类以去除重复行：
sort -u /etc/passwd > passwd.bak
可以指定分类键次序。先以第4域，再以第1域分类，命令为-k4 -k1
sort -t: -k4 -k1 /etc/passwd > passwd.bak
sort还可以用于d f命令，以递减顺序打印使用列下面是按占用空间百分比，第4+1域)
df | sort -r +

split用来将大文件分割成小文件。有时文件越来越大，传送这些文件时，首先将其分割可能更容易。使用vi或其他工具诸如sort时，如果文件对于工作缓冲区太大，也会存在一些问题。因此有时没有选择余地，必须将文件分割成小的碎片。
split命令一般格式：
split -output_file-size input-filename output-filename
这里output-file-size指的是文本文件被分割的行数。split查看文件时，output-file-size选项指定将文件按每个最多1000行分割。如果有个文件有2800行，那么将分割成3个文件，分别有1000、、800行。每个文件格式为x[aa]到x[zz]，x为文件名首字母， [aa]、[zz]为文件名剩余部分顺序字符组合。
例子：
test> ll
total
-rw-rw-r--  wangnc users  Aug  : myfile
test> wc -l myfile
 myfile
test> split myfile
test> ll
total
-rw-rw-r--  wangnc users  Aug  : myfile
-rw-rw-r--  wangnc users  Aug  : xaa
-rw-rw-r--  wangnc users  Aug  : xab
-rw-rw-r--  wangnc users  Aug  : xac
按每个文件2行分割，命令为：
mydir3> ls
myfile
mydir3> wc -l myfile
 myfile
mydir3> vi myfile
mydir3>
mydir3> wc -l myfile
 myfile
mydir3> split - myfile
mydir3> ll
total
-rw-rw-r--  wangnc users  Aug  : myfile
-rw-rw-r--  wangnc users  Aug  : xaa
-rw-rw-r--  wangnc users  Aug  : xab
-rw-rw-r--  wangnc users  Aug  : xac
-rw-rw-r--  wangnc users  Aug  : xad

用户可以使用shell脚本创建交互性的、专业性强的屏幕输出。要实现这一点，系统上需要一个彩色监视器和tput命令。tput使用文件/etc/terminfo或/etc/termcap，这样就可以在脚本中使用终端支持的大部分命令了。
在使用tput前，需要在脚本或命令行中使用tput命令初始化终端。
$ tput init
tput产生三种不同的输出：字符型、数字型和布尔型（真/假）。
下面是大部分常用字符串：
bel 警铃
blink 闪烁模式
bold 粗体
civis 隐藏光标
clear 清屏
cnorm 不隐藏光标
cup 移动光标到屏幕位置（ x，y）
el 清除到行尾
ell 清除到行首
smso 启动突出模式
rmso 停止突出模式
smul 开始下划线模式
rmul 结束下划线模式
sc 保存当前光标位置
rc 恢复光标到最后保存位置
sgr0 正常屏幕
rev 逆转视图
以下是大部分常用数字输出：
cols 列数目
it tab设置宽度
lines 屏幕行数
在tput中只有两种布尔操作符：
chts 光标不可见
hs 具有状态行

tr用来从标准输入中通过替换或删除操作进行字符转换。tr主要用于删除文件中控制字符或进行字符转换。使用tr时要转换两个字符串：字符串1用于查询，字符串2用于处理各种转换。tr刚执行时，字符串1中的字符被映射到字符串2中的字符，然后转换操作开始。
带有最常用选项的tr命令格式为：
tr -c -d -s ["string1_to_translate_from"] ["string2_to_translate_to"] input-file
这里：
-c 用字符串1中字符集的补集替换此字符集，要求字符集为ASCII。
-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串。
Input-file是转换文件名。虽然可以使用其他格式输入，但这种格式最常用。
例子：
wangnc> pg oops.txt
And the cowwwwws went homeeeeeeee
Or did theyyyy
如果要去除重复字母或将其压缩在一起，使用- s选项。因为都是字母，故使用[a-z]。输入文件重定向到tr命令。
wangnc> tr -s "[a-z]"  echo "May Day,May Day,Going Down.." | tr "[a-z]" "[A-Z]"
MAY DAY,MAY DAY,GOING DOWN..
wangnc> echo "May Day,May Day,Going Down.." | tr "[A-Z]" "[a-z]"
may day,may day,going down..
将文本文件从小写转换为大写并将结果存入一个新文件，格式为：
cat file-to-translate | tr "[a-z]" "[A-Z]" > new-file-name
命令tr -cs "[a-z][A-Z]" "[\012*]"将文件每行所有不包含在[a-z]或[A-Z]（所有希腊字母）的字符串放在字符串1中并转换为一新行。-s选项表明压缩所有新行， -c表明保留所有字母不动。
tr的第一个功能就是转换控制字符，特别是从dos向UNIX下载文件时，忘记设置ftp关于回车换行转换的选项时更是如此。
如果需要删除文件中^M，并代之以换行。使用命令：
tr -s "[\015]" "\n"

uniq用来从一个文本文件中去除或禁止重复行。可以认为uniq有点像sort命令中唯一性选项。对，在某种程度上讲正是如此，但两者有一个重要区别。sort的唯一性选项去除所有重复行，而uniq命令并不这样做。重复行是什么？在uniq里意即持续不断重复出现的行，中间不夹杂任何其他文本.
命令一般格式：
uniq -u d c -f input-file output-file
其选项含义：
-u 只显示不重复行。
-d 只显示有重复数据行，每种重复行只显示其中一行
-c 打印每一重复行出现次数。
-f n为数字，前n个域被忽略。
一些系统不识别-f选项，这时替代使用-n。
wangnc> pg myfile.txt
May Day
May Day
May Day
Going Down
May Day
wangnc> uniq myfile.txt > myfile.txt.
wangnc> pg myfile.txt.
May Day
Going Down
May Day
wangnc> sort -u myfile.txt > myfile.txt.
wangnc> pg myfile.txt.
Going Down
May Day
wangnc>
使用-c选项显示行数，即每个重复行数目:
uniq -c myfile.txt
使用-d显示重复出现的不唯一行：
uniq -d myfile.txt
使用-n只测试一行一部分的唯一性。例如-5意即测试第5域后各域唯一性。域从1开始记数。
如果忽略第1域，只测试第2域唯一性，使用-n2。

crypt

gpg - GNU privacy guard

base64

md5sum

sha1sum

crypt

gpg - GNU privacy guard

base64

md5sum

sha1sum

wall - send message to all terminal users

$ cat MESSAGE | wall

$ wall < MESSAGE

管道|（pipe）与文件重定向区别
、管道命令只处理前一个命令正确输出，不处理错误输出
、管道命令右边命令，必须能够接收标准输入流命令才行。
接收标准输入的命令才可以用作管道右边。否则传递过程中数据会抛弃。 常用来作为接收数据管道命令有：sed,awk,cut,head,top,less,more,wc,join,sort,split 等等，都是些文本处理命令。