监测命令的运行时间 time command
$ time sleep 5
real 0m5.003s # 程序开始至结束的时间,包括其它进程占用的时间片和IO时间
user 0m0.001s # 进程真正执行占用CPU的时间
sys 0m0.002s # 进程在内核中调用所消耗的CPU时间
user+sys是进程实际的CPU时间。如果多线程执行,这个时间可能大于Real。如果IO是瓶颈,则real会大于user+sys (单线程)。
查看正在运行的命令和其资源使用 top
统计信息区
第一行:任务队列信息,与uptime命令执行结果相同
- 17:32:34:系统当前时间
- up 3 days, 8:04:主机已运行时间
- 5 users:用户连接数(不是用户数,who命令)
- load average: 0.09, 0.12, 0.19:系统平均负载,统计最近1,5,15分钟的系统平均负载
补充:uptime -V可查询版本
第二行:进程信息
- Tasks: 287 total:进程总数
- 2 running:正在运行的进程数
- 285 sleeping:睡眠的进程数
- 0 stopped:停止的进程数
- 0 zombie:僵尸进程数
第三行:CPU信息(当有多个CPU时,这些内容可能会超过两行)
- 1.5 us:用户空间所占CPU百分比
- 0.9 sy:内核空间占用CPU百分比
- 0.0 ni:用户进程空间内改变过优先级的进程占用CPU百分比
- 97.5 id:空闲CPU百分比
- 0.2 wa:等待输入输出的CPU时间百分比
- 0.0 hi:硬件CPU中断占用百分比
- 0.0 si:软中断占用百分比
- 0.0 st:虚拟机占用百分比
第四行:内存信息(与第五行的信息类似与free命令)
- 8053444 total:物理内存总量
- 7779224 used:已使用的内存总量
- 274220 free:空闲的内存总量(free+used=total)
- 359212 buffers:用作内核缓存的内存量
第五行:swap信息
- 8265724 total:交换分区总量
- 33840 used:已使用的交换分区总量
- 8231884 free:空闲交换区总量
- 4358088 cached Mem:缓冲的交换区总量,内存中的内容被换出到交换区,然后又被换入到内存,但是使用过的交换区没有被覆盖,交换区的这些内容已存在于内存中的交换区的大小,相应的内存再次被换出时可不必再对交换区写入。
进程信息区
- PID:进程id
- PPID:父进程id
- RUSER:Real user name(看了好多,都是这样写,也不知道和user有什么区别,欢迎补充此处)
- UID:进程所有者的id
- USER:进程所有者的用户名
- GROUP:进程所有者的组名
- TTY:启动进程的终端名。不是从终端启动的进程则显示为?
- PR:优先级
- NI:nice值。负值表示高优先级,正值表示低优先级
- P:最后使用的CPU,仅在多CPU环境下有意义
- %CPU:上次更新到现在的CPU时间占用百分比
- TIME:进程使用的CPU时间总计,单位秒
- TIME+:进程所使用的CPU时间总计,单位1/100秒
- %MEM:进程使用的物理内存百分比
- VIRT:进程使用的虚拟内存总量,单位kb。VIRT=SWAP+RES
- SWAP:进程使用的虚拟内存中被被换出的大小
- RES:进程使用的、未被换出的物理内存的大小
- CODE:可执行代码占用的物理内存大小
- DATA:可执行代码以外的部分(数据段+栈)占用的物理内存大小
- SHR:共享内存大小
- nFLT:页面错误次数
- nDRT:最后一次写入到现在,被修改过的页面数
- S:进程状态(D=不可中断的睡眠状态,R=运行,S=睡眠,T=跟踪/停止,Z=僵尸进程)
- COMMAND:命令名/行
- WCHAN:若该进程在睡眠,则显示睡眠中的系统函数名
- Flags:任务标志
默认情况下,只显示比较重要的列
文件系统和磁盘信息监测
查看系统硬盘大小和分配
df -h
du -sh *
软件安装
不同于windows,Linux下软件安装的方式比较多样,有些也比较复杂。每种安装方式都有自己的优点和局限,也都有可能遇到问题。在我们理解了原理之后,借助谷歌,可以更好地帮助解决问题。
系统包管理器安装
软件安装最方便的、一般也不容易出问题的是利用系统自带的包管理工具,可以解决大部分的依赖问题。
但也有一些不足,主要3点:
- 需要根用户的权限。
- 如果系统版本老,安装的软件版本也会比较老。使用新版本有时又会发生冲突。
- 生物信息学中不少软件不在系统的安装源里面。
解决这些问题,就需要自己去软件官网查找最新的分发包,又有两种可能,一种是分发包直接就是编译好的软件,下载下来设置下可执行属性并放入环境变量就可以运行了,如blast或bowtie这样的工具。
另一种则是需要从源码编译安装,下面主要讲解下这个。
源码编译安装
源码编译经典的三部曲configure, make, make install。如果不出问题,一步步执行下来就安装好了。但出了问题,就不是比较容易解决的。如果知道这背后的机制,对解决问题会有很大帮助的。
configure是检查系统的库文件、类文件、依赖软件是否存在以及它们的版本是否满足需求,并根据实际检测结果生成Makefile的工具。一般是一堆bash命令的组合。通常也需要在这一步配置一些参数。最常用的就是指定软件的安装目录--prefix=/home/ct/soft/specific_name。
make则是具体的编译过程。编译的语句都写在了Makefile中。make默认编译Makefile中出现的第一个target,也可以指定target编译,并根据Makefile的设置方式依次编译所有依赖的东西。
Makefile通常的格式和布局如下
# 假设当前文件夹下Makefile文件中内容如下
# first: target名字
# echo "compile first": target对应的命令,任何Linux命令都可以
$ cat Makefile
first:
echo "compile first"
all: first second
echo "compile all"
second:
echo "compile second" # 直接运行make,会make第一个出现的target
$ make
echo "compile first"
compile first
# make first与直接make相同,因为它出现在第一个
$ make first
echo "compile first"
compile first
# all依赖于first, second,因此make all会先执行make first, make second
# 然后才是自己所代表的命令
$ make all
echo "compile first"
compile first
echo "compile second"
compile second
echo "compile all"
compile all
有些软件的安装,在执行完make后就获得了可执行程序,可以跳过make install的过程,只需要放入环境变量就可以运行了。但部分软件还需要一些依赖关系,所以需要执行make install才算完成了完整的安装。
- make install通常是拷贝make编译出来的可执行文件或者依赖的库文件(如果有的话)到configure时的--prefix指定的目录下。
- 安装好的软件放入环境变量, 就可以快乐的运行了。
两点注意:
- 从源码编译最难解决的问题就是依赖的库文件、头文件、依赖软件的缺失或版本不匹配,没有统一的解决办法,原则就是缺啥补啥。后面提到的Anaconda,会对库文件的依赖提供一个简便的解决办法。
- 三部曲每一步的执行,屏幕上都会输出比较多的信息,一定仔细看最后有没有ERROR类的字样,对判断软件有无安装成功和下一步要怎么解决问题会很有帮助。
Linux包的安装通用方式主要是这些,后面还会提到两种虚拟安装方式,都是为了简化安装而提出的。
Python包的安装
在没有Anaconda(或其前身canopy)出现之前,Python包以其管理混乱、安装困难著称。有了Anaconda后,不只python包的安装简单了,其它软件的安装也都方便了 (详见后面Anaconda的两个福利)。
- 首先下载Anaconda的安装包 https://www.continuum.io/downloads。
- Anaconda的安装包做的很人性化,一个bash脚本,只要运行bash Anacond*x86_64.sh,然后按照提示操作就可以了。
- 安装好后,设置或刷新下环境变量就可以使用了。
- 此后再安装python的包只需要执行pip install pakcage_name或conda install pakckage_name就可以了。
- 这里唯一需要注意的就是确认使用的python或pip确实是Anaconda安装的python或pip。
- which python查看使用的python命令。
- 如果使用的还是系统默认的python,则需要检查下环境变量的设置。
Anaconda的两个福利
1、头文件和库文件库
这是Anaconda安装后的目录结构
bin envs Examples imports lib LICENSE.txt pkgs share varconda-meta etc gcc include lib64 mkspecsplugins ssl
其中lib目录下,一部分是依赖的动态链接库, .so文件;这也是在源码编译时最常见的拦路虎。通常,只需要把这个目录放入环境变量LD_LIBRARY_PATH里面比如export LD_LIBARY_PATH=${LD_LIBARY_PATH}:anaconda_path/lib就可以解决问题。
cairo libitm.a libQtScript.so.4cmake libitm.la libQtScript.so.4.8engines libitm.so libQtScript.so.4.8.7gcc libitm.so.1 libQtScriptTools.lagcj-4.8.5-14 libitm.so.1.0.0 libQtScriptTools.prlglib-2.0 libitm.spec libQtScriptTools.solibargtable2.a libjpeg.a libQtScriptTools.so.4libargtable2.la libjpeg.la libQtScriptTools.so.4.8libargtable2.so libjpeg.so libQtScriptTools.so.4.8.7libargtable2.so.0 libjpeg.so.8 libQtSql.lalibargtable2.so.0.1.8 libjpeg.so.8.4.0 libQtSql.prllibasan.a libmkl_avx2.so libQtSql.solibasan.la libmkl_avx512_mic.so libQtSql.so.4libasan_preinit.o libmkl_avx512.so libQtSql.so.4.8libasan.so libmkl_avx.so libQtSql.so.4.8.7
2、bioconda
bioconda提供了一个虚拟环境,方便软件的编译安装。
R包的安装
需要注意的也是依赖的软件或库文件的版本,同样的Anaconda提供的lib库也可以直接拿来用。