本文以CentOS系统为例，但同样适用于Linux的其他发行版。不需要纠结于具体的版本，了解设计意图即可。

本文随时更新。除勘误外，不另做批注。

概览

• 圆型节点代指目录，方型节点代指文件。
• 图中省去了很多不常用的目录与文件。
• 稍后单独讲/proc目录与/var目录。

Linux将整个文件系统看做一棵树，这棵树的树根叫做根文件系统，用”/“表示。

/usr目录的目录结构与根目录相似，但根目录中的文件多是系统级的文件，而/usr目录中是用户级的文件，一般与具体的系统无关。

重中之重

/proc目录

/proc目录挂载了一个虚拟文件系统，以虚拟文件的形式映射系统与进程在内存中的运行时信息。

系统信息

/proc下的直接子目录通常存储系统信息。猴子常用的只有两个：

/proc/version确定内核版本号和CPU架构（如i686）；/etc/centos-release确定发行版本号（其他发行版类似）。

uname -a与cat /proc/version的作用类似。

进程信息

重点是/proc/<pid>目录映射的进程信息。以rsyslogd进程为例：

补充几点：

• 通过ulimit来查看或修改当前进程的资源限制。
• 软限制可以由进程自己在任何时间修改；硬限制只能使用root权限修改。
• Linux上进程与线程的关系参考浅谈linux线程模型和线程切换。

/var目录

/var目录存放数据文件，如程序数据、日志等；但线上通常只将日志放在/var目录。

系统日志/var/log/messages

通过rsyslog记录系统级日志，配置文件为/etc/rsyslog.conf。重点看/var/log/messages的配置：

1
2
3

# Log anything (except mail) of level info or higher.
# Don't log private authentication messages!
*.info;mail.none;authpriv.none;cron.none                /var/log/messages

*.info表示所有服务大于等于info优先级的信息都会记录到/var/log/messages中；
mail.none表示不记录任何mail的信息到/var/log/messages中。

以上配置表示：除安全认证、邮件、定时任务外，输出到stdout、stderr的info及更高级别的日志记录在/var/log/messages中。

OOM kill

猴子利用/var/log/messages定位过一次OOM kill问题。

一个用户经常抱怨自己的app提到Yarn后，container各种exit 137然后重试。假设框架不会自己exit 137玩，那么通常137代表container是因为kill -9退出，于是mentor提示猴子可能因为OOM kill。要验证这个想法，必须找到“相关container被OOM kill的痕迹”。

Linux会监控内存使用情况，当内存不足的时候，OOM killer计算进程的优先级，杀死优先级最高的进程释放内存。而Yarn集群普遍会配置资源超发（Linux系统本身也存在内存超发），当集群资源紧张的时候，大container很容易被OOM kill。

OOM kill的三个步骤“发现内存不足”、“计算优先级”、“选择进程kill”，都会记录在/var/log/messages中，猴子确实在用户给定的时间点附近找到了对应container的OOM kill日志，内存也与container申请的资源相近。

得证。

判断过程中存在一些小问题：

• 猴子根据container被OOM kill的时间点和内存判断是否是目标进程，未严格确定。

个人使用时的建议

对于本文的理解，读者不必关心不同发行版本、内核版本之间的区别。

对，是存在区别的。如：CentOS 6.5可验证得本文即将讲解的目录结构；但CentOS 7.2中，/bin等所谓“系统级目录”都被软链到了/usr/bin等所谓“用户级目录”。其他发行版如Debian可能差别更大。

如果非要追究的话，一般建议将所有用户共享的软件安装到/usr/local目录（结构与/usr目录相似）下，将用户私有的软件安装到用户自己的家目录。

参考：

• Linux根目录下各子目录的作用
• 深入理解linux系统下proc文件系统内容

赏

make a better world for everyone

微信