进一步理解Linux文件系统日志分析

时间： 2024-11-10 admin IT培训

进一步理解Linux文件系统日志分析推荐度：
相关推荐

进一步理解Linux文件系统日志分析

一、inode与block概念
- ①block简介
- ②inode简介
二、inode号
- ①inode号的基本概念
- ②inode号作用
- - 1）inode号查询
  - 2）inode的特殊作用
  - 3）通过inode号删除文件
三、模拟inode节点耗尽故障处理
- ①节点耗尽故障和解决办法
- ②示例图解
四、恢复误删的文件（ext格式）
- ①实验步骤
- ②详细过程
五、xfs 类型文件备份和恢复
- ①xfsdump 命令以及使用限制
- ②实验步骤
- ③详细过程
六、系统日志
- ①日志文件
- - 1）日志的功能
  - 2）日志文件的分类
  - 3 ）默认保存位置
- ②日志文件分析
- - 1 ）内核及系统日志
  - 2）日志消息优先级
  - 3 ）查看rsyslog.conf配置文件
  - 4 ）日志的格式
  - 5 ）用户日志
  - 6）程序日志
  - 7）常见日志总汇
- ③日志管理

一、inode与block概念

注：文件数据包括元信息与实际数据，一个文件必须占有一个inode，但至少占用一个block

①block简介

文件和扇区
“扇区”是硬盘最小存储单位，每个扇区存储512字节
块（block）
连续的八个扇区组成一个bolck（4K）
是文件存取的最小单位
文件数据
文件数据包括实际数据与元信息（比如文件的创建者、创建日期、文件大小、文件权限等）
文件数据存储在“块”中，而存储文件元信息的区域叫inode

②inode简介

inode（索引节点）
一个文件必须占用一个 inode，并且至少占用一个 block。
inode不包含文件名。文件名是存放在目录当中的。Linux 系统中一切皆文件，因此目录也是一种文件。
每个inode都有一个号码，操作系统用inode号码来识别不同的文件。
Linux系统内部不使用文件名，而使用inode号码来识别文件。
对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是一一对应关系，每个inode号码对应一个文件名。
系统中用户访问文件的步骤
第一步：用户在Linux系统中访问一个文件
第二步：系统根据文件名查找对应的inode号码
第三步：通过inode号码，获取inode信息
第四步：根据inode信息，看该用户是否具有访问这个文件的权限；如果有，就指向相对应的数据block，并读取数据。

二、inode号

三个主要时间属性
ctime(change time)——最后一次改变文件或目录(属性)的时间。
atime(access time)——最后一次访问文件或目录的时间。
mtime(modify time)——最后一次修改文件或目录(内容)的时间。

①inode号的基本概念

1.1 inode也会消耗硬盘空间

每个inode的大小
一般是128字节或256字节

1.2 格式化文件系统时确定inode的总数
1.3 使用df -i命令可以查看每个硬盘分区的inode总数和已经使用的数量

②inode号作用

1）inode号查询

方法一：

ls -i 文件名  #查普通文件

方法二：（这个方法更优秀）

stat 文件名       #查普通文件和目录

2）inode的特殊作用

由于 inode 号码与文件名分离，导致Linux 系统具备以下几种特有的现象：

文件名包含特殊字符，可能无法正常删除。这时直接删除 inode，能够起到删除文件的作用；
移动文件或重命名文件，只是改变文件名，不影响 inode 号码；
打开一个文件以后，系统就以 inode 号码来识别这个文件，不再考虑文件名;
文件数据被修改保存后，会生成一个新的 inode 号码。

3）通过inode号删除文件

find ./ -inum inode号 -exec rm -i {} \;
find ./ -inum inode号 -delete

三、模拟inode节点耗尽故障处理

①节点耗尽故障和解决办法

节点耗尽故障时什么原因呢？

就是有些傻吊破文件缓存进去，占据了一些内存，日积月累，文件越来越多，但是相应的内存还剩下很多，但是一个文件里inode号总共就那么几个，用光了就没了，浪费了磁盘空间，此时就需要我们把那么没用的缓存的垃圾文件给清理掉。

fdisk /dev/sdb               #管理磁盘
mkfs.xfs /dev/sdb1           #格式化磁盘
mkdir /sdb1                  #创建/目录下sdb1目录，用于挂载
mount /dev/sdb1 /sdb1        #挂载
df -i                        #查询可用inode号
模拟inode节点耗尽 
for （（i=1;i<=7700;i++））;do touch /sdb1$i;done;

②示例图解

前面需要我们从新创建一块磁盘，此处的步骤省略不做了。具体磁盘挂载见这篇文章：=1001.2014.3001.5501
进行挂载之前需先确定文件系统类型，进行格式化，格式华为ext3

mkfs.ext3 /dev/sdb1

查看挂载表，确认文件系统类型更改成功

df -Th

查看inode号

df -i

使用for循环创建文件，超出inode号范围是否会无法创建

for ((i=1;i<=7700;i++));do touch /sdb1/file$i;done;

经过查看挂载表，发现已用容量仅561k，却无法再创建文件

df -h

若想再创建文件，需将内部文件删除，解除inode占用即可

四、恢复误删的文件（ext格式）

extundelete 是一个开源的 Linux 数据恢复工具，支持 ext3、ext4文件系统。（ext4只能在centos6版本恢复）

①实验步骤

使用fdisk创建分区/dev/sdb1，格式化ext3文件系统

fdisk /dev/sdb
mkfs.ext3 /dev/sdb1
mkdir /sdb1
mount /dev/sdb1 /sdb1yum -y install e2fsprogs-devel e2fsprogs-libs             #安装依赖包cd /sdb1
拖入压缩包
tar jxvf extundelete-0.2.4.tar.bz2                        #进行解压缩
cd extundelete-0.2.4/
./configure --prefix=/usr/local/extundelete && make && make install
ln -s /usr/local/extundelete/bin/* /usr/bin/

模拟删除并执行恢复操作

cd /sdb1
echo a>a
echo a>b
echo a>c
echo a>d
ls

查看文件系统/dev/sdb2下存在哪些文件，i 节点是从 2 开始的，2 代表该文件系统最开始的目录。

extundelete /dev/sdb1 --inode 2			
rm -rf a b
cd ~
umount /sdb2
extundelete /dev/sdb2 --restore-all		恢复/dev/sdb2文件系统下的所有内容在当前目录下会出现一个RECOVERED_FILES/目录，里面保存了已经恢复的文件
ls RECOVERED_FILES

②详细过程

管理磁盘sdb，创建分区1，将剩余大小全部分配给分区1

fdisk /dev/sdb 
n->p->回车->回车->回车->w
mkfs.ext3 /dev/sdb2
mkdir /sdb2
mount /dev/sdb2 /sdb2

安装相关依赖包

yum -y install e2fsprogs-devel e2fsprogs-libs

下载压缩包，下载好后将压缩包拖入Xshell中，在哪个目录下执行的，压缩包就在哪个目录下

rz -E

将压缩包复制到/sdb2中并切换到/sdb2进行解压缩，再切换进入extundelete目录中将configure进行编译安装

cp extundelete-0.2.4.tar.bz2 /sdb2
cd /sdb2
tar -jxvf extundelete-0.2.4.tar.bz2 
cd extundelete-0.2.4/
./configure --prefix=/usr/local/extundelete && make && make install

创建软链接，在/sdb2中创建文件写入内容，并查询inode号
(使用extundelete工具查看目录中内容的inode号)

ln -s /usr/local/extundelete/bin/* /usr/bin
echo a>a
echo a>b
echo a>c
echo a>d

模拟删除，并使用工具恢复内容，恢复之前需解挂载，恢复的是磁盘内的内容

五、xfs 类型文件备份和恢复

CentOS 7 系统默认采用 xfs类型的文件，xfs 类型的文件可使用 xfsdump 与 xfsrestore 工具进行备份恢复。

①xfsdump 命令以及使用限制

xfsdump命令

xfsdump 【常用选项】

常用选项：
-f 指定备份文件目录
-L 指定标签 session label
-M 指定设备标签 media label
-s 备份单个文件，-s 后面不能直接跟路径

使用限制

只能备份已挂载的文件系统
必须使用root的权限才能操作
只能备份XFS文件系统
备份后的数据只能让xfsrestore解析
不能备份两个具有相同UUID的文件系统（可用 blkid命令查看）

②实验步骤

使用fdisk创建分区/dev/sdb1，格式化xfs文件系统

fdisk /dev/sdb
partprobe /dev/sdb
mkfs.xfs  /dev/sdb1
mkdir /sdb1
mount /dev/sdb1 /sdb1
cd /sdb1
cp /etc/passwd ./
mkdir test
touch test/a

使用 xfsdump 命令备份整个分区

yum install -y xfsdump
xfsdump -f /opt/dump_sdb1 /dev/sdb1 -L dump_sdb1 -M sdb1

模拟数据丢失并使用 xfsrestore 命令恢复文件

cd /sdb1
rm -rf ./*
xfsrestore -f /opt/dump_sdb1 /sdb1

③详细过程

进行格式化，创建挂载点，磁盘挂载，进入挂载点，复制或创建一下目录文件用于实验。

检查安装xfsdump工具，一般系统默认安装，若是没有，使用rpm -qa | grep “xfsdump”，再使用yum -y install 进行安装

接下来，进行备份，删除，恢复，使用tree看。

六、系统日志

①日志文件

1）日志的功能

用于记录系统、程序运行中发生的各种事件
通过阅读日志，有助于诊断和解决系统故障

2）日志文件的分类

内核及系统日志
由系统服务 rsyslog 统一进行管理，日志格式基本相似
主配置文件 /etc/rsyslog.conf
用户日志
记录系统用户登录及退出系统的相关信息
主配置文件/var/log/secure
程序日志
由各种应用程序独立管理的日志文件，记录格式不统一

3 ）默认保存位置

/var/log

②日志文件分析

1 ）内核及系统日志

由系统服务 rsyslog 统一进行管理

软件包：rsyslog-7.4.7-16.el7.x86_64、
主要程序：/sbin/rsyslogd
配置文件：/etc/rsyslog.cont

2）日志消息优先级

Linux系统内核日志消息的优先级别 （数字等级越小，优先级越高，消息越重要）

级号	优先级级别	说明
0	EMERG（紧急）	会导致主机系统不可用的情况。
1	ALERT（警告）	必须马上采取措施解决的问题。
2	CRIT（严重	比较严重的情况。
3	ERR（错误）	运行出现错误。
4	WARNING（提醒）	可能影响系统功能，需要提醒用户的重要事件。
5	NOTICE（注意）	不会影响正常功能，但是需要注意的事件。
6	INFO（信息）	一般信息。
7	DEBUG（调试）	程序或系统调试信息等。

3 ）查看rsyslog.conf配置文件

vim /etc/rsyslog.conf		#查看rsyslog.conf配置文件
*.info;mail.none;authpriv.none;cron.none         /var/log/messages*.info		#表示info等级及以上的所有等级的信息都写到对应的日志文件里
mail.none	#表示某事件的信息不写到日志文件里（这里比如是邮件）

4 ）日志的格式

#公共日志/var/log/messages 文件的记录格式
时间标签：消息发出的日期和时间。
主机名：生成消息的计算机的名称。
子系统名称：发出消息的应用程序的名称。
消息：消息的具体内容。

5 ）用户日志

（1）记录系统用户登录及退出系统的相关信息

/var/log/secure：记录用户认证相关的安全事件信息。
/var/log/lastlog：记录每个用户最近的登录事件。二进制格式
/var/log/wtmp：记录每个用户登录、注销及系统启动和停机事件。二进制格式
/var/run/btmp：记录失败的、错误的登录尝试及验证事件。二进制格式

（2）分析工具

users、 who、w 、last、lastb
last命令用于查询成功登录到系统的用户记录
lastb命令用于查询登录失败的用户记录

6）程序日志

（1）由各种应用程序独立管理的日志文件，记录格式不统一

1、 Web服务：Nar/log/httpd/

access_log //记录客户访问事件
error_log//记录错误事件

2、代理服务：/var/log/squid/

access.log、cache.log

（2）分析工具

文本查看、grep过滤检索、Webmin管理套件中查看
awk、sed等文本过滤、格式化编辑工具
Webalizer、Awstats等专用日志分析工具

7）常见日志总汇

（1）内核及公共消息日志：
/var/log/messages：记录Linux内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息。

（2）计划任务日志：
/var/log/cron：记录crond计划任务产生的事件信息。

（3）系统引导日志：
/var/log/dmesg：记录Linux系统在引导过程中的各种事件信息。

（4）邮件系统日志：
/var/log/maillog：记录进入或发出系统的电子邮件活动。

（5）用户登录日志：
/var/log/secure：记录用户认证相关的安全事件信息。
/var/log/lastlog：记录每个用户最近的登录事件。二进制格式
/var/log/wtmp：记录每个用户登录、注销及系统启动和停机事件。二进制格式
/var/run/btmp：记录失败的、错误的登录尝试及验证事件。二进制格式

③日志管理

（1）及时作好备份和归档

（2）延长日志保存期限

（3）控制日志访问权限

日志中可能会包含各类敏感信息，如账户、口令等

（4）集中管理日志

将服务器的日志文件发到统一的日志文件服务器
便于日志信息的统一收集、整理和分析
杜绝日志信息的意外丢失、恶意篡改或删除

进一步理解Linux文件系统日志分析