基于ps及pandas的服务器内存数据统计

• 采集数据
• 导入数据
• 处理数据
• 统计分析
• 可疑进程排查

采集数据

# 在待分析的服务器上执行命令

# 确定采集时间
# date
# 2023年 01月 17日 星期二 14:30:19 CST

# 通过ps命令及其命令行参数，将需要的数据输出为csv格式 
# ps -e -o %c, -o rss --sort=-rss > mems.csv

# 原数据be like：
! cat mems.csv | head -n 5

COMMAND        ,  RSS
qemu-system-x86,33823984
qemu-system-x86,16924120
qemu-system-x86,16866464
qemu-system-x86,8627980

导入数据

import pandas as pd

df = pd.read_csv("mems.csv",delimiter=",",)
# 索引从1开始
df.index=df.index+1
# header移除空格
df.columns = df.columns.map(lambda x: x.strip())
# 预览：一共1026个进程
df

处理数据

# 过滤0值，剩下324个进程
df = df[df.RSS>0]
# 这324个进程共占用了115G内存
df["RSS"].sum()/1024/1024

115.3391342163086

df

df = df.copy()
# 增加一列，将RSS单位改成MB
df["RSSMB"] = df.loc[:, ('RSS')].map(lambda x: x/1024)
# 增加GB列
df["RSSGB"] = df.loc[:, ('RSS')].map(lambda x: x/1024/1024)
df.describe()

# 增加一列，显示累计内存消耗量(GB)
df["RSS_GB_CUM"] = df["RSSGB"].cumsum()
df.describe()

统计分析

# 按内存用量倒排，前15个进程用了100GB内存，剩下的15G由其他几百个进程消耗
df.head(20)

# 统计进程数量，倒排
df["COMMAND"].value_counts().head(20)

httpd              67
containerd-shim    42
kolla_start        36
neutron-server     13
nova-api           11
heat-api-cfn        6
heat-api            6
neutron-metadat     6
glance-registry     6
heat-engine         6
nova-conductor      6
glance-api          6
qemu-system-x86     6
ceph-osd            6
bash                4
dnsmasq             4
sleep               4
sshd                3
haproxy             3
keepalived          3
Name: COMMAND, dtype: int64

pd.set_option('display.max_rows',None)
# 按进程名称分组统计内存用量
df.groupby("COMMAND")[["RSSMB", "RSSGB"]].sum().sort_values(by="RSSMB", ascending=False)

可疑进程排查

接下来就可以结合进程数量和进程消耗内存总量，逐个排查可疑进程