Linux中获取某个进程的系统调用以及参数(故障排查案例)

 更新时间:2014年06月11日 09:36:37   作者:  
这篇文章主要介绍了Linux中获取某个进程的系统调用以及参数的方法,总结自一个故障排查案例,需要的朋友可以参考下

当一个程序发生故障时,有时候想通过了解该进程正在执行的系统调用来排查问题。通常可以用 strace 来跟踪。但是当进程已经处于 D 状态(uninterruptible sleep)时,strace 也帮不上忙。这时候可以通过

复制代码 代码如下:
cat /proc/<PID>/syscall

来获取当前的系统调用以及参数。


这里用最近排查的一个问题为例。碰到的问题是,发现一台服务器在执行 pvcreate 创建物理卷的时候卡死,进程状态为 D

复制代码 代码如下:

# ps aux|grep pvcreate
root      8443  0.0  0.0  27096  2152 ?        D    Apr04   0:00 pvcreate /dev/sddlmac
...


D 状态实际是在等待系统调用返回。那么来看看究竟在等待什么系统调用

复制代码 代码如下:

B0313010:~ # cat /proc/8443/syscall
0 0x7 0x70f000 0x1000 0x0 0x7f33e1532e80 0x7f33e1532ed8 0x7fff3a6b8718 0x7f33e128cf00

第一个数字是系统调用号,后面是参数。不同的系统调用所需的参数个数不同。这里的字段数是按最大参数数量来的,所以不一定每个参数字段都有价值。那么怎么知道系统调用号对应哪个系统调用呢?在头文件 /usr/include/asm/unistd_64.h 中都有定义。也可以用个小脚本来快速查找:

复制代码 代码如下:

#!/bin/bash
# usage: whichsyscall <syscall_nr>
nr="$1"
file="/usr/include/asm/unistd_64.h"
gawk '$1=="#define" && $3=="'$nr'" {sub("^__NR_","",$2);print $2}' "$file"


对于不同的系统调用的参数,可以通过 man 2 <系统调用名> 查阅。如 man 2 read。对刚才那个例子来说,0 就对应了 read 调用。而 read 调用的第一个参数是文件描述符。

之后用 lsof 找到 7 对应的是什么文件

复制代码 代码如下:

#  lsof -p 8443
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF     NODE NAME
......
pvcreate 8443 root    5u   CHR 10,236      0t0    19499 /dev/mapper/control
pvcreate 8443 root    6u   BLK  253,1   0t8192 36340797 /dev/dm-1
pvcreate 8443 root    7u   BLK  253,5      0t0 35667968 /dev/dm-5

结果发现是个 device mapper 的设备文件。最后顺藤摸瓜,发现这个文件是 multipathd 创建的。而系统应当使用的是存储厂商提供的多路径软件。问题是由于同时开启了 multipathd 造成冲突导致的。

/proc/<PID>/syscall 对排查 D 状态进程很有用。不过在 2.6.18 内核上并不支持,具体从哪个内核版本开始有这个功能,还没查到。不过至少从在 2.6.32 以上版本都是支持的。

相关文章

  • Shell编程中的特殊变量之位置变量介绍

    Shell编程中的特殊变量之位置变量介绍

    这篇文章主要介绍了Shell编程中的特殊变量之位置变量介绍,本文讲解了$0、$n、$*、$#这4个特殊变量,需要的朋友可以参考下
    2014-12-12
  • 如何调试Linux shell脚本

    如何调试Linux shell脚本

    最简单的调试命令当然是使用echo命令。您可以使用echo在任何怀疑出错的地方打印任何变量值。这也是绝大多数的shell程序员要花费80%的时间来调试程序的原因。Shell程序的好处在于不需要重新编译,插入一个echo命令也不需要多少时间
    2013-06-06
  • Obsidian斜杠命令用法详解

    Obsidian斜杠命令用法详解

    这篇文章主要介绍了终于定制出顺手的Obsidian斜杠命令,利用斜杠命令 + 命令面板置顶 + Quick Add插入内容 + Quick Add别名命令,就可以根据自己习惯,实现定制化的斜杠命令,需要的朋友可以参考下
    2022-12-12
  • Shell编程中的特殊变量之进程状态变量介绍

    Shell编程中的特殊变量之进程状态变量介绍

    这篇文章主要介绍了Shell编程中的特殊变量之进程状态变量介绍,本文讲解了$$、$!、$?、$@、$_这些特殊变量,需要的朋友可以参考下
    2014-12-12
  • linux rsync安装 配置 实例详解

    linux rsync安装 配置 实例详解

    这篇文章主要介绍了linux rsync安装 配置 实例详解,需要的朋友可以参考下
    2015-11-11
  • linux find命令之exec简单概述

    linux find命令之exec简单概述

    这篇文章主要为大家详细介绍了linux find命令之exec的简单使用,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-02-02
  • shell查找当前目录下大于1M的文件的三种方法分享

    shell查找当前目录下大于1M的文件的三种方法分享

    查找当前目录下大于1M的文件的三种方法,有需要的朋友可以参考下
    2013-02-02
  • shell脚本如何获取第几行 第几列的命令 awk sed

    shell脚本如何获取第几行 第几列的命令 awk sed

    这篇文章主要介绍了shell脚本如何获取第几行 第几列的命令 awk sed,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
    2023-11-11
  • Linux输出内容到指定文件的解决方案

    Linux输出内容到指定文件的解决方案

    这篇文章主要介绍了Linux输出内容到指定文件的解决方案,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-07-07
  • Linux用户配置sudo权限(visudo)的方法

    Linux用户配置sudo权限(visudo)的方法

    下面小编就为大家带来一篇Linux用户配置sudo权限(visudo)的方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-02-02

最新评论