捉虫笔记(二)之 杀软请你自重点

avatar
作者
筋斗云
阅读量:0

捉虫笔记(二)之 杀软请你自重点

前一篇文章介绍了如何配置符号,这一篇文章我们来个实战。

1 现象

在我们的程序中利用robocopy进行文件的复制。但是QA反馈,只要进行了备份操作,整个进程就会卡住。但是奇怪的是只有他的机器能发现。刚开始的时候我没有太重视这个问题。随着内部反馈的人多了,我开始对这个现象感兴趣了。

2 分析过程

2.1 初步猜测

首先我们是利用的python的脚本启动robocopy,下面是伪代码:

proc = subprocess.Popen("robocopy %s %s /E /MT:32 /XD .* /XF *.gmp *.zip" % (src, dst), shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) _, _ = proc.communicate() 

robocopy是windows自带的一个复制程序,我觉得可靠性应该是很高的。所以一开始我觉得出问题的肯定 是在我们的内部程序,我仔细检查了每个参数一无所获。

目标只能转移到robocopy本身,刚开始觉得卡住可能是因为需要复制的文件过多,导致线程卡住,但是执行了10分钟还是纹丝不动。我就意识到估计死锁或者等待某个事件。

但是需要证据,此时我让QA的同事立马生成robocopy的dump文件。

2.2 线程堆栈分析

拿到dump之后,立马使用WinDbg打开。

首先就执行了!runaway看看哪个线程跑的最欢。
在这里插入图片描述

发现0s和5s排在前面。0号线程其实是UI线程(windows中0号线程默认是UI线程),用时最长可以理解。但是仔细分析就发现5号线程其实还没有开始执行就已经卡住了。看来我们刚开始的猜测是有出入的。robocopy刚启动就被按住不动了。

即使卡住了,看看是不是有上锁了,执行!cs -l,查看发现就没有任何的锁。

在这里插入图片描述

再执行.exr -1看看是不是出现了什么异常。发现最近的异常还是断点异常。说明也没有异常。

在这里插入图片描述

思考片刻,决定还是看看每个线程的 堆栈情况如何。执行~*k,查看所有线程的堆栈,还好线程不多。

因为涉及到一些敏感信息,我把关键点使用softwareXXX来代替。

 # Child-SP          RetAddr               Call Site 00 00000092`21d3f088 00007ffb`ddfc1c4e     ntdll!NtWaitForSingleObject+0x14 01 00000092`21d3f090 00007ff7`4c9009fa     KERNELBASE!WaitForSingleObjectEx+0x8e 02 00000092`21d3f130 00007ff7`4c90296d     Robocopy!WaitMultiThreaded+0x50e 03 00000092`21d3f1b0 00007ff7`4c90f3ad     Robocopy!wmain+0x681 04 00000092`21d3f970 00007ffb`dec37344     Robocopy!__wmainCRTStartup+0x14d 05 00000092`21d3f9b0 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14 06 00000092`21d3f9e0 00000000`00000000     ntdll!RtlUserThreadStart+0x21 0:000> ~*k;  .  0  Id: 5bf8.4ee4 Suspend: 0 Teb: 00000092`21f62000 Unfrozen  # Child-SP          RetAddr               Call Site 00 00000092`21d3f088 00007ffb`ddfc1c4e     ntdll!NtWaitForSingleObject+0x14 01 00000092`21d3f090 00007ff7`4c9009fa     KERNELBASE!WaitForSingleObjectEx+0x8e 02 00000092`21d3f130 00007ff7`4c90296d     Robocopy!WaitMultiThreaded+0x50e 03 00000092`21d3f1b0 00007ff7`4c90f3ad     Robocopy!wmain+0x681 04 00000092`21d3f970 00007ffb`dec37344     Robocopy!__wmainCRTStartup+0x14d 05 00000092`21d3f9b0 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14 06 00000092`21d3f9e0 00000000`00000000     ntdll!RtlUserThreadStart+0x21     1  Id: 5bf8.4c68 Suspend: 0 Teb: 00000092`21f6a000 Unfrozen  # Child-SP          RetAddr               Call Site 00 00000092`2217fca8 00007ffb`ddfc1c4e     ntdll!NtWaitForSingleObject+0x14 01 00000092`2217fcb0 00007ffb`d9776e2b     KERNELBASE!WaitForSingleObjectEx+0x8e 02 00000092`2217fd50 00007ffb`dec37344     softwareXXX+0x76e2b 03 00000092`2217fd80 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14 04 00000092`2217fdb0 00000000`00000000     ntdll!RtlUserThreadStart+0x21     2  Id: 5bf8.5930 Suspend: 0 Teb: 00000092`21f6c000 Unfrozen  # Child-SP          RetAddr               Call Site 00 00000092`221ff478 00007ffb`ddffbea0     ntdll!NtWaitForMultipleObjects+0x14 01 00000092`221ff480 00007ffb`ddffbd9e     KERNELBASE!WaitForMultipleObjectsEx+0xf0 02 00000092`221ff770 00007ffb`d977a9c0     KERNELBASE!WaitForMultipleObjects+0xe 03 00000092`221ff7b0 00007ffb`dec37344     softwareXXX+0x7a9c0 04 00000092`221ff810 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14 05 00000092`221ff840 00000000`00000000     ntdll!RtlUserThreadStart+0x21     3  Id: 5bf8.5dbc Suspend: 0 Teb: 00000092`21f6e000 Unfrozen  # Child-SP          RetAddr               Call Site 00 00000092`2227f648 00007ffb`e051d407     ntdll!NtWaitForWorkViaWorkerFactory+0x14 01 00000092`2227f650 00007ffb`dec37344     ntdll!TppWorkerThread+0x2f7 02 00000092`2227f950 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14 03 00000092`2227f980 00000000`00000000     ntdll!RtlUserThreadStart+0x21     4  Id: 5bf8.7f4 Suspend: 0 Teb: 00000092`21f70000 Unfrozen  # Child-SP          RetAddr               Call Site 00 00000092`222ff7d8 00007ffb`e051d407     ntdll!NtWaitForWorkViaWorkerFactory+0x14 01 00000092`222ff7e0 00007ffb`dec37344     ntdll!TppWorkerThread+0x2f7 02 00000092`222ffae0 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14 03 00000092`222ffb10 00000000`00000000     ntdll!RtlUserThreadStart+0x21     5  Id: 5bf8.3694 Suspend: 0 Teb: 00000092`21f7a000 Unfrozen  # Child-SP          RetAddr               Call Site 00 00000092`224fd878 00007ffb`ddfc1c4e     ntdll!NtWaitForSingleObject+0x14 01 00000092`224fd880 00007ffb`d978abed     KERNELBASE!WaitForSingleObjectEx+0x8e 02 00000092`224fd920 00007ff7`4c90c25f     softwareXXX+0x8abed 03 00000092`224fe2a0 00007ff7`4c8ff78f     Robocopy!CZEnt::CopyData+0x467 04 00000092`224ff390 00007ff7`4c90014e     Robocopy!RoboCopy+0x18b 05 00000092`224ff400 00007ffb`e0533730     Robocopy!RoboCopyWorker+0x6e 06 00000092`224ff430 00007ffb`e051d79a     ntdll!TppWorkpExecuteCallback+0x130 07 00000092`224ff480 00007ffb`dec37344     ntdll!TppWorkerThread+0x68a 08 00000092`224ff780 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14 09 00000092`224ff7b0 00000000`00000000     ntdll!RtlUserThreadStart+0x21 

接下来就是仔细分析每个线程的堆栈情况了。可以看到0,1,2,以及5号线程都在等待某个内核对象。

3,4号线程就是windows内部的线程池,这里我们暂且不关注。

先分析0号线程,我们查了函数原型NtWaitForSingleObject,第一个参数就是需要等待的内核对象,第二个参数是否可中断,第三个参数超时时间。根据x64调用协议,前四个非浮点数且小于64位参数都是寄存器rcx,rdx,r8,r9中。

NTSTATUS NtWaitForSingleObject(   [in] HANDLE         Handle,   [in] BOOLEAN        Alertable,   [in] PLARGE_INTEGER Timeout ); 

我们试着找出这个参数,在WinDbg命令中执行r rcx,就是打印出rcx寄存器中的值。

找到这个值之后,我们需要验证这个值是不是内核对象。再执行!handle xxx f,此时就会打印出关于此内核对象的具体信息。
在这里插入图片描述

如法炮制,分析切换到1,2,5号线程。比如我们切换到1号线程:
在这里插入图片描述

这里需要说下2号线程调用的函数NtWaitForMultipleObjects,这个函数在微软的文档并未公布函数原型。但是我们可以到此线程的第二帧调用的函数KERNELBASE!WaitForMultipleObjectsEx,而这个函数原型是有的。

从名字可以大致猜出此函数应该是等待多个内核对象。第一个参数就是等待的个数,第二个就是类似数组里面保存了句柄,第三个和第四含义和之前是一样的。

DWORD WaitForMultipleObjects(   [in] DWORD        nCount,   [in] const HANDLE *lpHandles,   [in] BOOL         bWaitAll,   [in] DWORD        dwMilliseconds ); 

我们利用WinDbg来找下句柄值。
在这里插入图片描述

一共等待两个句柄值0x128, 0x130。我们在验证下找得对不对。看如下的截图发现我们找得没有错。
在这里插入图片描述

这里我把句柄做成表格进行对比。

线程句柄信息
00x194在这里插入图片描述
1x128在这里插入图片描述
20x128, 0x130在这里插入图片描述
50x738在这里插入图片描述

从表格中我们大致可以看到等待的句柄是Event类型,以及权限,当前Event的状态信息。

2.3 陷入僵局

从上面的表格分析,此时线程中并没有出现明显的相互等待的现象。此时有点穷途末路的感觉。

我在想是不是还有蛛丝马迹被我忽略了。

对,还有3,4号线程我并没有分析。我立马着手在msdn搜索函数原型,可惜这两个函数在msdn未公布任何信息。但是我还不死心继续Google上搜索关于这个函数的信息,从网络搜索的信息也是相当的少,都是一笔带过简单的连参数信息都没有提及。

我开始深入思考,到底还有什么信息被我遗漏了 。

坐着已经让我无法思考了,需要走两步清空下大脑。

转了一圈回来之后,发现还是需要从基础的堆栈分析,一个帧一个帧过滤下。从上面的堆栈中可以看到5号线程堆栈是最长的。我们再看下5号线程的堆栈信息。

0:000> ~5k;  # Child-SP          RetAddr               Call Site 00 00000092`224fd878 00007ffb`ddfc1c4e     ntdll!NtWaitForSingleObject+0x14 01 00000092`224fd880 00007ffb`d978abed     KERNELBASE!WaitForSingleObjectEx+0x8e 02 00000092`224fd920 00007ff7`4c90c25f     softwareXXX+0x8abed 03 00000092`224fe2a0 00007ff7`4c8ff78f     Robocopy!CZEnt::CopyData+0x467 04 00000092`224ff390 00007ff7`4c90014e     Robocopy!RoboCopy+0x18b 05 00000092`224ff400 00007ffb`e0533730     Robocopy!RoboCopyWorker+0x6e 06 00000092`224ff430 00007ffb`e051d79a     ntdll!TppWorkpExecuteCallback+0x130 07 00000092`224ff480 00007ffb`dec37344     ntdll!TppWorkerThread+0x68a 08 00000092`224ff780 00007ffb`e051cc91     kernel32!BaseThreadInitThunk+0x14 09 00000092`224ff7b0 00000000`00000000     ntdll!RtlUserThreadStart+0x21 

5号线程刚开始Robocopy!CZEnt::CopyData就被按住了。我们反汇编看下Robocopy!CZEnt::CopyData代码。

反汇编的函数大概有1m A4纸那么长,该怎么看呢。

我们可以直接从02帧那里看到返回值地址00007ff74c90c25f,这个返回值就是softwareXXX+0x8abed执行完后返回到Robocopy!CZEnt::CopyData

再从Robocopy!CZEnt::CopyData反汇编的函数搜索此地址。

搜索的结果如下:
在这里插入图片描述
结果发现了点异常,上面的一条语句好像不大对劲。反汇编这里的函数是Robocopy!_imp_CopyFile2,而实际堆栈里面显示的却另外一个模块的代码。

再看softwareXXX这个模块加上了一个相当大的偏移0x8abed,这是不同寻常的,很有可能找的符号不对。

而这个模块的代码在Robocopy中根本就没有。这是从哪里来的?相当的奇怪,突然感觉有点意思。

看下这个模块的信息,在命令中执行lmvm softwareXXX,发现了端倪,原来是个杀软,把这个dll注入了robocopy中,很有可能对函数进行了拦截,导致了这个函数一直无法返回。

0:000> lmvm softwareXXX Browse full module list start             end                 module name 00007ffb`d9700000 00007ffb`d9a93000   softwareXXX   (no symbols)                Loaded symbol image file: softwareXXX.dll     Image path: C:\Program Files\softwareXXX\softwareXXX.dll     Image name: softwareXXX.dll     Browse all global symbols  functions  data     Timestamp:        Tue Mar 26 22:56:55 2024 (6602E237)     CheckSum:         0038B6E1     ImageSize:        00393000     File version:     1.0.1.622     Product version:  1.0.1.622     File flags:       0 (Mask 3F)     File OS:          40004 NT Win32     File type:        2.0 Dll     File date:        00000000.00000000     Translations:     0804.04b0     Information from resource tables:         CompanyName:      https://www.softwareXXX.cn/         ProductName:      XDR         InternalName:     softwareXXX.dll         OriginalFilename: softwareXXX.dll         ProductVersion:   1.0.1.622         FileVersion:      1.0.1.622         FileDescription:  softwareXXX 应用程序监控模块         LegalCopyright:   Copyright (C) 2021 

再回过头看上面的堆栈信息,此dll对系统的其他的关键函数也进行了拦截处理。

2.4 验证问题

接下来就是找IT部门,让他们把robocopy加入白名单,再进行测试。经过协商之后,我们在进行测试问题就解决了。

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!