python大华网络摄像头 实时获取视频图像(SDK版本)

avatar
作者
筋斗云
阅读量:0

一、序:

dahua_url = "rtsp://用户名:密码@192.168.1.108/cam/realmonitor?channel=1&subtype=0?tcp" cap = cv2.VideoCapture(dahua_url) 

想用大华网络摄像头做目标检测,但是使用上述CV方法获取大华网络摄像头无法达到实时检测效果(延迟2秒左右),故想找其他办法解决这个问题。

困扰多日,想要实时检测,必须使用大华SDK进行二次开发,使用搜索大法,发现使用pyhon获取大华摄像头SDK的方法寥寥无几,今灵光乍现,解决该问题,故写此文,告诉给位道友。


二、下载大华SDK:

大华SDK下载 点击此处
1.选择 SDK 开发,选择设备SDK
在这里插入图片描述
2. 选择第2页, 找到python win64版本,点击下载
在这里插入图片描述
3. 解压文件,点进入,找到dist 点击去
在这里插入图片描述
4. 在 NetSDK 封装库.whl 文件存放目录下打开命令终端,运行以下命令安装插件。(放入项目虚拟环境)
pip install NetSDK-2.0.0.1-py3-none-win_amd64.whl

至此,安装完毕!
在这里插入图片描述

三、大华SDK二次开发:

1.在刚刚解压的SDK文件中,点击Demo文件,选择RealPlayDemo项目,使用Pycharm打开该项目在这里插入图片描述
2.SDK手册在Doc文件中,大家可以看看RealPlayDemo项目的一些官方讲解,我这里只讲重点,具体可以看看官方手册(关键是它也不具体)。
(1). 项目环境:主要是PyQt5 和 SDK环境,然后就是目标检测的环境(我用的YOLOv8),都下好测试一下。
(2). 配置好项目环境后,先检测项目能不能直接运行,点击run,能成功显示UI,证明环境配置好了
在这里插入图片描述
(3). 修改IP , 端口,用户名,密码(这部分可以在代码中改,后续就不需要填了)。端口我是用的是代码默认的37777,可以运行。然后点击登录、再点击预览,出现此画面后,说明摄像头配置成功了,至此马上开始开发SDK。
在这里插入图片描述
3. 二次开发SDK
先说一下运行流程:SDK进行实时监控是使用的回调函数(拉流回调),然后绑定UI窗口句柄id,摄像头每收到1帧图画,回调函数就会运行一次,画面就会显示到UI窗口上,我们现在想要做的就是,如何截取摄像头接受的1帧图画,将其转换为RGB格式,然后进行目标检测,最后矩形框显示到播放窗口中。

但是现在出现一个问题,传入到窗口句柄id的数据是码流数据,没有解码,我们不太好直接使用该数据,其中的数据还是以地址的方式传送,python 不太好操作地址(用ctypes标准库是可以的),我们得找一下SDK现成解码方法。

刚好在拉流回调函数得下面就找到了解码回调函数,该函数也是1帧图像被自动调用1次。我们就从此处切入,从文档和注释可以知道该解码函数得到的是一个YUV420格式数据,那么我们就是将YUV420转化为RGB格式即可。
在这里插入图片描述
上面图片中的data就是YUV420数据,我们先打印看一下

data = cast(pBuf, POINTER(c_ubyte * nSize)).contents print("data: ",data) 结果:data:  <__main__.c_ubyte_Array_3110400 object at 0x0000018187A855C0> 

data是c_ubyte格式数组的地址,道友无须担心,然我们一起揭开该妖孽的真面目。

先将data 数据转化为我们熟悉的array数组,打印看一下

# 使用 numpy.frombuffer 将 c_ubyte_Array 对象转换为 numpy 数组 numpy_array = np.frombuffer(data, dtype=np.uint8) print(numpy_array) print(len(numpy_array)) 结果: [195 195 195 ... 123 123 123] 3110400 

YUV格式图像的高是RGB的1.5倍(这里需要补YUV图像格式的基础,此处不展开讲,你需要知道要这么做),我们先把numpy_array转化为2维数组(2维数组是YUV标准格式,后续方便调用cv2函数),info是回调函数中给的一个变量,直接用就行,可以获取图像高宽,代码如下:

yuv = numpy_array.reshape(int(info.nHeight * 1.5), info.nWidth) 

后面调用cv2转换函数,大功告成!

rgb = cv2.cvtColor(yuv,cv2.COLOR_YUV2BGR_I420) print(rgb.shape) cv2.imshow('RGB Image', rgb) cv2.waitKey(1) 结果: (1080, 1920, 3) 

最后我们运行函数看一下效果:
在这里插入图片描述
两个画面都成功显示,我们拿到了RGB图片,后续就可以方便的进行目标检测操作,后续内容我就不细讲了,SDK使用告一段落。

四、尾声:

完整代码(只需要修改Demo中的解码回调函数即可):

# PLAYSDK解码回调函数功能 def DecodingCallBack(self, nPort, pBuf, nSize, pFrameInfo, pUserData, nReserved2):     # here get YUV data, pBuf is YUV data IYUV/YUV420 ,size is nSize, pFrameInfo is frame info with height, width.     # 对于planar 的YUV格式,先连续存储所有相速度的Y,紧接着存储所有像素点的U,随后是V     # 对于packed 的YUV格式,每个像素点的Y,U,V是连续交叉存储的     # uv 的排列格式分为p、sp ,错误会导致颜色不对     data = cast(pBuf, POINTER(c_ubyte * nSize)).contents     # print(data)     info = pFrameInfo.contents     # info.nType == 3 is YUV data,others ard audio data.     # you can parse YUV420 data to RGB     if info.nType == 3:         # # 使用 numpy.frombuffer 将 c_ubyte_Array 对象转换为 numpy 数组         numpy_array = np.frombuffer(data, dtype=np.uint8)                yuv = numpy_array.reshape(int(info.nHeight * 1.5), info.nWidth)          rgb = cv2.cvtColor(yuv,cv2.COLOR_YUV2BGR_I420)          # # 如果需要显示图像,可以使用以下代码         cv2.imshow('RGB Image', rgb)         cv2.waitKey(1) 

转载请标明出处,文章有问题请留言,我看到会修改,中途出现问题也可以留言,我有时间就会解答。如果比较着急,可以+我微信,咨询费1杯奶茶的价格,备注:大华SDK。
在这里插入图片描述

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!