阅读量:0
目录
✨基于YOLOv8🚀的多端车流检测系统-MTAS (Multi-Platform Traffic Analysis System)
1、客户端 （pyside6+yolov8+pytorch）
2、网页端（Vue3+Typestript+Python3+MySQL）
第三步 运行项目（如果不需要（开启网页端） 或 （对接RTSP））
✨基于YOLOv8🚀的多端车流检测系统-MTAS (Multi-Platform Traffic Analysis System)
一、基本功能介绍
👉系统可大体分为两大模块（客户端、网页端）
👉演示视频：
1、客户端 （pyside6+yolov8+pytorch）
可接受
多方视频数据流进行车流分析（调用RTSP摄像头、本地摄像头、上传本地视频）可对车辆进行
单目追踪🚖可
动态调节检测参数（交互比、置信度、延时、报警阈值）检测的视频和数据可
保存在本地2、网页端（Vue3+Typestript+Python3+MySQL）
多模式分析（用户上传+摄像头拍摄）
数据保存在数据库中（用户数据+检测数据）
可查看触发的警报记录🔔
响应式
3、创新点（毕设需要）
结合了客户端+网页端（可多端操作）
可动态调整检测参数（交互比、置信度、延时、报警阈值）
可检测出是否超出车流阈值（可对接报警模块）
检测可通过多种方式进行（视频流 / 照片）
系统等数据可进行保存（本地文件 / 数据库）
可视化车流（光流绘制）显示、可进行单目追踪、多目标跟踪（使用集成在yolov8中的bytetrack）
车流量可数据可视化（动态显示车流量）
4、项目包（前端-游客端）
MTAS-guest.zip - 蓝奏云文件大小：8.2 M|
https://wwwf.lanzout.com/iyzac14rlzed
5、项目包（前端-管理端）
MTSP-admin.zip - 蓝奏云文件大小：8.1 M|
6、项目包（客户端+后端）
MTSP-main.zip - 蓝奏云文件大小：16.9 M|
二、客户端环境配置⚒️
第一步 配置python环境🚀
下载python（版本：python>=3.8）(建议使用访问Anaconda官网配置虚拟环境，具体步骤如下)
1）访问Anaconda官网：Free Download | Anaconda
2）选择相应的操作系统版本并下载对应的安装包（推荐下载64位版本）
3）打开下载的安装包，按照提示进行安装即可
4）创建一个虚拟环境：
conda create --name 自命名 python=3.9.16
第二步 下载库🚀
注意：下载库前，如果想要更好的帧数体验请安装cuda版本哦
(因为一般默认会安装cpu的版本)
pip换源：
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple切换到项目文件夹下，下载依赖：
pip install -r requirements.txt我自己使用的环境：
python3.9+CPU
第三步 运行项目（如果不需要（开启网页端） 或 （对接RTSP））
可直接运行项目：python main.py
🚀如果需要使用RTSP：
推荐手机安装app——
IP摄像头
如果要用电脑进行推流，可以采用zlm🚀如果需要使用网页端：
可参考下面的配置说明
注意
环境配置好后，如果无法正常启动，请用debug开启
ps:具体原因，俺也不知道为什么，有大佬知道的，可以留个言（感谢）
网页端（为响应式的），需要修改方面说明之类的，后面再说吧~
🚀配置后端（如果你需要使用网页端的话）：
1、导入数据表
2、修改配置文件
3、启动后端
python app.py
🔔 注意：配置文件都在config文件夹下啦
config.txt里面的注释是config.json的（因为json文件不能写注释）
这里也算是踩坑点，下次使用env或者yaml作为项目的配置文件格式！
- config.json：
{ "iou": 0.35, // 交互比 "conf": 0.59, // 置信度 "rate": 0.01, // 延时 "save_res": true, // 是否保存 结果 "save_txt": true, // 是否保存 标签 "save_res_path": "pre_result", // 保存路径 "save_txt_path": "pre_labels", // 保存路径 "models_path": "models", // 模型存放路径 "open_fold": "D:/", // 打开文件夹路径 "show_trace": false, // 是否显示轨迹 "show_labels": true, // 是否显示标签 "rtsp_ip": "rtsp://127.0.0.1:554/live/test", // RTSP路径 "car_id": "1", // 追踪 id "car_threshold": 8 // 车辆阈值 }
- endback.env：
#---------------------------------------------------服务器配置 HOST_NAME=127.0.0.1 # 主机名 PORT=5500 # HTTP服务端口 TOLERANT_TIME_ERROR=60 # 调用接口时附带的时间戳参数与服务器时间之间的最大允许误差（单位：s） BEFORE_IMG_PATH=before_img # 图片存储命名 ※※※ AFTER_IMG_PATH=after_img #---------------------------------------------------数据库配置 MYSQL_HOST=127.0.0.1 # SQL主机 MYSQL_PORT=3306 # 连接端口 MYSQL_user=root # 用户名 MYSQL_password=123456 # 密码 MYSQL_db=yolo # 数据库名 MYSQL_charset=utf8 # utf8
三、配置前端环境（使用网页端）⚒️
🚀第一步 配置npm与下载依赖
下载node.js（我使用的是v16.16.0版本的）
注意：如果后面前端无法正常发出请求，那么可能是版本问题，可以尝试换成和我一样的版本，尤其是v18.0.0以上node，容易出现这种问题
npm换源：
npm config set registry https://registry.npm.taobao.org切换到项目文件夹下，下载依赖：
npm install🚀第二步 运行前端
npm run dev
🔔 注意：两个前端都是这样启动的哟~
四、使用开源项目+自定义功能借鉴📚+关于项目的问题
1、开源项目
💎客户端：https://github.com/CatfishW/MOT & https://github.com/Jai-wei/YOLOv8-PySide6-GUI
💎前后端：https://github.com/Dovahkiin-Ming/Personnel-Flow-Monitoring-System-based-on-YoloV5
💎 摄像头视频流直接在浏览器播放：实现浏览器播放HLS和HTTP-FLV视频流，并实现摄像头视频流直接在浏览器播放_哔哩哔哩_bilibili
💎开源视频行为分析系统，系统实现了实时分析视频流，实时产生报警视频，实时推流：开源视频行为分析系统，系统实现了实时分析视频流，实时产生报警视频，实时推流_哔哩哔哩_bilibili
💎前端：风神的博客（链接未找到）
2、自定义功能借鉴
👍动态车流量图美化：4个Python库来美化你的Matplotlib图表！ - 知乎
👍网页端摄像头拍照：VUE实现调用摄像头和拍照功能_vue.js_南京李市民先生-华为云开发者联盟
👍网页端拉取多个视频流：（http-mp4，http-flv等，这种基于http传输，最多只支持6个；本项目采用ws-mp4，即可实现多个分屏）
ps：链接写的不全，总之，衷心感谢大佬们的开源🌹🌹🌹
3、项目问题（必看）🌟🌟🌟
关于配置：
- 配置环境中，有一个lap，在pip安装时，需要下载一个东西，根据报错提示中的链接，去下载就好了：【python】安装模块lap出错： error: Microsoft Visual C++ 14.0 or greater is required._lap库安装失败-CSDN博客
- 如果你预测失败，多半是yolo版本问题，需要你自己根据报错修改一下，还有关于其他库，就是opencv版本（或者其他库，比如sv等）不一样，根据报错的库名，卸载重新安装对应版本
- 此项目的main_window的ui文件是没有的，用猫鱼老哥的开源改的，他当时就没有用ui文件。直接手写了，然后我也只好手写ui了。
关于训练模型+预测：（如何训练模型——我之前写过一篇文章，可以翻翻前面的看看）
- 如果训练版本使用的是和预测版本一样的话，就可以直接用
- 要用自己训练的那个yolo版本的话，那么预测项目里面yolo版本就换为你训练的那个版本（不过可能有api改了，但是一般改动不大，自行根据报错修改就好了）
关于使用CUDA
- cuda版本的pytorch，需要自己根据项目的注释和报错修改就好了
- 因为使用了CUDA，他预测返回的数据格式和之前的不一样，建议自行打印出来，根据数据找到自己需要数据，就可以啦~
附页：小白（小丑）开发历程【从入坑到放弃】
第一阶段（初始阶段）
1、最先开始，我去修改好了大佬的开源项目（客户端），其实就差不多
2、然后看见了网上有个好兄弟开源了网页版的，我就想再加一个网页端（花了1天差不多实现了）借鉴大佬们的开源
3、其实这样，差不多也可以混一个毕设了（滑稽.jpg）
- 客户端是：Python+PySide+yolov8
- 网页端的前端是：vue3+TS
- 后端是：Python+Flask
第二阶段（思路摸索）
2.1、又在b站上看见了一个大佬搞的网页端的识别网站，并且也开源了，还可以从网页端拉流播放等等，俺大受启发（心里就一直构思实现方案）
然后写了如下思路：
- 工作人员通过前端配置rtps来进行拉流，展示到前端
- 他可以选择开启服务，或者关闭服务，如果开启服务，就发送请求给服务器，让后端拉流，进行处理，并且把结果返还给前端（但是这个有延时，俺目前想法是，用前端轮寻，或者长轮训，或websocket，但是俺觉得轮训简单，其他的没有搞过，轮训只需要给请求设置一个定时器就好了，这里想请教大佬，用什么比较好）
- 开启之后，工作人员就可以来监视面板中看见所有设置的画面，每个画面下面配上对应的信息（服务器定时返回的信息）【类似多种卡片在一个屏幕的效果】
- 大致页面有二个——①配置页面（可以配置视频+是否开启检测）——②监视面板（每个卡片里面有对应信息，点击则跳出弹窗，可调整对应的信息，比如：预测关闭与开启，删除，停止拉流等）
第三阶段（动力满满的开始）
- 反正，就是不去搞搞的话，手就十分的痒
- 于是就火急火燎的开始找相关的开源项目，着急想去实现心里所想的功能（那个时候，后端就想的是继续沿用Python的Flask）
- 虽然我对音视频方面的开发一窍不通，但是有大佬已经跑通的示例，我也没有太多担心的
- 反正有抱着学习的心态，觉得搞不懂了，再去请教大佬，然后看视频学习，也可以继续搞，所以那个时候动力满满！
第四阶段（找前端项目）
- 对我来说，首先要去实现前端的拉流，然而我也没有搞过什么前端，所以前端是个重任
- 虽然，之前我已经改好了一个前端，对接好了Flask，可以进行简单的图片识别，但是本着学习和提升的心态，想找几个好的前端项目，学习学习
- 第一想法就是把若依vue3的后端管理系统页面搬到原来的图片识别项目里面，集成到一起
- 但我没有搞过若依的vue3，以为不难，但是当我搬的时候，才发现是真滴麻烦（搬了一个多小时，呜呜呜）
- 于是，我开始寻找其他的前端项目（主要是想用vue3+TS）我当时非常搞笑的是，我对TS还是完全一个小白，但就是非常想用TS写，头是真滴铁（结果后面给自己挖坑，唉）
- 找了差不多一个早上，没有找到，于是乎，自己就想着改造若依vue3，所以，我就开始大刀阔斧的开始魔改起来
第五阶段（乱改前端）
- 因为若依vue3是对接的java后端，很多东西我都不需要，我就开始使劲删东西
- 删着删着，发现这个玩意嵌套的东西和关联的东西还挺多，动不动就报错！
- 这些报错，有点搞俺的心态（不过，究其根本，是俺学艺不精，唉！）
- 于是乎，俺就懒得删了，直接凑合着用，反正可以实现我的功能就行了
- 然后，我就开始写死路由，乱改页面
- 不过，让我这个强迫症难受的是，编译器会给你爆红，因为TS，他需要像java，C++那样定义类型
- 但我就是不管，直接开摆，虽然你到处爆红，不过还是可以跑的嘛，毕竟到最后都是变成js运行的嘛（心态值-10）
第六阶段（摆烂到放弃）
- 我就在前端写一个页面，写好之后就开始用python写后端做数据处理，然后再把数据返还回去
- 按照这个流程，当我写完登录接口的时候还好（刚刚开始搞，动力还行）
- 当我写完视频流的表单接口时
- 我就发现这个好像不太对劲唉，和Java比起来有点麻烦呀（准确的说，是十分麻烦！）
- 当时就有点后悔，但觉得麻烦一点也无所谓了，我反正就写一个简单的功能而已（这时候已经开摆了）
- 但是我越写，我心里就越想着JAVA那个叫一个方便，用着多么的舒服
- 因为若依框架太香了，直接一键生成代码，操作熟练的话，几分钟不到，前端+后端的增删改查，完美搞定！
- 再回头来，看看Python，增删改查，一个个手写，呜呜呜，好难受！（心态值-100）
- 完了，写着写着心态炸了，我就开始疯狂摆烂
- 增删改查的接口都不写全，只要能完成我的整个业务演示就行了
第七阶段（项目快写完时）
- 结果，昨天看见了一个Java对接FFmpeg的开源项目，我心态爆炸！（心态值-1000）
- 我恍然大悟，我完全可以Java搞业务流程，实现数据的增删改查，网页端单独拉流预览
- 再用Python单独查询数据库，然后根据数据库的表单信息，进行拉流，处理视频流
- 这样不就可以了么？？
第八阶段（记录踩坑）
- 写到这里，我太阳穴好痛，我感觉的低血压都要治好了！
- 记录时间：2023年8月1日19:57:17
- 我今天下午大概4点完成的，唉，虽然心里挺快活，但是遇到了这些坑，俺还是有点无语唉（在此记录，引以为戒！）
第九阶段（感谢大佬们与开源项目）
- 很感谢大佬们的悉心教导，有猫鱼大佬，邓晓楠大佬，北小菜大佬等等大佬们！
- 大佬们，都是有问必答，并且十分有耐心，呜呜呜，太感动了！
- 还有很多优秀的开源项目，太赞了！
猫鱼：猫鱼CatfishW的个人空间-猫鱼CatfishW个人主页-哔哩哔哩视频
🏠 B站主页：电石QwQ的个人空间-电石QwQ个人主页-哔哩哔哩视频
🔖CSDN：Pan_peter_Python,数据库,Java-CSDN博客
📌更多毕设：毕设项目 · 网址汇总 · 看云
📝其他
本项目后面可能要对接数据库，后面再修改就比较麻烦了📦
🔰系统方面的拓展：
商场人流检测 🏃
道路路障检测 🚧
疲劳驾驶检测 🚖
🔔系统的问题：
预测速度慢，部署问题（fps、cuda、onnx）
调用摄像头后无法释放控制权
单目标追踪有问题（开启与关闭）
用户交互
未对接报警模块（比如：加语音提示 or 邮件 or 数据库记录）
未加入数据分析（比如：收集每天时间段，各种车辆的流量，分析出哪些时间段，哪种车型的流量比较大）
拉流存在延迟（延迟较大）
多线程有问题（数据可视化线程）
前后端接口不全
拉流有问题（时不时会断）
前端一堆问题（不提了，自己挖的坑）
🎉系统的简单技术脑图
