基于「YOLO目标检测 + 多模态AI分析」的胃肠道息肉识别与辅助诊断系统
本文介绍了一个基于AI的胃肠道息肉检测系统,采用Vue+Flask技术栈,集成了YOLOv8等目标检测模型。系统支持图片、视频和实时摄像头三种检测模式,具有息肉精准识别、多模态AI分析、诊疗建议生成等功能。创新点包括多模型集成、大语言模型辅助分析和模型评估系统。项目提供了完整源码、5460张内镜数据集和训练好的模型权重(mAP50达0.905)。该系统适用于内镜筛查、临床辅助诊断和医学教学研究场景
一、项目演示视频
b站演示视频与部署教程视频(点击这里)
https://www.bilibili.com/video/BV1XFAbzdEU7/?share_source=copy_web&vd_source=31c839f46a9a845dd6dd641cbd5c2ac1
二、技术栈
-
前端技术栈 (web-vue)
核心框架: Vue 3.5.13 (Composition API)
UI组件库: Element Plus 2.9.4
状态管理: Pinia 2.3.1
路由管理: Vue Router 4.5.0
HTTP客户端: Axios 1.7.9
图表可视化: ECharts 5.6.0
构建工具: Vite 6.1.0 + TypeScript 5.7.2 -
后端+算法端技术栈 (web-flask)
核心框架: Flask (Python)
数据库: SQLite 3
身份认证: JWT
图像处理: OpenCV + NumPy
深度学习: YOLOv8/YOLO11/YOLO12/YOLO26
视频处理: OpenCV视频流处理
大语言模型: Qwen-VL的API接口
三、功能模块
核心创新点
- 息肉精准检测: 支持内镜图像中息肉的智能识别和定位
- 多模态检测方式: 支持图片、视频、实时摄像头三种检测模式
- YOLO模型集成: 集成YOLOv8/YOLO11/YOLO12/YOLO26等先进目标检测模型
- 智能检测分析: 基于AI的胃肠道息肉自动识别和定位
- 分层权限管理: 支持管理员和普通用户的差异化功能访问
- 完整工作流程: 从数据集管理到模型管理再到息肉检测的完整闭环
- 多模态大模型辅助分析: 使用多模态大模型根据YOLO检测识别结果和图片进一步分析并给出诊疗建议(属于图片识别功能模块)
- 模型评估系统: 支持上传YOLO格式标签与模型预测对比,自动计算Precision、Recall、mAP50等精度指标,生成GT框与预测框的可视化对比图,支持用户评分和评语
核心功能模块
- 用户管理: 支持用户注册、登录、权限管理、个人信息管理等功能
- 数据集管理: 支持上传ZIP格式YOLO数据集,自动验证数据集结构和完整性
- 模型管理: 支持创建模型、上传权重、训练过程图片/文件管理、模型发布等
- 图片检测: 上传图片进行息肉检测,支持CLAHE图像增强、多模态AI分析、诊疗建议生成、导出Word报告
- 视频检测: 上传视频进行逐帧检测,支持帧率采样、异步处理、进度查询、关键帧截图
- 实时检测: 使用电脑摄像头进行实时检测,支持yolo目标跟踪、会话管理、检测记录保存
- 模型评估: 上传图片和标签文件评估模型性能,支持精度指标计算、可视化对比、用户评分筛选
应用场景
- 内镜筛查: 胃镜、肠镜等内镜影像中息肉的智能辅助检出
- 临床辅助: 为医生提供息肉位置与数量参考,辅助诊断与随访决策
- 科研与教学: 消化道病变检测与AI辅助诊断的教学与科研
- 健康管理: 结合随访管理,支持息肉检出后的追踪与记录
四、项目链接
链接: https://pan.baidu.com/s/1v-AQZLO_yT7CWIlSYKIIKA?pwd=vp9v 提取码: vp9v
- 完整系统源码
(1)前端源码(web-vue)
(2)后端+算法端源码(web-flask)
(3)模型训练代码(other/model_train/detect) - 项目介绍文档
(1)项目概述
(2)项目技术栈
(3)项目目录结构
(4)系统架构图、功能模块图
(5)数据库开发文档 - 项目启动教程
(1)环境安装教程(视频+文档)
(2)系统启动教程(视频+文档) - 胃肠道息肉检测数据集
(1)总样本数:5460张内镜图片(训练+验证+测试)
(2)训练集:3821张图片 (用于模型训练)
(3)验证集:819张图片 (用于模型验证和性能调优)
(4)测试集:820张图片 (用于模型最终性能评估)
(5)检测类别: 1类息肉检测
0: polyp - 息肉 - 胃肠道息肉 - 已经训练好的模型权重,整体精度如下:
(1)precision (精确率): 0.901
(2)recall (召回率): 0.852
(3)mAP50 (IoU阈值0.5时的平均精度): 0.905
(4)mAP50-95 (IoU阈值0.5-0.95的平均精度): 0.666
更多推荐
所有评论(0)