工厂生产安全管控和产线作业监督最典型的痛点就是“视频监控只能录不能看”。以前车间装了几十路摄像头出了问题要回放几个小时录像靠人眼一帧帧找线索。设备和人员违规往往只能事后发现很难做到及时预警。最近在做车间安全监测相关的项目时把 AI 视频分析能力接到了实际的监控流上实现了安全帽检测、区域入侵报警、目标跟踪去重、报警截图留存等一套基础闭环。这篇文章就把整个系统的设计思路、核心算法逻辑、可运行代码、常见坑位一起整理出来。既不堆概念也不只贴代码而是尽量做到“照着能跑、改改能用”。本文适合有 Python 基础、想入门 AI 视频分析的开发者也适合正在做智慧工厂、安防监测项目的后端或算法工程师。1. 背景与核心概念1.1 传统工厂视频监控的短板传统视频监控系统主要由摄像头、硬盘录像机NVR、解码器和客户端组成。它的核心能力是“录像”和“回放”但是缺少“理解视频内容”的能力。带来的问题也很明显监控画面多保安很难同时盯住十几个屏幕。24 小时连续值班漏看率很高。事件发生后排查困难回看录像成本大。违规行为不能实时发现比如进入危险区、未戴安全帽。也就是说传统监控解决的是“能不能看到”的问题AI 视频分析解决的是“看到了能不能自动理解”的问题。1.2 什么是工厂 AI 视频分析智能监测系统工厂 AI 视频分析智能监测系统是一套把计算机视觉模型和应用系统结合起来的技术方案。摄像头采集到的视频帧经过目标检测、目标跟踪、规则判定等处理后能自动转化为结构化的事件信息。例如检测到人员进入危险区域触发“区域入侵”报警。检测到人员未佩戴安全帽触发“未戴安全帽”报警。检测到烟雾或火焰触发“火灾隐患”报警。检测到叉车超速或逆行触发“车辆违规”报警。整个系统不是简单的“接个摄像头跑个模型”而是一个完整的工程链路涉及视频接入、编解码、模型推理、事件管理、消息推送、数据存储和权限控制。1.3 常见应用场景工厂场景里比较成熟的应用包括场景监测内容价值安全帽佩戴检测人员是否佩戴安全帽降低头部伤害风险区域入侵检测人员是否进入危险区域/禁区防止误入设备区域离岗/睡岗检测关键岗位是否有人值守保证岗位责任落实烟火检测车间、仓库是否出现烟雾火焰火灾早期预警传送带异常检测传送带跑偏、停转、物体堆积保障产线连续运行车辆违规检测叉车、货车是否超速或越线减少厂内交通事故遗留物检测场地内是否有异常遗留物体防止物料遗落或被遗留工具绊倒这些场景的核心技术基本一致视频抽帧 目标检测 目标跟踪 业务规则判定。差异在于模型目标和业务逻辑不同。2. 系统整体设计与数据流2.1 逻辑架构一个可上线的工厂 AI 视频分析系统通常分层设计采集层摄像头、NVR、RTSP 流、本地视频文件等。接入层负责拉流、解码、抽帧、码流异常处理。算法层目标检测、分类、跟踪、行为识别。业务层区域规则、报警去重、事件记录、截图保存。展示层实时视频流、报警列表、统计分析。分层的好处是业务逻辑和算法逻辑解耦。算法模型可以单独升级不影响报警系统摄像头接入也可以独立扩展。2.2 核心数据流整个系统的数据流可以概括为视频源推流到 NVR 或直接提供 RTSP 地址。算法服务按设定的帧间隔拉流解码。解码后的帧送入目标检测模型。检测结果送入跟踪器为同一目标分配稳定的 ID。结合 ROI 区域、安全帽类别等规则判定事件。触发报警后写入报警表发送到消息队列或管理后台。前端展示实时视频流和报警信息。这里需要注意检测是对单帧图片做的但工厂场景中对象可能在连续帧里反复出现。如果只做检测不做跟踪同一人连续 10 帧都在禁区就会触发 10 次报警。所以目标跟踪是工程实现中非常关键的一环。2.3 部署形态常见部署方式有三种边缘盒子直接部署在车间现场接入一路或多路摄像头成本低、易替换。工控机/GPU 服务器部署在机房统一拉取厂区所有摄像头便于集中管理。云服务器适合跨厂区、多园区统一管理但需要考虑视频上传带宽和延迟。考虑到工厂网络环境复杂摄像头网段、防火墙策略、带宽限制都可能影响系统。实际项目中优先推荐边缘部署 中心管理平台边缘负责实时告警中心负责数据汇聚和展示。2.4 子系统划分从项目开发的角度可以拆成这些模块视频接入模块管理摄像头 RTSP 地址处理断流重连。算法推理模块加载模型执行推理输出检测结果。规则引擎模块判断检测结果是否满足报警条件。报警管理模块去重、持久化、发送通知。配置管理模块管理 ROI 区域、阈值参数、摄像头映射关系。前端展示模块视频流展示、报警画面回放、统计大屏。如果项目规模再大一点还可以引入 Kafka 或 RabbitMQ 做消息解耦引入 Elasticsearch 存储报警日志和截图索引但初版系统不建议把所有组件都上齐否则光搭环境就会消耗大量时间。3. 环境准备与项目结构3.1 硬件环境开发阶段可以直接使用本地电脑运行建议配置如下CPU8 核及以上。内存16GB 及以上。显卡NVIDIA GPU如 RTX 3060 及以上如果没有 GPU 也可以运行但推理速度会明显下降。生产环境部署时建议使用支持 CUDA 的 GPU 设备或使用 Intel OpenVINO / NVIDIA TensorRT 等推理加速方案。3.2 开发语言与依赖开发语言使用 Python依赖库主要包括opencv-python视频解码、图像处理、绘制标注框。ultralyticsYOLOv8 模型加载和推理。flask提供视频流和报警接口。flask-cors解决前端跨域访问问题。numpy数值处理和数组的坐标变换。由于不同版本的依赖库 API 可能会有变化本文示例不锁定版本安装时建议使用较新的稳定版本下面给出参考依赖文件。3.3 项目目录结构factory-ai-vision/ ├── requirements.txt ├── config.py ├── tracker.py ├── analyzer.py ├── alarm_log.py ├── app.py ├── templates/ │ └── index.html └── weights/ └── yolov8n.pt各文件职责如下config.py全局配置包括视频源、模型路径、阈值、ROI 区域等。tracker.py简化版目标跟踪器为检测目标分配 ID。analyzer.py核心分析模块负责检测、跟踪和规则判定。alarm_log.py报警管理负责去重和记录。app.pyFlask 应用负责视频流接收、分析循环和 HTTP 接口。templates/index.html简易监控大屏。依赖文件内容如下# requirements.txt opencv-python ultralytics flask flask-cors numpy安装依赖pip install -r requirements.txt如果网络环境受限官方源安装失败可以换成国内 pip 镜像源具体地址按自己所在环境选择即可。4. 核心原理与关键代码4.1 视频流接入与抽帧无论是本地文件还是 RTSP 网络流OpenCV 的cv2.VideoCapture都能统一处理。核心代码import cv2 cap cv2.VideoCapture(rtsp://user:pass192.168.1.100:554/stream1) while True: ret, frame cap.read() if not ret: print(读取帧失败尝试重连) cap.release() cap cv2.VideoCapture(rtsp://user:pass192.168.1.100:554/stream1) continue # 示例每 2 帧分析一次降低 CPU/GPU 压力 frame_index 1 if frame_index % 2 ! 0: continue # 这里交给目标检测模块处理需要注意几点RTSP 地址必须能被运行算法服务的机器访问到。断流后不能直接崩溃需要做重连机制。抽帧间隔会影响实时性和性能的平衡。网络不好的时候cap.read()可能会阻塞建议放到独立线程中读取。4.2 目标检测模型推理目标检测是整条链路的核心本文使用 YOLOv8 做演示。YOLOv8 是 Ultralytics 推出的目标检测模型系列支持多种型号yolov8n是轻量级版本适合快速验证。加载模型from ultralytics import YOLO model YOLO(weights/yolov8n.pt)如果本地weights/yolov8n.pt不存在Ultralytics 会自动尝试下载预训练权重。生产环境建议提前下载到本地不依赖运行时的网络环境。对一帧图片做推理results model.predict(frame, conf0.5, iou0.45, verboseFalse)conf是置信度阈值低于该阈值的检测框会被过滤iou是 NMS 交并比阈值用来抑制重叠框。从results[0].boxes中可以拿到检测框坐标、类别和置信度boxes results[0].boxes if boxes is not None and len(boxes) 0: for det in boxes: x1, y1, x2, y2 det.xyxy[0].tolist() cls_id int(det.cls[0].item()) conf float(det.conf[0].item()) print(x1, y1, x2, y2, cls_id, conf)这里需要注意det.xyxy和det.cls是 PyTorch 的 Tensor 对象不要直接拿去当列表用转换成 Python 原生类型后再处理更稳妥。4.3 目标跟踪降重YOLOv8 自带的检测结果没有跨帧 ID。要避免每个目标产生大量重复报警需要给目标分配稳定的跟踪 ID。生产项目中可以用 ByteTrack、DeepSORT 等跟踪算法。这里为了演示写一个基于 IoU 匹配的简化跟踪器思路是将上一帧的跟踪目标与当前帧检测框两两计算 IoU。选择 IoU 最大的检测框作为该目标的当前位置。若 IoU 低于阈值则视为新目标分配新 ID。class SimpleTracker: def __init__(self, iou_threshold0.3, max_missing5): self.tracks {} self.next_id 0 self.iou_threshold iou_threshold self.max_missing max_missing def _iou(self, box1, box2): x1 max(box1[0], box2[0]) y1 max(box1[1], box2[1]) x2 min(box1[2], box2[2]) y2 min(box1[3], box2[3]) if x2 x1 or y2 y1: return 0.0 inter_area (x2 - x1) * (y2 - y1) area1 (box1[2] - box1[0]) * (box1[3] - box1[1]) area2 (box2[2] - box2[0]) * (box2[3] - box2[1]) union_area area1 area2 - inter_area return inter_area / union_area if union_area 0 else 0.0 def update(self, boxes, labels): updated {} unmatched set(range(len(boxes))) for tid, track in self.tracks.items(): best_idx None best_iou 0.0 for idx in unmatched: iou self._iou(track[box], boxes[idx]) if iou best_iou: best_iou iou best_idx idx if best_idx is not None and best_iou self.iou_threshold: track[box] boxes[best_idx] track[missing] 0 track[labels] labels[best_idx] updated[tid] track unmatched.remove(best_idx) else: track[missing] 1 if track[missing] self.max_missing: updated[tid] track for idx in unmatched: self.next_id 1 updated[self.next_id] { box: boxes[idx], labels: labels[idx], missing: 0 } self.tracks updated return [(tid, track[box], track[labels]) for tid, track in self.tracks.items()]这个简化版适合单路视频流和运动幅度不大的场景不适用于拥挤人群和交叉频繁的场景。真实项目里还是建议用 ByteTrack。4.4 区域判定区域入侵是工厂场景里最常见的规则。做法是先定义一个 ROI 区域通常用归一化坐标表示这样摄像头分辨率变化时不需要修改坐标。例如rois [ [(0.2, 0.3), (0.8, 0.3), (0.8, 0.8), (0.2, 0.8)] ]判断一个检测目标是否在区域内时可以取目标框的底部中点作为落脚点import cv2 def point_in_rois(x, y, rois, frame_w, frame_h): for roi in rois: polygon [(int(px * frame_w), int(py * frame_h)) for px, py in roi] result cv2.pointPolygonTest(polygon, (int(x), int(y)), False) if result 0: return True return Falsecv2.pointPolygonTest返回值为正表示点在多边形内部0 表示在多边形边缘负数表示外部。这里取底部中点是有实际原因的。画面上检测框的顶部可能因为人体站在围栏外而判定为内但脚部已经进入区域通常以脚部触碰地面位置作为人员实际位置更合理。4.5 报警去重与记录报警事件如果不做去重视频流每秒 25 帧单目标可能在 1 秒内触发多次报警报警表会瞬间被刷爆。一种简单的去重策略是“同类型 同目标 ID 时间间隔”。import time class AlarmCenter: def __init__(self, interval10): self.last_alarm {} self.alarms [] self.interval interval def push(self, alarm): key (alarm[type], alarm[track_id]) now time.time() if key not in self.last_alarm or now - self.last_alarm[key] self.interval: self.last_alarm[key] now alarm[time] time.strftime(%Y-%m-%d %H:%M:%S) self.alarms.append(alarm) print(报警触发:, alarm) return True return False去重周期需要按业务调10 秒一次适合大多数工厂安全报警但如果是需要秒级触发的消防报警这个间隔就要缩短。生产项目中还需要把报警记录写入 MySQL、Elasticsearch 或 MongoDB同时保存报警前后的截图和视频段。这些数据既能用于管理员复核也能作为模型迭代的训练素材。5. 实战工厂安全帽监测与区域入侵报警5.1 需求定义本章实现一个最小可运行的工厂 AI 视频分析演示系统功能如下支持 RTSP 或本地视频文件输入。实时检测画面中的目标并画出检测框。对目标进行简易跟踪分配 ID。判断目标是否进入 ROI 区域触发区域入侵报警。如果模型支持头盔类别则输出未戴安全帽报警。通过浏览器实时查看视频流和报警列表。整体流程为采集线程不断拉帧分析线程对帧做检测、跟踪、规则判断Flask 提供 MJPEG 视频流和 JSON 报警接口给前端展示。5.2 全局配置 config.pyimport os class Config: # 视频源支持本地文件和 RTSP/RTMP 流 VIDEO_SOURCE os.getenv(VIDEO_SOURCE, test.mp4) # 模型路径yolov8n.pt 会自动下载也可替换为自训练模型 MODEL_PATH os.getenv(MODEL_PATH, weights/yolov8n.pt) # 置信度阈值和 NMS 阈值 CONF_THRESHOLD float(os.getenv(CONF_THRESHOLD, 0.5)) IOU_THRESHOLD float(os.getenv(IOU_THRESHOLD, 0.45)) # 抽帧间隔2 表示每 2 帧分析一次 FRAME_INTERVAL int(os.getenv(FRAME_INTERVAL, 2)) # COCO 数据集中 person 类别的 id 是 0 PERSON_CLASS int(os.getenv(PERSON_CLASS, 0)) # 安全帽未佩戴类别 id需按自训练模型的类别定义调整 HELMET_CLASS int(os.getenv(HELMET_CLASS, -1)) # ROI 区域使用归一化坐标 ROIS [ [(0.1, 0.3), (0.9, 0.3), (0.9, 0.9), (0.1, 0.9)] ] # 同一目标同一报警类型的最小间隔单位秒 ALARM_INTERVAL int(os.getenv(ALARM_INTERVAL, 10))如果HELMET_CLASS设置为 -1表示当前模型没有安全帽类别只启用区域入侵报警。这样可以保证在只使用 COCO 预训练模型时也能跑通流程。5.3 目标跟踪器 tracker.py按照第 4.3 节的SimpleTracker实现保存为tracker.py即可。5.4 分析模块 analyzer.pyimport cv2 from ultralytics import YOLO from tracker import SimpleTracker class VideoAnalyzer: def __init__(self, config): self.config config self.model YOLO(config.MODEL_PATH) self.tracker SimpleTracker(iou_threshold0.3, max_missing5) def process(self, frame): h, w frame.shape[:2] # 缩小分辨率降低推理耗时 infer_scale 0.5 infer_w int(w * infer_scale) infer_h int(h * infer_scale) small_frame cv2.resize(frame, (infer_w, infer_h)) results self.model.predict( small_frame, confself.config.CONF_THRESHOLD, iouself.config.IOU_THRESHOLD, verboseFalse ) boxes [] labels [] dets results[0].boxes if dets is not None and len(dets) 0: for det in dets: x1, y1, x2, y2 det.xyxy[0].tolist() cls_id int(det.cls[0].item()) conf float(det.conf[0].item()) # 坐标还原到原图分辨率 x1 x1 / infer_scale y1 y1 / infer_scale x2 x2 / infer_scale y2 y2 / infer_scale boxes.append([x1, y1, x2, y2]) labels.append((cls_id, conf)) tracked self.tracker.update(boxes, labels) alarms self._check_alarms(tracked, w, h) return tracked, alarms def _check_alarms(self, tracked, w, h): alarms [] for tid, box, labels in tracked: x1, y1, x2, y2 box class_ids [cls_id for cls_id, _ in labels] is_person self.config.PERSON_CLASS in class_ids if not is_person: continue # 目标底部中点 foot_x (x1 x2) / 2.0 foot_y y2 in_roi self._point_in_rois(foot_x, foot_y, w, h) if in_roi: alarms.append({ type: ROI_INTRUSION, track_id: tid, box: [round(v, 2) for v in box] }) if self.config.HELMET_CLASS 0 and self.config.HELMET_CLASS in class_ids: alarms.append({ type: NO_HELMET, track_id: tid, box: [round(v, 2) for v in box] }) return alarms def _point_in_rois(self, x, y, w, h): for roi in self.config.ROIS: polygon [(int(px * w), int(py * h)) for px, py in roi] if cv2.pointPolygonTest(polygon, (int(x), int(y)), False) 0: return True return False这里有两个关键细节第一模型推理是在缩小后的帧上做的但检测框要映射回原图尺寸否则画框位置会偏移。第二SimpleTracker.update传入的 boxes 是原图坐标所以 tracker 的 IoU 计算也是基于原图坐标的不同分辨率下不会影响匹配效果。5.5 报警管理 alarm_log.py直接使用第 4.5 节的AlarmCenter保存为alarm_log.py。5.6 Flask 视频服务 app.pyimport threading import cv2 import numpy as np from flask import Flask, Response, render_template, jsonify from analyzer import VideoAnalyzer from alarm_log import AlarmCenter from config import Config app Flask(__name__) config Config() analyzer VideoAnalyzer(config) alarm_center AlarmCenter(intervalconfig.ALARM_INTERVAL) current_frame None frame_lock threading.Lock() running False def draw_annotations(frame, tracked): for roi in config.ROIS: pts [(int(p[0] * frame.shape[1]), int(p[1] * frame.shape[0])) for p in roi] cv2.polylines(frame, [np.array(pts)], True, (0, 255, 255), 2) for tid, box, labels in tracked: x1, y1, x2, y2 [int(v) for v in box] class_names {0: person, 1: no_helmet} label_text ,.join( class_names.get(cls_id, str(cls_id)) for cls_id, _ in labels ) cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.putText( frame, f{tid}:{label_text}, (x1, max(0, y1 - 5)), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2, ) return frame def capture_loop(): global current_frame, running cap cv2.VideoCapture(config.VIDEO_SOURCE) if not cap.isOpened(): print(无法打开视频源:, config.VIDEO_SOURCE) running False return running True frame_index 0 while running: ret, frame cap.read() if not ret: print(读取视频帧失败重新连接中...) cap.release() cap cv2.VideoCapture(config.VIDEO_SOURCE) continue frame_index 1 if config.FRAME_INTERVAL 1 and frame_index % config.FRAME_INTERVAL ! 0: continue tracked, alarms analyzer.process(frame) for alarm in alarms: alarm_center.push(alarm) frame draw_annotations(frame, tracked) with frame_lock: current_frame frame cap.release() running False def generate_mjpeg(): while True: with frame_lock: frame current_frame if frame is None: continue ret, jpeg cv2.imencode(.jpg, frame) if not ret: continue frame_bytes jpeg.tobytes() yield ( b--frame\r\n bContent-Type: image/jpeg\r\n\r\n frame_bytes b\r\n ) app.route(/) def index(): return render_template(index.html) app.route(/video_feed) def video_feed(): return Response( generate_mjpeg(), mimetypemultipart/x-mixed-replace; boundaryframe ) app.route(/alerts) def alerts(): return jsonify(alarm_center.alarms[-50:][::-1]) if __name__ __main__: threading.Thread(targetcapture_loop, daemonTrue).start() app.run(host0.0.0.0, port8080, debugFalse)这段代码的核心结构是“采集线程 分析线程 HTTP 展示线程”。采集线程和解码是同步的实际上解码仍然发生在capture_loop中只是把耗时分析放到了同一个线程。如果一路视频还能接受多路视频并发时建议用生产者-消费者队列把采集、分析、展示彻底解耦。5.7 前端页面 templates/index.html!DOCTYPE html html langzh-CN head meta charsetutf-8 title工厂AI视频分析智能监测系统/title style body { font-family: Arial, sans-serif; background: #f5f6fa; margin: 0; padding: 20px; } h1 { font-size: 20px; } .container { display: flex; gap: 20px; align-items: flex-start; } .video-box { flex: 1; background: #000; border-radius: 8px; overflow: hidden; } .video-box img { width: 100%; display: block; } .alarm-box { width: 360px; background: #fff; border-radius: 8px; padding: 16px; box-shadow: 0 2px 8px rgba(0, 0, 0, 0.08); } .alarm-item { border-bottom: 1px solid #eee; padding: 8px 0; font-size: 14px; } .alarm-time { color: #888; margin-right: 8px; } /style /head body h1工厂AI视频分析智能监测系统/h1 div classcontainer div classvideo-box img src/video_feed alt实时视频流 /div div classalarm-box h3实时报警/h3 div idalarms/div /div /div script setInterval(() { fetch(/alerts) .then((res) res.json()) .then((data) { const box document.getElementById(alarms); box.innerHTML data .map( (item) div classalarm-itemspan classalarm-time${item.time}/span${item.type} · 目标ID${item.track_id}/div ) .join(); }) .catch((err) console.error(加载报警失败, err)); }, 2000); /script /body /html5.8 运行与验证假设本地已经有一份视频文件test.mp4或者有一个可访问的 RTSP 地址。第一步验证模型权重可以正常加载python -c from ultralytics import YOLO; YOLO(weights/yolov8n.pt)如果本机没有权重文件且网络可以访问官方模型仓库会自动下载。为了稳定最好提前下载好放到weights目录。第二步启动服务python app.py第三步浏览器访问http://localhost:8080/预期现象页面显示实时视频画面视频帧中会出现绿色检测框和 ROI 黄色线段。检测到目标进入 ROI 区域后右侧报警列表出现ROI_INTRUSION记录。如果使用包含安全帽类别的自训练模型则输出NO_HELMET报警。如果想修改视频源可以设置环境变量VIDEO_SOURCErtsp://192.168.1.100:554/stream1 python app.py注意 RTSP 如果携带用户名密码URL 格式通常是rtsp://用户名:密码IP:端口/路径如果视频源无法打开前端画面会一直黑屏调试时要优先确认 URL 和网络连通性。6. 生产环境常见问题与排查问题现象常见原因解决思路启动后模型加载很慢首次加载需要初始化 PyTorch 和权重文件提前将模型权重放置本地避免运行时下载推理速度很慢没有使用 GPU或输入分辨率过高降低抽帧频率、缩小推理分辨率、使用 TensorRT/OpenVINO摄像头黑屏RTSP 地址不对或网络不可达用 VLC 或 ffprobe 验证码流能否播放视频卡顿明显解码速度低于帧率分析耗时过长开启多线程、加大抽帧间隔漏检率较高目标太小、遮挡严重、阈值太高降低置信度阈值增加训练数据启用大分辨率模型误报很多区域坐标设置不准确或置信度阈值太低调整 ROI 坐标提高置信度阈值同一目标连续报警没有做跟踪去重接目标跟踪模块增加报警间隔GPU 使用率低数据预处理与模型推理串行使用队列做读帧/预处理/推理流水线RTSP 断流后服务直接卡死cap.read()长时间阻塞设置解码超时断流后自动重新连接内存持续增长循环中重复创建 Tensor 或历史数据未清理定期清理报警记录减少对象引用问题排查时建议固定顺序先确认视频源能不能看。再确认能不能出检测框。再确认报警规则有没有触发。最后看性能和稳定性。不要一上来就调模型很多项目跑不通都是视频接入层的问题。7. 最佳实践与工程建议7.1 模型选型与迭代模型选型要结合业务精度和部署显存综合考虑。轻量级模型推理快但小目标检测效果差大模型精度高但对 GPU 资源要求高。建议的原则验证阶段先用现成预训练模型跑通流程。正式项目必须用工厂现场数据微调模型。数据采集要覆盖不同光线、角度、距离和人员姿态。定期用线上报警截图补充训练集形成“标注-训练-验证-上线”的迭代闭环。用 COCO 预训练模型只能检测出person、car等常见类别无法识别安全帽是否佩戴。所以安全帽检测必须训练专用模型。7.2 性能优化单路视频在 GPU 上通常压力不大但工厂往往有几十路甚至上百路摄像头性能问题成为最主要瓶颈。可以从几个方向优化分辨率控制不需要每帧都做全分辨率推理可以抽帧 缩放检测后再映射回原坐标。多路并发一个进程处理多路视频时用异步队列收集各路待推理帧批量推理。推理加速GPU 环境使用 TensorRTCPU 环境使用 OpenVINO。硬件分层实时性要求高的通道用边缘盒子非实时通道集中分析。7.3 报警去重与联动安全报警的价值在于准和稳。同一目标在禁区站了 10 分钟业务上只关心“谁、什么时候进入、是否还在”不需要每秒都收到一条消息。建议报警模型设计为产生初次报警后进入“持续报警中”状态。同一目标离开区域后再进入才产生第二次报警。重要报警支持截图保存、现场声光联动、短信/电话通知。7.4 数据合规与权限安全工厂视频分析系统涉及大量员工画面和产线画面数据隐私是必须考虑的问题。需要注意在厂区部署摄像头的区域应告知员工相关监控事项。视频数据要设置访问权限后台操作日志可追溯。算法分析结果和原始视频按需留存避免无限制保存。摄像头接入和报警记录操作需要授权不能用管理员账号直接运行在无监控的测试环境。生产环境变更时要先在测试环境验证模型和配置再逐步灰度发布到生产通道。7.5 日志、监控与可维护性系统上线后稳定运行比功能丰富更重要。建议在代码中增加结构化日志比如记录每路摄像头最近一次心跳时间。每一帧推理耗时。报警类型、置信度、检测框坐标。配置项统一放到配置中心模型和规则参数支持热更新。这样调整 ROI 区域和阈值时不需要重新编译或重启整个服务。8. 总结与学习路线本文完整梳理了工厂 AI 视频分析智能监测系统的设计和实现路径重点包括相机视频流接入与抽帧处理。YOLOv8 目标检测模型的调用和结果解析。基于 IoU 的简化目标跟踪解决报警重复问题。ROI 区域判定和安全帽类别判断。Flask 提供实时视频流与报警接口。简易监控大屏的展示。想进一步深入可以按下面的顺序学习目标检测基础 - 目标跟踪ByteTrack / DeepSORT - 视频流工程化RTSP / 多线程 / 队列 - 模型训练与数据集构建 - 服务化部署Docker / TensorRT / 弹性伸缩初学阶段不建议一上手就搭建完整大平台。可以先从“一路视频 一个模型 一个规则 一个报警”的最小闭环练起跑通后逐步增加通道数、报警规则、消息推送和可视化大屏。如果本文对你有帮助可以收藏备用也欢迎在评论区交流你在工厂视频分析项目中遇到的问题。