跳至正文
Eric®
作品与手记EN

项目 / AI Vision · YOLO · SAM

NeuralVision Pro

基于 YOLO 与 SAM 的实时目标检测与分割系统,面向工业质检场景,支持多类缺陷的自动识别与像素级分割,为产线自动化质检提供高效视觉解决方案。

Role
独立开发者
Duration
4 months
Team
3 人
编号
No. 12
原站概念可视化

YOLO + SAM 驱动的工业质检系统

NeuralVision Pro 是一个面向工业质检场景的视觉检测系统,基于 YOLOv8 实现高速目标检测,结合 SAM(Segment Anything Model)实现像素级缺陷分割。系统支持多种工业场景的缺陷识别,包括表面划痕、异物混入、尺寸偏差等常见质检问题。

通过 YOLO 的快速检测与 SAM 的精准分割级联推理,系统在保证检测精度的同时实现了亚 20ms 的端到端推理延迟。项目采用 Python + PyTorch 技术栈,后端服务基于 Flask 构建,数据存储使用 MySQL,支持 Docker 容器化部署,已成功应用于多个实际质检场景的验证测试。

PythonPyTorchYOLOv8SAMOpenCVDockerFlaskMySQL

技术架构

从模型训练到服务部署,端到端技术选型

核心能力

⚡
YOLO 高速检测
基于 YOLOv8 的实时目标检测,单帧推理延迟低至 15ms,满足产线实时检测需求
🎯
SAM 精准分割
利用 SAM 对检测区域进行像素级分割,精确标注缺陷边界,支持自动与 Prompt 两种分割模式
🏭
多场景适配
支持表面划痕、异物混入、尺寸偏差等多种工业质检场景,可通过配置文件快速切换检测策略
📦
容器化部署
完整 Docker 部署方案,支持单机与集群部署,一键启动推理服务,方便在不同产线环境快速落地

性能指标

Inference
15ms
mAP
95%
Models
3+
Images
50K+

核心推理流程

YOLO 检测 + SAM 分割的级联推理管道

pipeline.py
from ultralytics import YOLO
from segment_anything import sam_model_registry, SamPredictor
import cv2

# Initialize YOLO detector and SAM predictor
yolo = YOLO("yolov8m.pt")
sam = sam_model_registry["vit_h"](checkpoint="sam_vit_h.pth")
predictor = SamPredictor(sam)

# Step 1: YOLO detection
image = cv2.imread("defect_sample.jpg")
results = yolo.predict(image, conf=0.7)
boxes = results[0].boxes.xyxy.cpu().numpy()

# Step 2: SAM segmentation on detected regions
predictor.set_image(image)
masks, _, _ = predictor.predict(
    box=boxes[0],  # use first detection as prompt
    multimask_output=True
)

print(f"Detected {len(boxes)} defects, mask shape: {masks.shape}")
下一个项目 — 13DataFlow Pipeline