★ FEATURED ARTICLE 做养猪智能化相关项目的人应该都遇到过这个场景几百头猪在栏舍里挤成一团表面看着风平浪静下一秒就有一只耳朵挂着血丝缩在角落里。真正让猪场管理者头疼的从来不是环境传感器那点数据而是猪只之间的打斗、咬头、咬尾这些突发行为。这类行为一旦出现轻则应激掉膘、生长性能下降重则外伤感染、继发链球菌病淘汰率直接拉起来。人工巡检盯得再勤也架不住猪场光线差、栏位多、夜间时段没法一直盯。去年我们团队做了一个“智慧养殖猪场猪只异常行为打闹咬头咬尾检测”项目数据规格是VOCYOLO格式、共1706张图像、覆盖打闹/咬头/咬尾三个类别。做这事的初衷很简单当时在某大型规模化猪场试装了一套实时监控系统摄像头挂上去了图像源源不断传回来结果发现真正缺的不是跑模型的机器而是一份靠谱的带标注数据集。市面上公开的猪只数据集不少但大多数是“栏舍猪群分割”或者“个体识别”针对异常社交行为的检测数据集少得可怜特别是咬头、咬尾这种高频但短暂的行为公开数据几乎空白。这篇文章就把我们从数据采集、标注规范、格式设计到模型训练踩过的坑完整写出来给打算做猪只行为识别或者农业视觉方向的朋友一份可参考的实战记录。内容对从事智慧养殖方案集成、算法落地的工程师会很有价值也有不少细节适合刚入门目标检测的数据标注新手。1. 项目背景猪场里最难盯的“隐形杀手”1.1 打闹、咬头、咬尾的行为学逻辑先说为什么这三类行为值得专门做检测。猪只打闹和咬斗在规模化猪场里非常常见但它们的触发机制并不完全一样。打闹多半和群体位次争夺、饲料位竞争、空间密度过大有关特点是持续时间相对较长、动作幅度大、往往多头猪参与属于典型的高强度社交冲突。咬尾则更像是一种“行为传染病”最早可能只是环境应激比如光照过强、氨气浓度高、缺乏丰容材料个别猪开始啃咬同伴尾巴其他猪观察到以后会模仿一旦形成习惯就很难靠人为干预短时间消除。咬头通常出现在竞争料槽或者饮水器位置属于突发性行为单次持续时间很短但伤害性很强容易造成眼部和耳部损伤。从养殖经济效益角度看这三类行为造成的损失很隐蔽。一头猪因为咬伤引发炎症治疗成本和掉膘损失叠加起来可能超过百元而一场未被及时发现的大范围咬尾事件损失可以按栏舍整体出栏规模计算。猪场管理者最怕的不是单个伤例而是行为发生后的“连锁反应”出血点会吸引更多猪过来啃咬伤情在几小时内就可能恶化。因此检测系统核心目标不是“识别猪在哪”而是“行为发生后的几十秒内告警”让人工及时介入、隔离肇事者和伤猪。这也是我们做数据处理时反复强调整体时序上下文的原因——单张静态图要能判断“这是一个姿态正常的行为”还是“已经进入明显咬斗”标注标准必须建立在行为学基础上。1.2 目标检测任务在智慧养殖中的定位整套系统在猪场的部署链路是栏舍顶部或侧壁安装网络摄像头视频流经边缘盒子抽帧送入目标检测模型完成“类别位置框”输出后端再结合业务规则生成告警事件。这里的目标检测模型只负责一个相对窄但非常关键的环节从单帧图像中同时判断“是不是异常行为”以及“发生在画面中的哪个位置”。类别框会叠加在监控画面上方便饲养员第一时间定位到具体栏位而不是从十几路视频里肉眼寻找问题。数据集就是整个链路里最底层、最不能出错的资产。模型对打闹、咬头、咬尾的识别上限基本由数据集质量决定。训练集如果漏标了某个角度的咬尾行为模型在实际场景遇到同一个角度时就大概率漏检。这也是我们要做一套VOCYOLO双格式数据集的原因VOC格式是通用目标检测的“交换语言”方便大家导入各种检测框架做数据预览和转换YOLO格式则是目前边缘推理最常用、最轻量的标注形式可以直接喂给训练脚本。一套数据、两种格式基本避免了下载后还要自己写转换脚本的麻烦。说明一下数据集项目名里的“异常行为”指的就是打闹、咬头、咬尾这三个类别属于猪只社会行为中肉眼可辨识的冲突型行为。后面提到的所有标注和训练细节都以这三类为准。2. 数据集构成与标注格式说明2.1 1706张图像的场景分布与目标特点这份数据集总共包含1706张图像均采集自实际猪场栏舍环境覆盖了不同栏舍机位、不同光照条件和不同月龄阶段的猪群。图像来源上我们尽量让场景来源丰富一些避免模型出现过拟合单一机位的现象。例如同一栏舍的俯视和斜视画面、白天自然光与夜间红外补光画面、断奶仔猪到育肥猪的不同体型画面这些分布看起来不起眼但对模型泛化能力的影响很大。如果数据全部来自同一个摄像头机位模型很可能会学到“这个位置的背景就是猪栏”这种无用特征换一个猪场就失效。单张图像的目标数量差异很大。简单画面里可能只有1个目标框复杂画面里会出现6到7个目标框同时存在的情况特别是多头猪挤在一起打闹的瞬间目标框会密集堆叠。这种目标密度分布对检测模型其实比较友好既包含少量简单样例让模型学到基本特征也包含大量复杂拥挤样例逼着模型学会处理遮挡和重叠。1600多张的量级在目标检测任务里不算大但这正是“小型精标数据集”的典型应用方式——在预训练权重基础上微调而不是从零训练。实测下来配合合理的增强策略这个规模足以把验证集的mAP0.5做到0.85以上。类别的英文标签我们按下述方式定义并写进标注文件fight代表打闹/争斗bite_head代表咬头行为bite_tail代表咬尾行为。中文标签在显示层使用数据集文件里的标签名保持英文避免不同工具链对中文编码处理不一致产生额外问题。2.2 VOC与YOLO两种格式的字段与核心差异VOC格式即Pascal VOC标注格式的核心是每张图片对应一个同名XML文件里面记录图片尺寸、目标类别名和真实框坐标。坐标用绝对值表示比如xmin、ymin、xmax、ymax含义是目标框左上角和右下角在像素坐标系中的位置。annotation folderJPEGImages/folder filename000012.jpg/filename size width1920/width height1080/height depth3/depth /size object namefight/name poseUnspecified/pose truncated0/truncated difficult0/difficult bndbox xmin482/xmin ymin392/ymin xmax1186/xmax ymax875/ymax /bndbox /object /annotationYOLO格式则完全不同。每个目标的标注信息保存在与图片同名的txt文件中每行代表一个目标格式为类别ID 中心点x归一化坐标 中心点y归一化坐标 框宽归一化 框高归一化。归一化的意思是坐标值除以图片宽度或高度结果是0到1之间的小数。0 0.434375 0.586111 0.366667 0.447222上面这行数据表示类别ID为0即fight目标框中心点在图像宽度的43.44%位置、高度的58.61%位置框宽度占整张图宽度的36.67%高度占整张图高度的44.72%。两种格式的核心差异可以归纳成下表维度VOC格式YOLO格式存储形式一张图对应一个XML文件一张图对应一个txt文件坐标形式绝对值像素单位归一化0~1小数文件内容XML结构化字段纯文本一行一个目标可读性较好便于预览核对较差需要脚本解析训练适配需离线转换YOLO系列直接支持格式转换有一个容易踩坑的细节坐标值转换时不要重复归一化。从VOC的xmin/xmax计算宽度后直接除以图像宽即可部分新手会先把坐标转成0~1再乘回宽高再除以宽高结果数值不变但浪费了时间。另一个坑是YOLO的坐标中心点必须落在0到1区间内如果标注框边缘紧贴图像边界除以宽高后可能出现极小概率的1.0000000严格来说需要做一次min(0.999999, value)的处理否则个别框架在解析时会警告越界。2.3 目录结构与数据划分数据集目录结构我们设计成开箱即用型解压后即可直接开始训练或二次处理dataset/ ├── VOC/ # VOC格式完整目录 │ ├── JPEGImages/ # 图像文件 │ ├── Annotations/ # XML标注文件 │ └── ImageSets/Main/ # 训练/验证/测试划分信息 ├── YOLO/ │ ├── images/ # 图像文件 │ │ ├── train/ │ │ ├── val/ │ │ └── test/ │ └── labels/ # txt标注文件 │ ├── train/ │ ├── val/ │ └── test/ └── classes.txt # 类别列表划分比例采用约8:1:1即训练集约1366张、验证集约170张、测试集约170张。这里有一个非常重要的细节数据划分必须基于“独立事件”而非“独立图片”。如果同一个栏舍同一秒钟的连续帧一帧进了训练集、另一帧进了验证集那验证集的指标会虚高因为模型已经“见过”几乎相同的画面——这就是典型的数据泄漏。我们处理时先把视频抽帧结果按事件片段分组同一个行为事件产生的图片整体划入同一个集合从根源上杜绝这类泄漏。3. 数据采集与标注实操要点3.1 采集端的机位、分辨率与光照控制猪场环境对视觉采集并不友好。栏舍普遍存在采光差、粉尘大、湿度高的情况摄像头的安装位置直接决定了数据质量上限。根据我们的实操经验机位选择优先级从高到低依次是栏舍正上方俯视、栏舍斜上方45度俯视、栏舍侧壁平视。俯视角度能最大程度避开猪只相互遮挡的问题缺点是难以清晰看到头部和尾部细节侧壁平视能看清咬尾的嘴部动作但同一个画面里猪只前后遮挡严重标注难度明显增加。实际项目里建议多机位混采让同一行为在不同视角下都有样本这样模型学到的不是某个特定视角下的特例。分辨率建议不低于1080P训练时会缩放到640×640或1280×1280进行处理。猪只头部和尾部在整幅监控画面里属于小目标原始分辨率如果只有720P很多咬尾细节就完全分辨不出来要么漏标要么标出超出实际范围的猜测框。帧率方面不需要刻意追求高帧率监控视频通常25帧/秒抽帧时每隔5到10帧取一张即可。两个原因一是相邻帧画面几乎一样大量重复帧会稀释数据集多样性二是异常行为会在连续多帧中持续出现隔几帧抽一次采样空间足够覆盖这个行为过程。光照问题在猪场里永远绕不开。白天靠窗户自然光晚上多数栏舍只有昏暗的常亮灯所以夜间图像几乎必须依赖红外补光。红外灯安装位置要避开镜头正前方否则会出现明显的“红曝”现象猪只眼睛变成高亮白斑反而遮盖了头部细节。还有一点容易被忽略猪舍里的粉尘和水汽会附着在镜头保护罩上每隔几天图像就开始发糊。建议采集周期内定期擦拭镜头同时留意图像是否出现整体偏灰、细节模糊的问题。我们项目中途因为连续几天没清洁镜头采集了一大批灰蒙蒙的图像这批数据最终只能废掉时间成本白花了。3.2 标注规范三类行为的边界判定标注环节最核心、最容易吵架的地方就是“这个行为到底算不算咬头/咬尾/打闹”。视频是连续的行为过程而标注是在单帧图像上打框同一个行为在起始、高潮、结束阶段画面差异巨大。团队在正式标注前专门开会定了一套判定规则这里写出来供参考。打闹fight的判定标准是两只或以上猪只的头部区域发生明显接触或冲撞身体姿态呈对立或纠缠状动作幅度大包含撞击、推挤、翻滚等表现。关键点是“相互性”——双方都在主动参与才算打闹单方面蹭蹭或者路过接触不算。咬头bite_head的判定标准是某只猪的嘴部接触另一只猪的头部区域耳朵、眼部、脸颊并且呈明显张口啃咬或持续叼住的状态。单纯用鼻子拱一下对方头部不算咬头。这个类别难点在于咬头发生时姿态转换非常快经常上一帧还是相互嗅闻、下一帧就已经咬住了。所以标注时不能只截取“完全咬住”的瞬间咬合初期、嘴部接近目标但已呈张口状态这两个阶段最好都覆盖训练时模型才能学会在行为刚启动就给出告警而不是等已经咬伤出血了才发现。咬尾bite_tail的判定标准是某只猪的嘴部含住或叼住另一只猪的尾巴通常尾巴根部附近会有明显收紧动作。头部跟随尾巴摆动、嘴巴贴住尾巴移动也算。尾巴自然摆动时碰到猪嘴但口部未闭合不算咬尾。规则定完后我们给标注组留了一周的试标期期间每天抽检讨论。实际经验是咬尾最难标的是“尾巴和嘴的接触瞬间”因为尾巴细、目标小很多框都打得过大或偏置最容易漏标的是打闹发生在外围栏舍角落的情况猪只被大面积遮挡标注员主观上会觉得“都看不见了还标什么”但模型恰恰需要学习从碎片信息判断行为这类遮挡样本反而不能缺。注意标注咬尾类目标时框不用把整头猪都框进去。咬尾行为的关键局部就是嘴部和尾巴接触点框住接触区域即可范围过大会把无关背景学进特征里。3.3 标注工具选型与操作建议数据标注工具直接决定工作效率。我们先后试过LabelImg、CVAT和X-AnyLabeling最终主力用的还是LabelImg加CVAT配合的方案。LabelImg的优点是轻量、离线可用、和VOC格式天然兼容。单人小批量标注时直接打开图片拉框、填类别、保存XML流程非常顺手。缺点是多人协作不友好缺乏任务分配和进度管理能力数据量大以后文件名索引容易混乱。CVAT则是基于浏览器的多人协作平台支持标注任务拆分、多人同时标注、标签合法性校验还内置了半自动标注模型比如用预训练检测模型生成预标注框人工微调对几百上千张图的数据集能省不少时间。我们实际用下来CVAT在标注效率上至少比纯手标快30%主要节省在预标注后只需要修正边界而不是从零画框。X-AnyLabeling是另一种选择它集成了多种辅助模型比如GroundingDINO和Segment Anything可以自动生成初步框或分割掩码再人工纠正。适合标注目标边界不明显、形状不规则的行为框但配置门槛稍高需要准备好推理机器。如果项目时间不紧、想省钱纯LabelImg完全够用如果数据量在5000张以上、团队3人以上直接上CVAT部署是更省心的路线。标注完成后一定要做数据清洗。常见的脏数据包括框明显偏大或偏小、类别标错咬头标成打闹、目标部分超出图像边缘未做裁切标记、重复标注同一个目标两个框。我们洗数据的方式是写一个Python脚本遍历所有XML先做格式检查字段是否齐全、坐标是否越界再按目标框宽度高度比例做异常值筛查最后人工随机抽10%逐张核对。脚本只能查格式错误语义错误类别错了、框范围不对必须靠人眼抽检数据标注质量没有捷径。4. 基于该数据集的模型训练与调优要点4.1 目标检测模型选型思路拿到VOCYOLO双格式数据集后训练阶段的第一件事是选模型。当前主流的轻量级目标检测模型包括YOLOv5、YOLOv8、YOLOv10以及RT-DETR系列其中YOLOv8算是现阶段业界平衡得最好的选项部署生态完善、推理速度快、精度足够适合边缘盒子和Jetson这类设备。我们实测的基线配置是YOLOv8s模型输入分辨率640×640在单张RTX 4090上训练约100个epoch一次训练大约需要40到50分钟。训练集1366张图像对YOLOv8s来说属于中等偏小规模直接随机初始化训练容易过拟合必须加载预训练权重比如在COCO数据集上训练好的yolov8s.pt做微调。加载预训练权重后模型已经具备通用的图像特征提取能力只需要在猪只行为这个特定任务上做适配收敛速度和最终精度都会明显提升。以下是一份可直接参考的训练命令yolo train datadataset.yaml modelyolov8s.pt \ imgsz640 epochs100 batch16 \ device0 workers8 projectexperiments其中dataset.yaml需要指定训练集、验证集路径和类别列表写法如下path: /data/pig_behaviors train: images/train val: images/val test: images/test names: 0: fight 1: bite_head 2: bite_tail配置完成后即可开始训练。如果显存有限可以把batch降到8或4但需要同步提高epoch数以保证模型见过足够多的样本量。batch越小每个epoch内权重更新次数越多需要更多轮次来稳定收敛这是显存受限时的补偿策略。4.2 数据增强策略与类别不均衡处理1706张图像的规模决定了训练时必须配合数据增强。YOLOv8默认开启的马赛克增强mosaic对这个小数据集帮助非常大它把4张图随机拼接到一起相当于每张训练图同时包含多个场景上下文大幅提高了样本多样性。但mosaic增强有个副作用——它会把不同图片的信息揉在一张图里如果标注框恰好落在拼接边界附近目标会被强行“截断”模型就容易学习到不完整的特征。解决方法是配合close_mosaic参数在训练后期比如最后10轮关闭mosaic让模型在正常比例的图像上做精调我试过这个操作后验证集mAP普遍能提升两三个点。类别不均衡是这个小数据集里最需要处理的隐性坑。三个类别的样本数量按经验值估算大致为打闹约1100个框、咬头约430个框、咬尾约380个框。类间比例接近3:1:1虽然不算极端失衡但咬尾这类目标小、数量少一旦增强策略没照顾到模型的召回率会明显偏低。针对这个问题的处理思路有两个一是对数量少的类别做过采样在训练代码里按类别权重调整采样概率让每个batch中咬尾样本占比不低于20%二是使用包含类别权重因子的损失函数给咬尾更大的损失权重强制模型在训练时更关注小类别。前者实现简单、效果稳定建议优先尝试。关于增强参数实测下来比较稳的配置是增强项建议值实际效果说明马赛克增强开启最后10轮关闭显著提升密集目标场景泛化能力HSV色彩扰动h0.015, s0.7, v0.4模拟不同光照条件下的色差变化随机平移/旋转translate0.1, degrees10提升对机位微小偏移的鲁棒性水平翻转开启猪只方向左右对称翻转无副作用上下翻转关闭栏舍摄像头固定上下翻转会失真翻转这个细节提醒一下俯视相机画面里猪只头部朝向在左右方向上随机分布水平翻转完全不影响语义但上下翻转相当于把相机倒过来拍画面里的地面阴影、光照方向全部违反物理规律模型容易学到错误上下文实际场景中没有这种图像所以默认关闭。4.3 训练效果评估与常见误检排查评估阶段的指标主要看三组mAP0.5、mAP0.5:0.95和各类别的Precision/Recall。mAP0.5表示IoU阈值取0.5时的平均精度是衡量“检测框是否大致到位”的常用指标mAP0.5:0.95则是把IoU阈值从0.5到0.95平均对框位精度要求更严格。行为检测场景建议重点盯mAP0.5和Recall不要过分追求mAP0.5:0.95——实际告警系统更关心“能不能发现”而不是“框得是否完美”召回率不够会导致漏报事件这才是养殖场最不能接受的问题。实测中一个比较典型的误检模式是模型把“猪只聚集在一起快速奔跑”当成打闹。猪群受到惊吓集体跑动时画面里会出现大量交叠的猪只轮廓看起来和打闹有些相似。解决办法是在模型输出后加一层业务规则单帧出现连续多个“打闹”框时结合前后帧的运动方向做校验——集体奔跑时所有猪只朝向一致、位移方向一致而真正的打闹是几个目标近距离纠缠、运动方向混乱。这个逻辑不复杂但能把误报率压下来一半以上。调整训练参数时别忘了设置早停策略early stopping。在ultralytics框架里patience参数默认是100意思是连续100轮验证集指标没有提升就自动停止。对这个小数据集一般40到60轮左右loss就趋于平稳如果训练到80轮指标还在波动多半是学习率设置过高或者增强强度太大而不是训练轮数不够。5. 常见问题与排查记录5.1 格式转换遇到的坑把VOC格式转成YOLO格式时最常见的问题是类别ID对应错乱。VOC XML中的name字段是字符串比如fight而YOLO的txt文件里第一列是整数ID从0开始编号。如果类别顺序没有和classes.txt严格对齐就会出现“标签是咬头、ID却是2咬尾”的张冠李戴问题。我们的排查经验是转换后随机抽20张图用可视化脚本把YOLO格式的box直接画到图上人工确认类别和框位置是否对应。这一步不能省眼看为实。第二个坑是坐标精度问题。VOC坐标是整数除以图像宽高后变成小数默认保留6位小数足够。但注意不要用round函数四舍五入到整数否则损失精度会造成框位偏差直接用格式化字符串保留6位小数比如%0.6f % (x_center/width)这个精度已经远高于标注员画框的物理精度。第三个坑是图像尺寸不统一。猪场摄像头有时候会出1920×1080、有时候出1280×720还有手机拍摄的补充样本是4032×3024。YOLO格式归一化坐标本身不受图像尺寸影响但训练时如果图像尺寸差距过大统一缩放后会引入畸变。建议训练前把所有图片统一缩放到一个固定尺寸比如1280×720避免模型学到图像宽高比相关的伪特征。5.2 标注质量问题导致训练异常训练过程中发现某个类别一直识别不出来先别急着调模型参数优先检查标注质量。我们实际遇到过一个咬尾类别精度极低的情况抽检后发现问题是标注框普遍把“猪的尾巴根部和后腿之间”包进去了导致模型学到的是“后腿和尾巴根部”这个区域特征而不是“嘴部叼住尾巴”这个行为特征。重新修正这批框之后咬尾类的召回率从0.55直接提升到0.78几乎没有改动模型结构。另一类问题是目标框互相重叠程度过高。在密集打闹画面里几个目标绞在一起标注员经常为了赶进度只标最显眼的那个其他被遮挡的猪只行为目标都不标。这会造成两个后果一是训练时模型看到的“打闹”永远只有一个框学不会多目标同时检测二是模型在推理时会“漏检”被遮挡目标因为训练时这类情况对应的GT就是缺失的。这类问题只能靠标注阶段的二次检查来兜底标注规范里应明确要求只要目标可见部分超过30%就必须标注。5.3 实际部署时的性能与稳定性问题模型训练完不等于项目落地猪场现场的边缘设备性能和训练机完全不是一个量级。我们部署的Jetson Orin Nano在FP16精度下跑YOLOv8s1080P视频流约能跑到25到30帧这个速度在行为检测场景够用。但现场发现一个问题红外夜视模式下画面是黑白的模型在白天彩色图像上训练夜间灰度图上的表现会有一定下降。解决方法是训练时把一部分图像做灰度化增强模拟夜间效果或者在采集阶段就把红外夜间的图像单独整理一个子集加入训练。还有一个容易被忽视的点是摄像头画面比例。不同品牌的摄像头输出比例可能是16:9或4:3训练时如果统一缩放到640×640会改变宽高比导致物体变形。最稳妥的做法是在模型输入前做letterbox处理而不是直接resize。letterbox的意思是等比缩放图片并以灰色填充到目标尺寸保留原始宽高比不变这个是YOLO系列默认的处理方式。通常我们方案的训练阶段也开启letterbox保证采集画面和训练画面处理方式一致。设备发热问题也很现实。边缘盒子在猪舍内长期运行夏季高温多尘环境里容易出现过热降频推理速度从25帧掉到12帧。部署时建议把边缘盒子放在配电箱等相对通风的位置加装散热片同时监控设备温度超过70度自动告警。这些看起来和AI没关系的小事恰恰决定了系统能否在猪场连续稳定跑三个月。我们踩过这个坑后把所有部署设备的温度阈值策略都写进了运维手册。6. 数据集复用与后续扩展空间6.1 除了直接训练YOLO之外还能做什么这份数据集的价值并不局限于训练YOLO检测器。检测框可以用来做后续的时空行为分析比如提取目标框中心点序列分析猪只在栏舍内的运动轨迹和速度变化。当某头猪的轨迹出现“长时间原地不动”或“运动路径杂乱无规律”时通常是健康异常的前兆这个信息在传统巡检中很难被及时发现。另一个复用方向是训练行为分类模型。把检测框裁剪出来作为输入用视频分类模型如SlowFast、X3D学习框内行为随时间的变化模式。单帧检测只能告诉你“现在正在发生什么”无法判断行为持续了多久。有了裁剪后的行为片段就可以训练分类模型判断“这个打闹是持续5秒还是20秒”——持续时间本身就是一个重要的告警等级参数。数据集的格式设计也方便继续做时序数据的扩展。如果每张图像从视频中的时序信息同步导出并保留对应的视频帧号使用这份数据集作为种子结合主动学习策略去扩大标注量就会很容易。对自我标注不确定的样本先用模型预测一遍再人工挑拣低置信度或高不确定性样本进行补充标注这种迭代模式可以低成本地把数据规模从1706张扩展到5000张以上。6.2 半监督学习和主动学习的实践空间1706张数据虽然完成了初始模型训练但实际猪场场景的多样性远不止这些。不同栏舍结构、不同品种猪只、不同季节光照条件都会造成模型性能波动。如果标注成本有限半监督学习是个高性价比的路线先用现有数据训练一个基线模型对新增无标注视频做预测挑出置信度较高的预测结果作为“伪标签”加入训练集置信度较低的则流转给人工标注。这个策略在农业场景里被验证是有效的因为猪场环境中目标类别相对封闭、背景相对固定模型的伪标签可信度通常比开放世界场景高得多。具体操作时用一个简单的规则伪标签仅保留置信度大于0.8的框并且同一目标在连续多帧中都被一致检测到才采纳否则丢弃。这样处理可以有效减少伪标签里的噪声框保持训练集整体质量稳定。后续每一次模型迭代后都可以重复这个过程数据量和模型精度呈现一种互相促进的关系。6.3 从单帧检测到多模态融合的方向猪只异常行为虽然依赖视觉检测但完全靠视觉有一个天然局限图像无法感知声音和其他环境变量。猪群发生激烈打斗时伴随的高频尖叫在视频帧里只是寥寥几个像素的变化声音信号反而更加明确。如果在此基础上叠加音频特征比如分贝峰值、频率分布行为告警系统的准确率还能上一个台阶。现实中我们项目的下一步方向就是把红外热成像与可见光做特征级融合用热成像区分猪只是否发烧、用可见光识别具体行为两者结合能同时解决健康监测和行为识别两个问题。这类多模态融合对于智能化养殖长期演进的意义很大。猪场最需要的不是一个“孤岛式”的视觉检测模型而是把视觉、音频、环境传感器数据统一接入处理平台实现跨模态的关联分析。比如氨气浓度升高本来就容易诱发射尾行为如果环境传感器监测到氨气超标的同时视觉模型报告咬尾事件增加平台就可以自动联动通风设备从根源上缓解行为问题。这种全局视角下的数据集就不再只是一个“模型输入”而是整个决策系统的重要锚点资产。我个人在实际操作中的体会是做农业AI项目很多时候难的不是模型结构选得多先进而是把“业务场景里到底要检测什么、怎么定义这个行为的边界”想明白。数据集里的每一帧图像、每一个标注框都是对业务规则的一次表达。把这份1706张的数据集用透训练出稳定可用的行为检测模型之后再反过来和猪场饲养员聊需求你会发现整个项目的抓手已经完全不一样了——大家关心的不再是你用的是什么模型而是你的系统能不能在猪咬第一口的时候就把告警信息推送过来。
阅读完成 · 觉得有帮助？
