★ FEATURED ARTICLE 做行为检测数据集的人多少都会碰到同一个尴尬目标小、动作快、语义还抽象。比如相机刚刚架好屏幕里那只蚊子到底算“正在吸血”还是“准备吸血”经常两个标注员能给出三种答案。最近我在整理埃及伊蚊吸血行为检测数据集总共7800张已标注图像全部转成YOLO格式可直接用来训练目标检测模型。项目做下来最关键的部分不是“套个框框住一只虫”而是把昆虫行为学里的关键动作变成机器可学习的类别最终服务于病媒生物监测、驱避剂评价这类落地场景。蚊虫研究里的“吸血行为”不仅是行为学问题更直接关系到病原体传播效率。埃及伊蚊是登革热、寨卡、黄热病的主要传播媒介雌蚊只有吸血时才可能把病毒传给人。过去我们想统计“蚊子到底吸了几口”“停留了多久”只能靠人蹲在视频前逐帧数六百帧就眼花更别说连续监测几条饲养笼的视频。基于YOLO的目标检测方案本质上就是把专业研究者的肉眼经验迁移到模型里让算法自动定位画面中的蚊子个体并区分它处于哪一个吸血行为阶段这比传统红外系统、人工计数都更稳定。下面我把数据采集、标注规范、模型训练和部署经验完整拆开讲这些都是踩坑踩出来的实际操作心得。如果你是做昆虫行为、公共卫生监测或者小目标检测的接下来这份记录可以直接拿来当参考。1. 为什么是埃及伊蚊以及吸血行为检测的真实价值1.1 埃及伊蚊的行为学特征与传播风险埃及伊蚊Aedes aegypti不是普通“蚊子”那么简单。它属于高度家栖物种幼虫孳生在室内外小积水容器成蚊白天活动特别喜欢叮人而且叮咬过程经常“多段式”——停落、试探、刺入、吸血、拔针、飞离。这个过程中病毒传播一般发生在刺入和吸血阶段雌蚊的唾液会随口器注入宿主皮肤。研究吸血行为的意义不只是观察它“吃没吃饱”更重要的是量化媒介—宿主接触概率。比如说一只蚊子在实验鼠或志愿者手臂上完成一次完整吸血需要多久中途有多少次试探性刺入吸血中断后会不会换部位重新攻击这些参数是传播动力学模型里最缺的实测值。过去这些数据几乎靠 Singer 式人工观察或者红外光栅记录只能笼统感知“进入/离开”无法细究口器是否刺入。而吸血行为检测数据集就是把“停留”和“真叮咬”之间的鸿沟填上让算法替我们盯住每一个行为切换时刻。1.2 为什么视觉目标检测比传统传感方案更合适传统上蚊虫吸血行为监测有几类方案但各有硬伤。一类是红外光栅计数蚊子穿过光束会触发记录但它只告诉你“有东西过去了”没法分辨是吸血、试探还是自然飞行一类是手动录像回放带时间戳但极耗人工还有一类是生物电信号采集比如用电极测刺入动作准确但只适合单只束缚蚊完全脱离自然行为场景。机器视觉尤其 YOLO 这类目标检测算法能做到三件事第一全员级个体定位同一帧里有多少只蚊子在吸血、多少只是停落一个模型都能输出第二行为时空轨迹切片连续帧检测结果可以拼成完整行为时间线第三边缘端实时推理微型摄像头加一块 Jetson 设备就能放在饲养笼旁边数据传回自动完成行为统计。这正是我选 YOLO 而不是训练一个传统分类网络的原因——我们需要的是目标位置不是只给一个“有蚊子”的全局标签。1.3 这套数据集的定位和可扩展方向7800张YOLO昆虫行为数据集的价值在于它同时覆盖“目标检测基础任务”和“细粒度行为分类任务”。模型不光要知道图里有蚊子还要知道蚊子此刻处于什么行为阶段。扩展到实际场景时可以继续迁移到白纹伊蚊、按蚊、库蚊等其他蚊种只需少量新标注做微调。另外病媒生物监测站、蚊虫饲养实验室、杀虫剂药效测试机构都可以直接用这套数据集作为预训练基础。2. 数据采集、清洗与标注——最劝退但最关键的部分2.1 饲养与吸血诱导没有标准血源行为采集无从谈起做行为数据首先要让蚊子真的有吸血机会。实验室里用的是埃及伊蚊敏感品系成蚊饲养在纱笼中保持温度26℃±1℃、相对湿度80%左右、光周期12小时光照/12小时黑暗。吸血行为采集前要先把雌蚊饥饿处理12到24小时但又不能饿到活力下降这个平衡很微妙饿太久蚊子会直接乱飞不找宿主饿太短攻击意愿低。我的经验是16小时饥饿诱导比较稳定这时候雌蚊对热源、气味源的响应明显。吸血诱导用人造膜喂血系统解决比活体动物更方便控制。用拉薄的Parafilm膜作为吸血界面下方放一个加热槽37℃恒温里面的抗凝血通过蠕动泵保持流动。视频拍摄时让蚊子停落在膜上自然吸血同时从侧面记录。这套系统最大的优点是实验边界清晰膜的面积固定蚊子吸不吸血、什么时候把口针刺进膜里都是明确的二分点而且没有志愿者伦理审核问题。2.2 拍摄系统红外补光是蚊虫视频拍摄的破局点蚊子喜欢在弱光或夜间活动实验室里高亮白光会严重干扰吸血行为导致它们到处乱窜不落点。我试过普通LED光源结论是最后拍出来的基本都是“飞行状态”根本没法学吸血。解决思路是转向红外光蚊虫的视觉系统对长波长红外光不敏感但普通CMOS传感器在红外波段有响应加一片红外滤镜过滤可见光后就能让被拍摄的蚊子完全感受不到测光存在。具体设备参考我用的是一块2K分辨率工业相机帧率定在60fps配合850nm红外补光灯和一盒红外滤镜。镜头选择需重点考虑目标视场——观察箱尺寸大概是10cm×10cm×10cm所以镜头焦距是8mm到12mm之间能保证画面覆盖整个箱体同时单只蚊子至少包含30×30像素区间。这个尺寸很关键后面在YOLO小目标优化部分还会提到。帧率60fps不是随意定的吸血动作中的“试探性刺入”可能只持续几十毫秒24fps录像容易漏掉关键帧60fps既能记录细节也不会产生太多冗余帧。我的筛选流程是先录10分钟视频然后均匀间隔抽帧得到大约8500张原始图像最终清洗到7800张。2.3 行为分类体系怎么定边界比想象中难数据集的分类体系决定了模型学什么。我最终使用五分类free_fly飞行、standing停落、probing寻找吸血点或用口器试探、feeding口针已刺入膜面并开始摄取血液、departure拔针并准备飞离。最细的是“探针”和“吸血”的边界非专业人士看视频会觉得蚊子“好像在戳”但到底有没有刺透膜根本看不清。我定义得很物理口器与膜表面接触且腹部开始出现膨胀时才标feeding单纯反复戳刺动作标probing。建议你也给自己立一条可复核的标准比如“以口针刺入吸血界面且在接下来10帧内持续停留为feeding”防止标注员之间产生分歧。只做二分类“吸血/不吸血”更简单但对后续流行病学分析不够用。比如驱避剂测试中需要区分蚊子停落次数和实际刺入次数停落多次但没探针说明驱避剂主要阻止停留probing和feeding分开则能进一步显示它是否影响吸血成功率。行为分类粒度越细下游分析空间越大。2.4 标注流程、质控和一致性验证我们用了开源标注工具CVAT云服务器上多人同步标注。每张图严格按统一规则画矩形框包含完整翅膀和腹部不要只框躯干因为模型需要利用整体形态和腹部膨胀程度区分行为状态。标注质量直接影响训练指标但人总会有手滑的时候。我的质控流程分三步第一轮由两位标注员独立标注同一批图计算类别标签一致性不一致的地方立即开会重定标准第二轮由领域负责人抽检15%图像重点看feeding样本有没有标错第三轮是用预训练YOLO模型跑一遍数据把模型预测结果中置信度低于0.3的样本列出来做人工复核这种半自动方式能揪出许多边界样本。一个常见陷阱是标注框的大小非常不统一。有人喜欢紧贴虫体有人喜欢多留边比例差异大了之后训练出来的预测框会出现系统性偏移。我们统一规定框外边缘距虫体轮廓不超过2像素最终汇总后统计所有标注框宽高分布把极宽或极窄的异常框找出来重标。3. 7800张YOLO数据集的组成与格式3.1 目录结构与标注对应的标准YOLO格式既然标题叫“7800张YOLO昆虫行为数据集”落地格式必须让使用者开箱即用。我按YOLO标准组织目录aedes_behavior_dataset/ ├── images/ │ ├── train/ # 6200张 │ ├── val/ # 1000张 │ └── test/ # 600张 ├── labels/ │ ├── train/ # 与图片同名txt文件 │ ├── val/ │ └── test/ ├── data.yaml └── classes.txt每张图片对应的txt标注文件内容长这样一行代表一个目标类别编号、中心坐标x、中心坐标y、框宽、框高均归一化到0到1之间。比如2 0.5125 0.6083 0.0738 0.0412 3 0.8012 0.2741 0.0459 0.0336类别编号在data.yaml里定义比如0对应free_fly1对应standing2对应probing3对应feeding4对应departure。这种格式的好处是通用性极强无论是YOLOv5、YOLOv8还是以后更新的版本数据目录都不用变。data.yaml核心内容path: /your_path/aedes_behavior_dataset train: images/train val: images/val test: images/test nc: 5 names: 0: free_fly 1: standing 2: probing 3: feeding 4: departure3.2 数据划分不只要随机还要按视频片段分层很多初学者直接random split结果训练集和验证集里出现同一段视频的连续帧造成指标虚高。因为相邻帧高度相似验证集里如果有第100帧训练集里可能就有第98帧模型基本是“背答案”。我的方案是按视频拍摄批次划分先把约40段原始视频片段编号每段视频的所有抽取帧视为一个整体然后把视频片段随机分入train/val/test。这样验证集和测试集里的画面来源与训练集完全不同能真实反映模型对新场景的泛化能力。同时保证分类均衡。统计每个类别的样本数standing和free_fly数量多probing和departure数量偏少feeding适中。我在训练集里对probing和departure做了适当的过采样复制但不带动增强的原始复制可能造成过拟合所以真正稳定的做法是后续训练时配合适度数据增强。这一点在调参数时很重要大批量复制的样本会让模型反复看同一类特征迭代几个epoch后就在这些复制样本上过拟合。3.3 哪些数据增强适合昆虫行为检测哪些会帮倒忙YOLO自带mosaic、随机仿射、色调扰动等增强策略但具体到这类深色小昆虫必须筛选。我保留的有mosaic、随机水平/垂直翻转、小角度旋转±10°、缩放平移、轻微HSV色域扰动。这些都是几何层面变化不影响“吸血行为”本身的语义例如旋转90°后蚊子仍然在吸血但要注意mosaic叠加时多个蚊虫框可能靠得很近对密集场景检测有帮助。不建议用过于强烈的色彩扰动比如把黑色背景变成紫色或把蚊子的深色腹部调成青色。埃及伊蚊辨识本身高度依赖深色纹路和腹部膨胀程度色彩偏移过大会让模型去学颜色分布而忽略结构纹理。我的经验是HSV调整幅度控制在0.02以内。也不推荐用随机擦除因为蚊子本身目标太小擦除一部分像素后真实特征会被严重破坏。4. 用YOLO训练昆虫行为检测模型的实操记录4.1 环境搭建和训练设备选择我分别在PC和边缘设备上训练过。PC配置是i9-13900K、RTX4090 24G、64G内存跑YOLOv8n只要几分钟一个epochyolov8m大概十几分钟整体比较舒适。边缘设备用NVIDIA Jetson AGX Orin也成功搭过训练环境但更推荐的做法是在PC或服务器训练完再导出到边缘推理而非直接在Orin上跑训练流程。环境搭建和平常跑深度模型差不多核心依赖是PyTorch和ultralytics库。用conda创建环境conda create -n yolo_dataset python3.10 -y conda activate yolo_dataset pip install torch torchvision pip install ultralyticsultralytics版本我建议锁定在2.x稳定版不要盲目追最新。新版本偶发配置变动如果只是复现已有数据集结果稳定优先。如果用的是Jetson AGX Orin还需要对应版本的JetPack系统和预编译的PyTorch这个会略麻烦但推理部署完全可行。4.2 训练命令和关键参数调优逻辑直接用官方CLI训练第一次跑推荐YOLOv8n作为基线因为模型小、验证快能快速判断数据和标注有没有问题。完整命令yolo detect train \ data/path/to/data.yaml \ modelyolov8n.pt \ epochs100 \ imgsz640 \ batch16 \ device0 \ patience15 \ projectbehavior_det \ namebaseline参数选择不是拍脑袋。imgsz640是兼顾小目标检测和显存占用的起点。很多昆虫研究者第一反应是用1280甚至1536高分辨率因为蚊子是小目标但直接上大分辨率会让训练时间翻几倍而且如果GPU显存只有8Gbatch只能降到8以下模型稳定性反而变差。我的建议是先跑640验证数据再单独测试1280作为增强实验。batch16在RTX4090上合适更小的显存建议8。patience15表示连续15个epoch验证集mAP没提升就早停避免过度拟合。如果模型收敛后mAP仍不理想不要急着换大模型。先从“数据端”检查标签有没有错、类别有没有严重不均衡、验证集划分是否科学。我的训练过程里第一次遇到mAP50只有0.82但手动看预测效果很差后来发现是验证集和训练集混了相同视频片段重划分后指标掉到0.75手动预测效果反而正常。指标和泛化能力是两回事别只盯着数字。4.3 小目标检测专项imgsz、tiling和SAHI埃及伊蚊在画面中大约占40×60像素放在640分辨率里确实也算小目标。单纯提高imgsz到1280能涨几个点mAP但性价比最高的其实是tiling。所谓tiling就是训练和推理时把大图切块让每个小块中的蚊虫目标相对变大。我们拍的是10cm×10cm×10cm观察箱2K分辨率整图直接切不开实际我用704×704滑窗重叠裁剪每张原图生成4个patch然后单独训练YOLOv5s模型效果显著。推理时也做tiling最后把各patch检测框映射回原图坐标再做NMS去重。另一个选择是使用SAHI库它会自动切图并合并检测结果不改变YOLO模型结构但会一定程度增加推理时间实时性要求高的话慎用。我最终的实时方案是把输入分辨率固定在1024同时打开YOLOv8的推理时half精度推理在AGX Orin上单帧推理速度约45ms完全满足20fps监测需求。4.4 模型导出、TensorRT加速与边缘部署模型要落地到监测现场不能只在导演台上跑。我用的流程是训练完最后一个epoch用best.pt导出ONNX再在Jetson AGX Orin上把ONNX转成TensorRT引擎。核心命令yolo export modelbest.pt formatonnx imgsz1024导出时OpenCV环境下记得设置opset12以上否则后续TensorRT转换容易报算子不支持。接着在AGX Orin上用onnx2trt或trtexec工具转换我用的命令简化形式如下trtexec --onnxbest.onnx \ --saveEnginebest_fp16.trt \ --fp16 \ --maxShapesimages:1x3x1024x1024fp16对昆虫检测足够了。实测精度比fp32损失不到0.02 mAP但推理速度接近翻倍。部署端我用Python调用TensorRT引擎配合摄像头线程连续读取模型输出每帧的检测框和类别再对同一只蚊子做IoU跟踪从而统计它的行为状态持续时长。4.5 评估指标怎么看以及一个训练结果实例我最终训练YOLOv8s分辨率1024划分和标注全部重新清洗后得到的指标大概如下类别PrecisionRecallmAP50mAP50-95free_fly0.910.830.880.61standing0.940.890.950.68probing0.820.780.840.55feeding0.970.950.980.74departure0.870.800.860.58全部0.900.850.900.63probing和departure的recall相对更低符合预期——这两个阶段持续时间短、姿态模糊容易和standing混淆。后面在常见问题里我会给出具体缓解办法。如果你是做类似行为数据集评估指标不要只报一个整体mAP最好把每个行为类别单独列出来因为不同行为类别难度差异很大整体mAP会掩盖弱点。5. 常见问题与排查技巧实录5.1 标注不一致导致mAP虚高的问题第一次我们让两个标注员分别标了500张图整体mAP特别高但我自己看预测框总觉得不对劲。后来统计交并比和标签一致性才发现两位标注员对probing的判定标准差异极大一个人把“口器刚碰到膜”就标probing另一个坚持要看到明显下压才标。两个标准混在一起模型学到的是一个“平均判断”在单一标准验证集上看起来还行但实际连续视频预测会出现抖动。解决方法是重新定义行为边界并增加一次全量复核。对边界类别标注员每次判断都用视频前后5帧确认而不仅看单帧。5.2 类别不平衡如何保住少数类别的召回probing和departure的帧数最少相对standing差了接近3倍。单纯过采样会让模型反复记忆同一小段视频我采取的是两个组合策略第一在训练数据层面对这两个类别的实际帧做轻微运动模糊和缩放复制模拟不同距离、不同帧率下的形态变化第二在损失函数上对少数类别增加权重。用ultralytics时可以通过修改数据迭代器或直接用类别权重参数也可以换用更关注难例的Focal Loss思路。实际提升后probing的recall从0.72提到0.78不算巨幅增长但持续了几十次实验都很稳定。5.3 红外场景中蚊子与背景对比度低导致漏检红外模式下蚊子表面和深色背景有时候几乎融为一体人眼都很难分辨模型漏检就更明显。我试过几个方向最优解是从拍摄端解决在观察箱背后加一块均光红外反光板让蚊子成为画面中的阴影目标对比度立刻提升如果视频已经拍完只能在预处理阶段用自适应直方图均衡化CLAHE提对比度但会引入噪声需要平衡。训练侧我把红外视频帧同时做普通模式和CLAHE增强模式再分别作为两个训练样本模型对低光照场景的鲁棒性提升明显。5.4 预测框抖动与行为状态连续性问题目标检测是逐帧独立的吸血行为却是连续过程。模型偶尔会在几帧中把feeding误判成probing造成行为时间线断裂。最简单的工程方案是加一个滑动窗口后处理当前帧的类别要和前后几帧进行投票比如前后各3帧6帧里4帧以上一致才切换状态。我实测后误报率降低一半。如果做更正式的研究还可以用ByteTrack这样的跟踪器把同一目标在不同帧的检测结果关联起来再在跟踪轨迹上做状态机。跟踪层的另一个收益是能自动统计“单只蚊子吸血持续时长”和“吸血中断次数”这些才是流行病学模型真正需要的结构化参数。5.5 从埃及伊蚊迁移到其他蚊种注意事项迁移学习是这套数据集的重要使用场景。从埃及伊蚊微调到白纹伊蚊或库蚊通常每类行为只需要新标注100到300帧带上预训练权重再迭代二三十轮就够了。但有个坑不同蚊种体色、花纹差异大尤其是腹部膨胀后的形态大小不同微调时如果新数据太少模型容易忘记老特征需冻结backbone前几层只训练后半部分或者降低学习率至原来的十分之一。经验是pre_lr0.0001能达到蓝图效果又不会破坏原有特征。结尾的个人经验这个项目结束之后我最深的一点体感昆虫行为这类小目标数据集的瓶颈往往不在模型而在数据语义的标准化。你花三周把吸血阶段定义清楚后面训练只用三天就能收到好结果反过来定义模糊直接开标模型能跑通但永远不靠谱。最后再分享一个操作细节每次启动新一批标注前先用一个标注工具导出的随机小批量样本去跑一次已有模型把预测结果打印出来贴在标注规范文档里让标注员直观看到“模型眼中的概率边界”这个动作能显著减少标注员之间的标准漂移。希望这份记录能让你在做自己的YOLO行为数据集时少走几步弯路。
阅读完成 · 觉得有帮助？
)
