★ FEATURED ARTICLE 自动驾驶数据集计算机视觉【免费下载链接】waymo-open-datasetWaymo Open Dataset项目地址https://gitcode.com/gh_mirrors/wa/waymo-open-dataset点击查看免费下载Waymo Open Dataset 官方仓库中的 LOG.md 记录了从 2021 年 3 月到 2025 年 4 月期间数据集与代码库的历次版本更新。本文以该更新日志为骨架梳理 Perception感知、Motion运动、E2E Driving端到端驾驶、Object Asset、Sim Agents 等数据集与挑战的演进路径并结合仓库内实际源码proto 定义、指标实现、教程与配置文件逐条验证每条更新的落地细节帮助研究者和参赛者在面对不同版本数据、指标与提交格式时快速定位对应代码与使用方法。一、更新日志总览数据集版本与配套代码的协同演进从 LOG.md 可以清晰看到 Waymo Open Dataset 的演进遵循数据集新版本 配套代码指标、proto、教程的节奏主要里程碑包括时间主要发布内容关联文档/教程2025-04E2E Driving 数据集扩增至 2,037 训练 runs新增 1,505 runs 测试集与 479 runs 验证集含 rater feedback 标签与场景标签发布 Rater Feedback Score 计算代码tutorial_vision_based_e2e_driving.ipynb2025-03发布 E2E Driving 训练集相机图像 高层指令Motion 指标修复、Sim Agents 指标扩展、交通灯违规指标新增end_to_end_driving_data.proto2024-10Motion 数据集 v1.3.0改善交通灯信息的时间对齐—2024-04允许使用公开开源模型的冻结预训练权重提交 metadata 新增必填字段motion_submission.proto 等2024-03Perception v1.4.3 / v2.0.1改进 3D 语义分割标签Motion v1.2.1发布相机 token 与 embedding行为分桶 mAP 逻辑改进tutorial_womd_camera.ipynb2023-12pip 包 v1.6.1修复 WOSAC 碰撞/离路有效性检查 bug—2023-08发布超过 120 万个对象中心资产vehicle/pedestrian含点云序列、相机 patches 与 2D panoptic 分割tutorial_object_asset.ipynb2023-03Perception v2.0.0模块化格式与 v1.4.2Motion v1.2.0LiDAR 数据四大 2023 挑战配套代码tutorial_v2.ipynb 等2022-12 / 2022-06Perception v1.4.1 / v1.4.02D video panoptic segmentation 标签改进与引入tutorial_2d_pvps.ipynb2022-04/05v1.3.x3D Camera-Only 检测挑战LET 指标、测试集、num_top_lidar_points_in_box字段tutorial_camera_only.ipynb2022-03Perception v1.3.03D 语义分割、2D/3D keypoint 标签与指标、Occupancy Flow 挑战、soft mAPtutorial_3d_semseg.ipynb2021-09Motion v1.1车道连接、车道边界、车道邻居lane_neighbors_and_boundaries.md2021-03发布 Motion 数据集10 万 segments 轨迹与 3D 地图实时检测挑战说明latency/README.md需要说明的是日志中某些条目链接指向 waymo.com 官网或 GitHub 仓库本文只依据当前仓库内的实际代码展开官方站点的外部链接不在此赘述。二、2025 年更新End-To-End Driving 数据集与 Rater Feedback 指标2.1 E2E 数据集结构v1.0.02025 年 3 月日志发布了 E2E Driving 训练集2025 年 4 月日志进一步给出完整规模训练集扩充 200 runs总计2,037 runs测试集新增1,505 runs可供下载验证集479 runs并且首次附带 rater feedback 标签与场景标签scenario tags供参赛者验证模型表现。E2E 数据集的格式定义在 end_to_end_driving_data.proto 中核心消息为E2EDFrameframe复用 WOD 的 Frame只填充context.name帧唯一标识、context.camera_calibrations所有相机标定以及frame.images相机图像future_states/past_states4Hz 采样、未来(0, 5s]与过去(-4s, 0]的 ego 状态由EgoTrajectoryStates承载含pos_x/pos_y/pos_z、vel_x/vel_y、accel_x/accel_y其中未来位置 x、y 是预测目标z 仅用于可视化intentEgoIntent.Intent枚举表示当前时刻 ego 车辆的驾驶意图取值包括GO_STRAIGHT、GO_LEFT、GO_RIGHT以及UNKNOWNpreference_trajectories带人工评分rater score的未来轨迹仅对部分帧有效最多 3 条评分范围为[0, 10]包含端点其他帧中该字段被标记为无效评分为 -1 或留空。坐标系统约定源码注释右手坐标系x 前进、y 左、z 上原点位于 ego 车辆后轴中点。2.2 Rater Feedback Score 指标实现2025 年 4 月日志的关键代码更新是公开了 Rater Feedback Score 的计算代码并更新了 Colab 教程演示用法。对应实现位于 rater_feedback_utils.py核心函数为get_rater_feedback_score其输入输出约定批大小B、推理轨迹数I、人工标注轨迹数P、时间步Tinference_trajectories: [B, I, T, 2] # 模型推理轨迹仅 x、y inference_probs: [B, I] # 各轨迹的概率 rater_specified_trajectories: [B, P, T, 2] # 人工标注参考轨迹 rater_feedback_labels: [B, P] # 人工评分0~10 init_speed: [B] # 初始速度用于缩放阈值关键可调参数与默认值参数默认值含义lat_lng_threshold_multipliers(1.0, 4.0)横/纵向阈值乘子decay_factor0.1信任区域之外的分数衰减因子frequency4Hz轨迹采样频率length_seconds5s轨迹长度default_num_of_rater_specified_trajectories3每帧默认使用的人工轨迹数minimum_score_outside_trust_region4.0未完全落入信任区域的推理轨迹的最低分实现要点可从源码确认预处理通过process_rater_specified_trajectories将人工轨迹在轨迹条数和waypoint 数两个维度上进行截断或补全末尾重复统一为[B, P, T, 2]与[B, P]信任区域trust region以人工标注轨迹为基准在第 3s 与第 5s 两个时刻_THRESHOLD_TIME_SECONDS [3, 5]用位移向量推导纵向方向、90° 逆时针旋转得到横向方向将推理轨迹与人工轨迹的差向量分别投影得到横/纵向距离阈值随速度缩放get_lat_lng_thresholds用np.clip(0.5 0.5 * (init_speed - 1.4) / (11 - 1.4), 0.5, 1.0)生成随初始速度线性缩放的因子乘以基础阈值_BASE_THRESHOLDS [1.0, 1.8]打分横/纵归一化距离取最大后信任区域内分数平直指数为max(normalized_distances - 1.0, 0)衰减为decay_factor^exponent未完全落入信任区域的推理轨迹分数被裁剪到minimum_score_outside_trust_region以上最终按inference_probs加权求和得到每帧的rater_feedback_score可视化设置output_trust_region_visualizationTrue时返回信任区域的中心、宽高与朝向便于调试。该指标的评价逻辑在 end_to_end_driving_metrics.proto 的E2EDMetrics中定义按场景簇construction、intersection、pedestrian、cyclist、multi_lane_maneuver、single_lane_maneuver、cut_in、foreign_object_debris、special_vehicle、spotlight、others分别给出 rater feedback 分数最终average_score为各簇均值另附ade_at_three_sec与ade_at_five_sec按 rater 最高分 ground truth 计算每帧 ADE 再取平均。对应的提交格式见 end_to_end_driving_submission.protoTrajectoryPrediction5s 4Hz共 20 个 waypoint首个 waypoint 在 t0.25s末个在 t5s只含 x、yFrameTrajectoryPredictions.frame_name必须与E2EDFrame.frame.context.name一致E2EDChallengeSubmission需要为测试集每一帧都给出预测并填写submission_typeE2ED_SUBMISSION、account_name、unique_method_name、authors、affiliation、description等元数据。2.3 教程中的实际用法tutorial_vision_based_e2e_driving.ipynb 中给出了两条使用路径一是官方评测服务器会运行 rater feedback metric 并更新排行榜教程中同时提供了简化 ADE 实现便于参赛者自评二是直接调用from waymo_open_dataset.metrics.python import rater_feedback_utils从data_list[i].preference_trajectories读取人工轨迹与评分注意先判断preference_score ! -1以过滤无效帧再调用get_rater_feedback_score计算。三、2025 年 3 月更新指标修复与新数据集配套2025 年 3 月日志在发布 E2E 训练集的同时还包含几项与指标代码库相关的修复与新增均可在当前仓库中找到对应实现Motion Prediction 指标边界修复修复了 box heading 在个别边界情况下发生翻转flip的问题对应实现位于 motion_metrics.ccSim Agents 指标扩展允许模拟维度simulated dimensions与更灵活的场景时间配置使 Scenario Generation 挑战能够复用同一套指标配套教程 tutorial_scenario_gen.ipynb 与 tutorial_sim_agents.ipynbTTC 指标车辆过滤time-to-collisionTTC指标原本对对象是车辆做了若干假设因此对非车辆对象计算不正确本次为 Sim Agents 与 Scenario Generation 引入车辆过滤。在 challenge_2024_config.textproto 中可以看到time_to_collision使用 10-bin 直方图min_val: 0.0, max_val: 5.0, additive_smoothing_pseudocount: 0.1且independent_timesteps: true底层计算函数为 interaction_features.py 中的compute_time_to_collision_with_object_in_front交通灯违规指标traffic light violation当车辆在路口闯红灯时触发同样仅过滤车辆。核心实现在 traffic_light_features.py 的compute_red_light_violation判定条件为对象所在车道有交通信号灯 AND 信号灯处于 STOP 状态 AND 对象越过信号灯停止线使用 bernoulli 分布作为指标聚合方式challenge_2024_config.textproto 中metametric_weight: 0.0Occupancy Flow 指标临时禁用由于 tensorflow-graphics 已弃用occupancy_flow_metrics.py中的 warp 相关函数被临时禁用直接抛出NotImplementedError日志说明将在适配 TF 2.13 后重新启用。这一点在 occupancy_flow_metrics.py 第 324-331 行的注释中有明确说明。四、2024 年更新规则放宽、提交元数据与相机数据4.1 2024 年 4 月公开预训练权重与必填元数据字段规则放宽挑战规则允许使用公开开源模型的冻结预训练权重进行训练含预训练、联合训练或微调以便提交挑战结果提交元数据新增必填字段在 motion、sim agents、occupancy flow 三者的 submission proto 中新增一组字段缺失会导致服务器返回错误。以 end_to_end_driving_submission.proto 为参照同类字段同样出现在 motion/sim_agents/occupancy_flow 的 submission proto 中包括uses_public_model_pretraining是否使用了公开开源 LLM/VLM 进行预训练必填public_model_names使用的开源模型名称与配置num_model_parameters模型参数量估算格式为整数加乘数后缀如200K来自集合[K, M, B, T, ...]必填。4.2 2024 年 3 月Perception v1.4.3/v2.0.1 与 Motion v1.2.13D 语义分割标签改进重点改善 motorcyclist 类别的 ground truth 质量对应挑战教程见 tutorial_3d_semseg.ipynbMotion v1.2.1 相机数据发布 8 个相机front、front-left、front-right、side-left、side-right、rear-left、rear-right、rear的图像token 与 VQ-GAN 预训练模型提取的图像 embedding而非原始图像与 LiDAR 一致覆盖每个 9s 窗口的前 1s配套教程与读取工具见 tutorial_womd_camera.ipynb 与 womd_camera_utils.py相机数据时间对齐修复1.2.1 版本为 LiDAR 数据提供新的时间戳与每时间步更新的位姿变换矩阵修复了部分帧中 LiDAR 与 roadgraph 输入未对齐的问题mAP 行为分桶改进Motion Prediction 挑战的 mAP 指标背后的行为分桶behavior bucketing逻辑被改进源码层面体现在 motion_metrics.cc 的 P/R 统计与轨迹类型处理如把RIGHT_U_TURN并入RIGHT_TURN桶以及 motion_metrics.proto 中的配置结构Sim Agents 相关指标调整运动学指标改用更平滑的速度/加速度估计修复高架桥over-passes场景下 offroad 计算的边界情况重新校准指标配置与 composite metrics 权重simulated collision 与 offroad 以发生率rates而非似然值likelihoods上报。4.3 2024 年 10 月Motion v1.3.0该次更新只有一项内容改善交通灯信息的时间对齐time alignment。五、2023 年更新模块化数据集、对象资产与四大挑战5.1 2023 年 8 月Object Asset 数据集发布大规模对象中心资产数据集包含超过 120 万张图像与 LiDAR 观测对象类别为车辆与行人来源于 Perception Dataset v2.0.0LiDAR 特征多传感器5 个相机 顶部 LiDAR提取的 3D 点云序列支持 3D 对象形状重建所有车辆对象还通过点云形状配准提供了精化的 box 位姿相机特征most_visible_camera的相机 patch 序列、对应相机上投影的 LiDAR 返回、逐像素相机射线信息以及支持对象 NeRF 重建的自动标注 2D panoptic 分割配套教程与读取代码tutorial_object_asset.ipynb、object_asset.py、object_asset_codec.py含编解码与测试。5.2 2023 年 3 月Perception v2.0.0 与 v1.4.2v2.0.0 模块化格式引入 modular 格式用户可按需选择下载组件包含 v1.4.2 除地图外的全部特性教程见 tutorial_v2.ipynb配套实现位于 v2/如 camera_image.py、lidar.py、pose.py 等v1.4.22D video panoptic segmentation 标签新增每像素被多少相机覆盖的 masknum_top_lidar_points_in_box之类的覆盖字段见 dataset.proto新增 3D 地图数据以 polyline/polygon 形式——车道连接、边界、邻居的细节见 lane_neighbors_and_boundaries.md。5.3 2023 年 3 月Motion v1.2.0为训练集新增 LiDAR 数据每个 9s 窗口的前 1s配套教程 tutorial_womd_lidar.ipynb 与读取工具 womd_lidar_utils.py地图数据新增 driveway 入口并调整部分道路边缘边界的高度估计tf_examples 格式的最大地图点数提升至30k、采样间距降至1.0m使地图覆盖与 scenario proto 格式对齐并新增了 scenario proto 到 tf_examples 的转换代码见 scenario_conversion.cc。5.4 四大 2023 挑战配套代码Sim Agents Challengetutorial_sim_agents.ipynb指标代码在 sim_agents_metrics/Pose Estimation Challengetutorial_keypoints.ipynb指标定义见 pose_estimation_metric.md2D Video Panoptic Segmentation Challengetutorial_2d_pvps.ipynbMotion Prediction Challengetutorial_motion.ipynb。5.5 2023 年 12 月pip 包 v1.6.1WOSAC 指标修复修复了 WOSAC 指标中碰撞collision与离路offroad的有效性检查 bug并修改了当对象无效时 collision/offroad 检查的行为。六、2022 年更新感知数据集三大标签能力落地2022 年是 Perception 数据集标签能力快速扩充的一年围绕 2022 年挑战展开2022 年 6 月v1.4.0新增2D video panoptic segmentation标签及配套代码后续在 v1.4.12022 年 12 月改进标签质量教程见 tutorial_2d_pvps.ipynb2022 年 5 月v1.3.2改进 3D 语义分割标签的时间一致性并修复误标点修复 2D keypoint 标签的图像裁剪问题在 dataset.proto 中新增num_top_lidar_points_in_box字段用于 3D Camera-Only 检测挑战2022 年 5 月part 2发布 3D Camera-Only 检测挑战教程 tutorial_camera_only.ipynb在 Python metrics ops 中支持计算3D-LET-APL教程Compute Metrics一节并修复 Occupancy and Flow 挑战的指标实现 bug2022 年 4 月v1.3.1为 3D Camera-Only 检测挑战新增LET-3D-APL 与 LET-3D-AP指标新增 80 段 20 秒相机测试片段在 label.proto 的 LiDAR 标签元数据中新增z 轴速度与加速度修复 dataset.proto 中projected_lidar_labels的不一致Occupancy and Flow 挑战默认配置从 aggregate waypoints 切换为subsampled waypoints见 occupancy_flow_metrics.proto2022 年 3 月v1.3.0新增3D 语义分割标签/教程/指标、2D 与 3D keypoint标签/教程/指标仅行人提供 2D↔3D 对应关系、Occupancy Flow 预测挑战教程与工具并为 Motion Prediction 挑战新增soft mAP指标——soft mAP 在 motion_metrics.cc 中体现为当已为该组联合轨迹找到真阳性时跳过后续重复正样本仅按置信度排序取一次测量避免同一轨迹被重复计数。七、2021 年更新Motion 数据集的诞生与车道拓扑增强7.1 2021 年 3 月Motion 数据集发布Waymo Open Dataset 首次扩展出Motion 数据集包含超过 10 万 segments的对象轨迹与对应的 3D 地图。仓库同步补充了该数据集的支持代码并新增实时检测挑战real-time detection的说明与示例见 latency/README.md配套的 latency 评测代码位于 latency/ 目录含 wod_latency_evaluator.py。7.2 2021 年 9 月Motion v1.1——车道连接、边界与邻居v1.1 版本为地图数据加入了车道拓扑信息完整技术细节见 lane_neighbors_and_boundaries.md要点如下车道连接lane connections每条车道携带一组进入/离开该车道的车道 ID 列表车道边界lane boundaries每条车道关联左右两侧的边界要素boundary features并标明该边界生效的车道区段车道邻居lane neighbors每条车道关联左右相邻车道——即智能体可能变道进入的车道同时改进时间戳精度与stop sign 的 Z 值。八、从日志看仓库定位如何使用这些版本信息快速定位代码当需要复现某一指标或读取某一格式数据时可先对照本表的时间与版本号再到对应 proto 与 metrics 目录确认字段与实现。例如读取 E2E 验证集需处理preference_trajectories中的preference_score而 rater feedback 的计算入口统一在 rater_feedback_utils.py注意版本差异Occupancy Flow 的 warp 函数因 tensorflow-graphics 弃用被临时禁用TF 2.13 环境若需该功能应同步旧版本代码Motion v1.2.1 之前的相机数据存在 LiDAR/roadgraph 时间对齐问题使用时建议取用最新版本提交格式自查2024 年 4 月起 motion/sim agents/occupancy flow以及后续 E2E的提交元数据中uses_public_model_pretraining与num_model_parameters为必填缺失将导致服务器拒绝指标口径Sim Agents 的 collision/offroad 以发生率上报、TTC 与交通灯违规指标仅对车辆对象计算这些口径差异直接影响结果解读与参赛调优。九、总结从 2021 年发布 Motion 数据集到 2022 年补齐感知标签panoptic 分割、keypoint、3D 语义分割、Occupancy Flow再到 2023 年模块化 v2 格式与对象资产、2024 年相机 embedding 与提交元数据规范化直至 2025 年 E2E 端到端驾驶数据集与 Rater Feedback 指标的公开LOG.md 完整呈现了 Waymo Open Dataset 从感知为主走向感知 运动 端到端驾驶的多模态演进路线。对研究者和挑战赛参赛者而言这份日志既是版本导航也是快速定位仓库内配套代码proto、指标、教程、配置文件的索引。赞分享自动驾驶数据集计算机视觉【免费下载链接】waymo-open-datasetWaymo Open Dataset项目地址https://gitcode.com/gh_mirrors/wa/waymo-open-dataset点击查看免费下载相关推荐MiniMax H3 API调用详解3行代码实现文本转视频支持多模态上下文输入MiniMax H3 API调用详解3行代码实现文本转视频支持多模态上下文输入 MiniMax H3是一个通用的全模态生成系统支持对文本、图像、视频和音频大模型多模态媒体生成视频音频Waymo Open Dataset 自动驾驶感知系统开发实战指南Waymo Open Dataset 自动驾驶感知系统开发实战指南 Waymo Open Dataset 作为业界领先的自动驾驶数据集为开发者提供了丰富的传感自动驾驶数据集计算机视觉Yolov13自动驾驶数据集Waymo Open Dataset训练实践Yolov13自动驾驶数据集Waymo Open Dataset训练实践 项目概述 Yolov13作为新一代实时目标检测模型通过超图增强的自适应视觉感知技术人工智能计算机视觉深度学习上一篇oneTBB task_scheduler_observer 详解观察调度器线程进出场实现线程亲和性绑定与自定义调度钩子下一篇如何高效部署Ming-Image-0.1-Design服务vLLM-Omni部署指南与80GB显存硬件要求解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
