★ FEATURED ARTICLE 【免费下载链接】ShareGPT-4o项目地址https://ai.gitcode.com/OpenGVLab/ShareGPT-4o点击查看免费下载ShareGPT-4o 是由 OpenGVLab 开源的多模态训练数据集ShareGPT-4o-102K收录了10 万余条由 GPT-4o 生成的多轮图文对话是目前多模态大模型MLLM微调领域最受关注的开源语料之一。本文将带你快速看懂这份宝藏数据的价值、生产方式与核心亮点帮你在做多模态模型训练时做出更好的数据选型。一句话认识ShareGPT-4o 是什么简单来说ShareGPT-4o 大规模多轮图文混合的对话数据集规模大包含约 102,843 条对话每条都经过结构化整理多轮交互不是一问一答的单轮样本而是更接近真实使用场景的多轮连续对话️图文混合对话中自然穿插图片输入覆盖识图、描述、问答等多种任务形式面向训练数据格式直接面向多模态模型的监督微调SFT拿来即用 它是 MiniCPM-V 2.6 等开源多模态模型训练的核心语料来源之一这也是它出圈的直接原因。数据从哪来GPT-4o 自指令 多轮对话生成ShareGPT-4o 的生产方式借鉴了Self-Instruct自指令思路大致流程如下准备种子指令从多个领域挑选初始指令作为种子GPT-4o 自我博弈让 GPT-4o 同时扮演用户与助手两个角色围绕图片内容展开多轮追问与回答多轮滚动扩展每一轮的问答会作为下一轮的上下文自然延伸出更长的对话链结构化落盘对话与图片按统一格式写入 parquet 文件便于训练框架直接读取这种模型自己出题、自己答、再追问的方式让数据既保留了真实对话的连贯性又保证了任务覆盖的多样性而不像纯人工标注那样成本高、规模小。四大核心亮点为什么它是宝藏数据亮点说明对训练的价值 规模领先10 万 条多模态对话开源领域少见支撑模型充分学习图文对齐能力 质量可控由 GPT-4o 这一强模型生成表达流畅、逻辑连贯微调后模型的回复风格更聪明 多轮为主长上下文、多轮追问贴近真实交互提升模型的多轮跟随与上下文理解能力 任务多样图像描述、视觉问答、图文推理等场景自然分布一份数据覆盖多种下游能力这正是它被称为多模态训练宝藏数据的关键在开源社区里能同时满足规模、质量、多轮、多任务四个条件的图文对话语料屈指可数。数据格式与文件组织parquet Git LFS数据集以parquet 列式格式组织每条记录包含对话轮次与图片信息可直接被 Hugging Facedatasets等生态工具加载训练流程对接成本低。由于图片与数据文件体积较大仓库使用了Git LFS大文件存储管理这一点可以从仓库的 .gitattributes 中直接看到——其中为*.parquet、*.safetensors、*.arrow、*.zip等数据类型配置了filterlfs规则。⚠️ 新手注意普通git clone拉下来的 LFS 文件可能是指针文件需要额外执行git lfs pull才能拿到真实数据。如何获取 ShareGPT-4o 数据集快速上手步骤只需 3 步即可在本地准备好完整数据# 1. 克隆仓库 git clone https://gitcode.com/OpenGVLab/ShareGPT-4o.git # 2. 进入目录并启用 LFS cd ShareGPT-4o git lfs install # 3. 拉取大文件数据 git lfs pull完成后数据文件parquet 等即可通过datasets.load_dataset等方式加载进入训练/评估流程。谁适合使用典型场景速览多模态模型微调者直接用于 MLLM 的 SFT 阶段快速提升视觉问答与图文理解能力算法研究员作为多轮对话建模、上下文学习的实验基准语料️AI 工程团队参考其种子指令 多轮自博弈的生成范式自建领域内多模态语料总结一份数据三种价值回顾全文ShareGPT-4o 的价值可以归纳为三点数据价值10 万 GPT-4o 级多轮图文对话开源多模态语料中的硬通货训练价值格式规范、开箱即用显著降低多模态 SFT 的数据准备门槛方法价值其自指令 多轮自我博弈的生成范式为社区提供了可复用的数据生产模板如果你正在寻找一份高质量、多轮、图文混合的多模态训练数据集ShareGPT-4o 值得放进你的候选清单首位。赞分享【免费下载链接】ShareGPT-4o项目地址https://ai.gitcode.com/OpenGVLab/ShareGPT-4o点击查看免费下载相关推荐为什么OpenAPI-Directory是API开发者的必备宝库5大核心价值解析在当今API驱动的开发时代OpenAPI Directory项目为开发者提供了一个无与伦比的资源宝库。这个开源项目被誉为Web API的百科全书汇集了数数据集API设计study-is-wonderful中的宝藏课程李宏毅、李沐等名师系列推荐study is wonderful中的宝藏课程李宏毅、李沐等名师系列推荐 在开源学习资源项目 study is wonderful 中汇集了众多优质的课程ApplicationInsights-dotnet TelemetryClient 完全参考8 种 Track 方法的参数与用法详解ApplicationInsights dotnet TelemetryClient 完全参考8 种 Track 方法的参数与用法详解 Application上一篇7天掌握企业级CRM系统ruoyi-vue-pro客户关系管理完整实战指南下一篇Comet双星开发模式如何通过OpenSpec与Superpowers的融合提升AI开发效率创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
