★ FEATURED ARTICLE 【免费下载链接】SearchCLIOpen CLI for integrating AI search, recommendation, and conversational retrieval into agent systems and business systems项目地址https://gitcode.com/gh_mirrors/se/SearchCLI点击查看免费下载SearchCLI 是面向火山引擎 AI Search 的开源命令行工具其数据集管理能力是 AI 搜索落地的第一步。本文将带你用 8 个vs dataset命令完整跑通数据集创建、数据导入与Schema 校验三大核心流程帮助新手快速把一份业务数据变成可被搜索的数据集。一、为什么数据集管理是 AI 搜索的起点在 SearchCLI 中搜索vs search run、推荐vs recommend run、对话式检索vs chat run都运行在应用 数据集之上。数据集Dataset承载你的结构化业务数据而 Schema 定义了哪些字段参与检索、哪些字段用于筛选。一句话概括数据集的工作流准备数据(JSONL) → 创建数据集 → 导入数据 → 校验Schema → 绑定应用 → 发起搜索本文聚焦前四步覆盖以下 8 个命令命令作用一句话说明vs dataset create创建数据集定义名字、类型和字段结构vs dataset ingest数据导入一键式入库或向已有数据集写数据vs dataset import-url申请上传地址拿到预签名上传 URLvs dataset infer-schemaSchema 推断让服务自动分析字段结构vs dataset infer-result查询推断结果轮询任务直到 Successvs dataset validate-schemaSchema 校验本地校验并渲染字段角色vs dataset list列出数据集支持类型/名称/应用过滤vs dataset get查看单个数据集获取完整详情命令实现入口见 product-commands.ts全部命令速查可参考官方文档 docs/COMMANDS.md。二、快速上手两种数据集创建方式方式 1手动指定 Schemaschema-only 路径适合字段结构明确、想完全掌控数据集的人vs dataset create --name demo-items --type item --schema schema.json常用可选参数--industry行业提示如e_commerce、video、news--language语言提示如zh、en--theme主题提示--typemulti_modal时必填可选general|e_commerce|content|long_video--dry-run只做服务端校验不真正落库强烈建议先跑一遍仓库中提供了一份完整的创建载荷示例包含 Schema 与 FieldDescMap可直接参考dataset-create.json。方式 2整包创建推荐当你已经拥有dataset-create.json这类完整载荷时直接整包提交可以让 Schema 和 DataFieldConfig 保持一致vs dataset create --data dataset-create.json 新手提示--name/--type/--schema适合手工建库--data适合由工作流产出的完整载荷。两者二选一即可。三、数据导入一条命令完成 V2 全链路vs dataset ingest是数据导入的核心命令支持两种模式。模式 1V2 全链路入库--file 模式vs dataset ingest --file ./items.jsonl --type item --industry e_commerce --language zh这条命令会自动串联执行预签名上传 → Schema 推断轮询 → 创建数据集。整个过程无需手动切换命令加--dry-run还能先验证不落库。对于图文/视频类数据还可以控制异常处理策略vs dataset ingest --file ./products.jsonl --type multi_modal \ --theme e_commerce --abnormal-image-policy skip --industry e_commerce --language zh其中--abnormal-image-policy skip表示丢弃异常图片行改为block则整次导入失败——生产环境建议用block保证数据质量。模式 2向已有数据集写入数据--fields 模式数据集已建好只写数据vs dataset ingest --dataset-id 123 --fields items.json仓库里有一份真实的 JSONL 商品数据样例每行一个 JSON 对象展示了 title、description、price、image_url 等典型字段items.jsonl。 数据来自数据库可先用vs connector export --source mysql ...导出为本地 JSONL再交给ingest --file详见 COMMANDS.md 中 connector 部分。四、Schema 推断与校验4 步手动链路ingest --file虽然一键全包但理解底层链路能帮你排查问题。V2 入库的完整链路是import-url → infer-schema → infer-result → create。第 1 步申请上传地址vs dataset import-url --file-name items.jsonl返回FileUrl与FileKey把本地文件 PUT 到FileUrl即可。第 2 步提交 Schema 推断任务vs dataset infer-schema --tos-key onboarding/items.jsonl --type item提交后返回TaskID。可以顺带提供--industry、--language等提示提升推断准确度。第 3 步轮询推断结果vs dataset infer-result --task-id task_abc123Status会从Pending/Running变为Success或Failed。成功后返回 Schema、FieldDescMap 和 DataFieldConfig样例结果可参考 infer-result.json。第 4 步本地校验与可视化确认vs dataset validate-schema --input ./infer-result.json --dataset-type multi_modal该命令在本地渲染出可读的 Schema 确认块字段表、字段角色、告警无需再发请求。类型参数决定校验规则multi_modal校验主键 BizAttr、IndexFields 与角色引用user_event行为数据集使用不同的主键机制跳过上述检查⚠️ 常见坑infer-result是单次调用不自动轮询ingest --file模式才内置了轮询逻辑。手动链路下需要自己重复执行第 3 步直到Success。五、日常管理list / get / update / delete建完库之后的日常操作vs dataset list # 列出全部数据集 vs dataset list --type item --name demo # 按类型/名称过滤 vs dataset get --id 123 # 查看单个数据集 vs dataset get --id 123 --full # 返回原始完整响应维护类命令不属于本文 8 命令但高频使用vs dataset update --id id [--version n] [--description text] [--schema schema.json]更新描述或 Schema 版本vs dataset delete --id id [--force]删除数据集update 命令实现见 update.tsdelete 命令见 delete.ts。六、新手避坑清单先 dry-run后真跑create和ingest都支持--dry-run先验证载荷再落库避免白建库。multi_modal 必须带 theme--typemulti_modal时--theme是必填项否则参数校验直接报错。type 取值别搞混类型只允许user_event或multi_modal行业别名如ecommerce会被自动规范为e_commerce。别手写 Schema 猜字段优先用ingest --file全链路让服务推断再用validate-schema本地复核效率更高。异常数据策略要显式声明默认行为在不同场景风险不同skip与block请按数据质量情况明确选择。七、延伸学习全部命令与参数速查docs/COMMANDS.md数据集命令帮助文案与默认值定义src/app/product-commands.tsV2 入库验收测试脚本含完整链路调用scripts/suites/v2-onboarding.cjs更多入库示例与技能文档skills/vs-item-onboarding/SKILL.md掌握以上 8 个命令后你可以从一份 JSONL 数据出发独立完成数据集创建、数据导入和 Schema 校验为后续的vs search run搜索验证打好基础。赞分享【免费下载链接】SearchCLIOpen CLI for integrating AI search, recommendation, and conversational retrieval into agent systems and business systems项目地址https://gitcode.com/gh_mirrors/se/SearchCLI点击查看免费下载相关推荐Phoenix TypeScript 实验数据集指南用 arizeai/phoenix-client 创建与管理评估数据集Phoenix TypeScript 实验数据集指南用 arizeai/phoenix client 创建与管理评估数据集 本指南以 Phoenix 的 T可观测性AI 评测LLMOpsAI 应用人工智能Docker 数据卷创建与管理终极指南10个核心命令详解Docker 数据卷创建与管理终极指南10个核心命令详解 Docker 数据卷是实现容器数据持久化的关键技术能够帮助开发者在容器生命周期之外安全存储和管理数教程用 Langfuse 给 LLM 账单做 CT 扫描3 天砍掉六成的隐形开销用 Langfuse 给 LLM 账单做 CT 扫描3 天砍掉六成的隐形开销 周五下午监控群里弹出一条消息本月 LLM API 账单环比涨了 43%但没人工智能LLMOps可观测性AI 评测LLM 网关后端前端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
