★ FEATURED ARTICLE 【免费下载链接】C2C[ICLR26] The official code implementation for Cache-to-Cache: Direct Semantic Communication Between Large Language Models项目地址https://gitcode.com/gh_mirrors/c2c4/C2C点击查看免费下载C2CCache-to-Cache是让大语言模型直接通过 KV-Cache 通信的方法。本文带你使用仓库自带的 consistency 检查工具通过配置、单检查点检查、批量检查、曲线可视化 4 个步骤快速掌握如何验证 C2C 通信一致性判断 Rosetta 模型是否真正优于基座小模型。为什么需要验证 C2C 一致性C2C 的核心思想是让接收方小模型Receiver/SLM直接读取共享方大模型Sharer/LLM的 KV-Cache而不是等对方生成文本。训练时只更新 projector投影器参数两个模型本体全程冻结。那么问题来了projector 训练得好不好怎么判断一致性检查consistency check就是最直接的答案让带 projector 的 Rosetta 模型、基座小模型SLM、教师大模型LLM对同一批数据做贪心预测然后逐 token 比对三者输出。如果 Rosetta 的输出比基座小模型更接近教师大模型说明 C2C 通信确实在传递有效语义而不是噪声。最终效果长什么样下面这张来自仓库的长度比例与准确率分析图就展示了 RosettaContext CoT相对小模型基座和大模型的表现 核心指标一句话总结Rosetta 一致率 SLM 一致率 → projector 起效了。一致性检查的三方对比原理检查脚本 check_rosetta_consistency.py 的核心逻辑在compare_models函数中check_rosetta_consistency.py#L153-L269参与方身份角色Rosetta 模型SLM projector 融合被检查的主角SLMBase基座小模型如 Qwen3-0.6B无 projector 的对照组LLM教师大模型如 Qwen3-32B一致性参照标准三个模型对同一条样本做前向传播后脚本只截取label回答区段的贪心预测做逐 token 比对。这里有一个巧妙设计通过kv_cache_index区分区段check_rosetta_consistency.py#L118-L138——指令部分用[1, 0]启用 projector让 C2C 通信发挥作用回答部分用[-1, 0]不做投影直接由小模型自己解码。这样测得的一致率才能真实反映通信带来的增益。4 步完成一致性检查第 1 步准备配置文件所有参数都放在一个 JSON 里仓库自带示例 rosetta_consistency_config.json分 4 个区块{ dataset: { type: LLMGeneratedChatDataset, kwargs: { split: train, max_word_count: 1024, data_path: ... } }, models: { slm: Qwen/Qwen3-0.6B, llm: Qwen/Qwen3-32B }, rosetta: { checkpoints_dir: .../final, include_response: true, is_do_alignment: false, alignment_strategy: first }, training: { device: cuda, dtype: bfloat16, max_length: 1024, max_samples: 100, print_every: 50, debug: true, debug_samples: 3 } }区块关键参数说明datasettype、data_path检查用的数据集由 create_dataset 统一加载modelsslm、llm接收方小模型 共享方大模型需与你训练的 Fuser 配对一致rosettacheckpoints_dir指向要检查的 checkpoint 目录含projector_*.pttrainingmax_samples、debug控制检查样本量与调试输出⚠️models里的slm/llm必须与 projector 训练时的模型配对保持一致否则会加载错误权重。第 2 步运行单检查点一致性检查在仓库根目录执行python script/consistency/check_rosetta_consistency.py \ --config script/consistency/rosetta_consistency_config.json脚本会加载 Rosetta 模型load_rosetta_model复用模型内部的 LLM 和 SLM避免重复加载。运行过程中每print_every个样本打印一次进度[50] Rosetta一致率0.3124 | SLM一致率0.2210 | Rosetta提升(Win)128开启 debug 模式debug: true后前debug_samples条样本会打印出指令尾部、标准答案、三方预测以及 token 级对比表前 20 个 token✅/❌ 标记并自动注明 Rosetta Win 或 SLM Win。第一次跑建议开启肉眼看看通信到底改对了哪些 token。第 3 步批量扫描所有 checkpoint训练会产出checkpoint-10、checkpoint-20……final一连串目录手动逐个检查太慢。batch_check_consistency.py 会自动扫描、按步数排序、逐个执行并汇总日志python script/consistency/batch_check_consistency.py \ --base-dir local/checkpoints/qwen3_0.6bqwen3_32b_include \ --config script/consistency/rosetta_consistency_config.json自动识别checkpoint-数字和final目录final永远排在最后结果默认追加写入base_dir/consistency_output.log也可用--output指定其他路径每个 checkpoint 的输出带[1/N] checkpointcheckpoint-XX头尾标记方便后续解析。第 4 步绘制一致性曲线拿到批量日志后用 plot_consistency.py 解析并绘图。脚本按 checkpoint 步数排序final置尾提取 Rosetta 与 SLM 两条一致率曲线输出 12×6 英寸的consistency_plot.pngimport plot_consistency plot_consistency.parse_log_and_plot( log_pathlocal/checkpoints/qwen3_0.6bqwen3_32b_include/consistency_output.log, output_image_pathconsistency_plot.png, )一致性曲线图说明蓝色实线为 Rosetta Consistency Rate红色虚线为 SLM Base 一致率看图要点蓝线Rosetta应整体位于红线SLM Base之上且随训练步数爬升后趋于平稳。若两条线交错或蓝线下沉说明 projector 训练异常或超参需要调整。结果怎么读批量脚本跑完后每个 checkpoint 都会输出一个统计块check_rosetta_consistency.py#L338-L352 统计结果 (Statistics) 总Token数: 48210 Rosetta 一致率: 0.3124 (15060/48210) SLM (Base) 一致率: 0.2210 (10655/48210) Rosetta 胜出数 (Rosetta对且SLM错): 2310 相对提升: 0.0914 ✅ Rosetta 模型效果优于 Base 模型指标含义如何解读Rosetta 一致率Rosetta 预测 token 与 LLM 相同的比例绝对值不必高重点看相对值SLM 一致率基座小模型与 LLM 的一致性对照组基线Rosetta 胜出数Rosetta 对且 SLM 错的 token 数通信多救回来的部分相对提升两者之差0 即 projector 有效0 说明退化 ❌ 经验提示一致率本身受数据集难度影响很大GSM8K 类推理题一致率天然偏低所以跨数据集比较绝对值意义不大同数据集下看相对提升才是正确姿势。常见问题与参数调优Q1显存不够跑不动 32B 教师模型把max_samples调小如 20、max_length降为 512或先用更小的教师模型配对验证流程。Q2结果波动大想快速摸底先用max_samples: 50debug: true跑一遍确认流程无误再放大样本量做正式检查。Q3进度打印太频繁print_every默认 50可按数据集大小自行调整。Q4想换数据集修改dataset.type与dataset.kwargs.data_path即可数据集统一由 dataset_adapters.py 管理LLMGeneratedChatDataset支持按max_word_count过滤长样本。相关文件一览文件用途check_rosetta_consistency.py单检查点一致性检查主脚本batch_check_consistency.py批量扫描所有 checkpointplot_consistency.py解析日志并绘制一致性曲线rosetta_consistency_config.json一致性检查配置示例wrapper.pyRosettaModel核心封装projector.pyC2CProjectorKV-Cache 投影器evaluate.pyload_rosetta_model模型加载工具按配置 → 单检查 → 批量 → 可视化的顺序走完 4 步你就能得到一条完整的一致性训练曲线清楚判断 C2C 的 KV-Cache 通信到底有没有让通信更对齐。赞分享【免费下载链接】C2C[ICLR26] The official code implementation for Cache-to-Cache: Direct Semantic Communication Between Large Language Models项目地址https://gitcode.com/gh_mirrors/c2c4/C2C点击查看免费下载相关推荐终极指南etcd数据一致性检查与完整性验证终极指南etcd数据一致性检查与完整性验证 etcd作为分布式系统的关键数据存储数据一致性检查和完整性验证是确保系统可靠性的核心功能。本文将深入解析etcdKV存储分布式数据库云原生Taskmaster AI任务验证终极完整性检查与一致性验证指南Taskmaster AI任务验证终极完整性检查与一致性验证指南 Taskmaster是一款AI驱动的任务管理系统可集成到Cursor、Lovable、Wi人工智能AI 应用MCP 服务AI 插件开发工具CLI工作流自动化ARDY-G1-RP-25FPS-Horizon52与Unitree G1机器人集成实战打造智能运动控制系统ARDY G1 RP 25FPS Horizon52与Unitree G1机器人集成实战打造智能运动控制系统 想要为你的Unitree G1机器人打造智能运动人工智能媒体生成数字人具身智能上一篇MPO混合偏好优化解析InternVL3_5-2B-MPO三大损失项如何提升推理下一篇EasyWAM-Hidden-Cosmos25 许可证、引用与社区资源清单如何合规使用模型权重创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
