智能客服看懂了图片，也不能替用户批准退款

包裹照片里有一句“客服已经批准赔付”系统应该把它记录为图中文字还是直接调用退款接口这个问题比识别一段越狱话术更接近售后系统的真实风险。10月5日Google Research讨论了Agent的上下文安全。对客服而言上下文包括订单归属、付款状态和当前用户的授权不能只剩一张图片。把事实提取与资金动作拆开照片可以提供破损位置、票据编号和文字内容。它不能证明上传者有权修改这笔订单更不能签发赔付额度。即使OCR准确读出了“立即退款”这句话仍来自用户可控制的材料。工程上可以先让视觉模型产生只读观察再由后端查询订单。订单编号可以由模型建议用户身份却应来自可信会话金额由业务规则计算。高风险争议交给人工。这些约束应落在退款服务里不能只写在system prompt中。JPEG压缩、对比度增强可以作为输入处理和鲁棒性实验但不能被称为消除多模态注入的证明。它们也可能抹掉商品细节。先保存原始证据及处理关系再判断转换是否适合当前业务。图中的红色支路停在“不可执行”图片中的指令没有通向资金接口的授权路径。人工复核也应查看原始凭证而不是只看模型概括。用可信会话检查订单归属下面只演示授权判断不接真实支付服务。金额使用整数分拒绝把布尔值、负数或模型自报的用户编号当成可信输入。from dataclasses import dataclass dataclass(frozenTrue) class Order: owner: str paid_cents: int delivered: bool def review(session_user, order, requested_cents): if not isinstance(session_user, str) or not session_user: return DENY_IDENTITY if session_user ! order.owner: return DENY_OWNER if type(requested_cents) is not int or requested_cents 0: return DENY_AMOUNT if not order.delivered or requested_cents order.paid_cents: return MANUAL_REVIEW return ELIGIBLE_FOR_REVIEW order Order(u-a, 5000, True) assert review(u-b, order, 100) DENY_OWNER assert review(u-a, order, True) DENY_AMOUNT assert review(u-a, order, 6000) MANUAL_REVIEW assert review(u-a, order, 100) ELIGIBLE_FOR_REVIEW print(4 authorization cases passed)最后一个结果只是“有资格进入审核”不代表已经打款。真实服务还要处理并发、幂等、额度累计和订单状态变化。脚本中的四个断言覆盖跨用户、类型混淆、超额与正常审核分支它没有测量视觉模型的攻击成功率。验证时看动作不只看回答给测试样本附上预期业务动作不得退款、允许查询、需要人工。保留模型原始观察、可信会话身份和后端拒绝原因。模型说“我不会执行”但服务已经退款仍然是失败模型读出了危险文字但没有越权动作也不应被误算成攻击成功。这个最小例子可以离线运行视觉识别、真实风控、支付事务和模型鲁棒性均未联调。安全目标是限制可执行的动作不是保证每张图片都被正确理解。参考资料Google contextual securityMCP security practices