★ FEATURED ARTICLE 一、大模型与小模型对照对比维度大模型LLM小模型定义神经元规模巨大、能理解自然语言并处理通用任务的 AI 模型针对具体任务专门进行优化的 AI 模型能力范围通用可跨任务迁移具备涌现的学习与推理能力专用在既定任务上表现稳定资源开销训练与推理成本高依赖算力集群与高速互联成本低可边缘部署可解释性弱参数规模大、内部机制不透明相对强特征与决策路径更易追踪典型工程角色负责理解、生成、复杂推理负责分类、排序、打分等高频轻量判断主要安全关注点越狱、提示注入、内容合规、数据泄露对抗样本、模型窃取、数据投毒二、AI 应用通用架构与对应安全风险层级组成模块承担角色该层典型安全风险应用聊天对话、RAG 检索、智能体、工作流把模型能力封装为业务功能越狱攻击、提示注入、智能体越权调用工具工具搜索工具、视频编解码、OCR 工具、提示词管理为应用提供外部能力与素材检索源被投毒、OCR 对抗样本、提示词模板泄露模型基础大模型、垂直大模型、分类小模型、排序小模型提供推理与生成能力模型窃取、后门攻击、对抗样本存储临时存储、关系数据库、向量数据库保存训练与运行期数据训练数据投毒、向量库泄露、敏感数据越权读取计算计算芯片、芯片间通信、卡间通信提供算力与互联底座芯片供应链风险、侧信道、通信链路窃听三、常见 AI 应用风险与防护1、技术根因类风险点原理或触发条件防护措施输出不稳定功能实现依赖概率计算本质是链式条件概率连乘如 0.82×0.41×0.73×0.56×0.8 0.11概率高不等于正确数据清洗提高鲁棒性鲁棒性训练对高风险输出加人工复核数据投毒篡改、伪造或注入恶意数据使分类器的分类边界发生改变诱导模型学习错误模式异常样本检测、数据来源管控、供应链溯源、鲁棒性训练提示词注入精心设计的提示词绕过预设安全限制或逻辑导致泄露、违规内容或恶意操作提示词过滤、上下文隔离、输入校验、AI 应用加固供应链漏洞开发交付中使用开源数据集、开源大模型、开源软件等第三方组件组件自身带漏洞供应链溯源、来源核验、哈希校验、组件清单管理敏感数据泄露常由注入或输出处理不当触发敏感信息识别机制、输出审查、最小权限访问控制2、延伸攻击面与偏见类风险点原理或触发条件防护措施不安全的输出处理模型输出被下游系统直接采信或执行输出校验与沙箱执行、禁止输出直接驱动高危动作过度代理 / 系统提示词泄露权限过大或系统提示词被诱导吐出最小权限设计、限制可调用工具、系统提示词不外泄向量与嵌入弱点 / 无界消费检索库被污染或资源被无限消耗向量库权限隔离、API 限流与配额、成本告警AI 偏见样本不平衡不同种类样本数量差距很大模型靠「全判多数类」拿到 99% 正确率而放弃少数类样本均衡处理、分类别指标监控不能只看总准确率、偏见审计深度伪造诈骗利用公开视频资料伪造人脸面部、声音等多通道二次核验、禁止仅凭线上指令付款、转账额度分级审批危险信息获取生成式 AI 被反复用于查询爆炸物配方、器械性能参数等内容过滤机制、危险意图识别、上线前安全评估与合规备案责任认定不清技术无法完全避免敏感输出与滥用责任需按义务履行情况判断履行风险提示与风险规避义务合法输出、风险提示标注、内容过滤、合规备案四、AI应用场景的安全风险落点应用场景核心价值安全风险落点AI 聊天机器人模拟人类对话回答提问、提供信息、执行任务最普及的入口也是提示注入与隐私泄露的第一现场AIGC 内容生成自动产出文字、图像、音频、视频、代码假新闻、假论文、AI 换脸诈骗版权与隐私争议智能驾驶感知环境、规划路线、执行驾驶决策感知盲区叠加人未接管直接威胁生命公众信任受损搜广推算法快速找信息、推合适广告、按喜好荐内容算法被攻击致商业决策失效误批不良贷款或误封正常卡科学研究原子级精度预测蛋白质结构等数据投毒或篡改影响实验正确性危及诊断与用药安全
阅读完成 · 觉得有帮助？
