首页 / 资讯中心 / 文章详情

【AI黑化日日新】Day 066|Beam Search(束搜索)

【AI黑化日日新】Day 066|Beam Search(束搜索) ★ FEATURED ARTICLE
模型每写一步都同时保留几条最可能的候选句,最后挑整体最顺的那一条。1. 它到底在说什么大模型生成文本,是“一个词一个词往外蹦”的。最偷懒的办法是每一步都选当前概率最高的那个词,这叫贪心(greedy search)——但容易一条道走到黑。束搜索(Beam Search)的做法是:每一步不只要一条路,而是同时保留 B 条当前看起来最靠谱的“半成品句子”,让它们各自往下长,每长一步就把所有候选按总分排个序,只留前 B 名继续往下走。打个比方:贪心像只带一名选手的接力赛,每棒都选当下最快的人,整体配合却可能最差;束搜索像同时派 B 名选手上场,每棒结束后只留名次最靠前的 B 个人进下一棒,最后在 B 个完赛结果里挑最好的。它要的始终是“整段最顺”,而不是“每步最对”。2. 为什么现在这个词很热束搜索其实是个老古董,比深度学习早了将近四十年。它最早出现在 1970 年代卡内基梅隆大学的语音识别研究里:Bruce Lowerre 在 1976 年的博士论文中把它用于 Harpy 语音识别系统,当时叫“locus model of search”;到 1977 年,他的导师、图灵奖得主 Raj Reddy 在 ARPA 语音理解项目的报告里正式用上了“beam search”这个名字。之后几十年,它顺着语音
阅读完成 · 觉得有帮助?
咨询建站