★ FEATURED ARTICLE 每当一个新的大语言模型发布宣传稿里总少不了让人眼花缭乱的跑分表格知识问答又涨了多少分编程测试刷新了什么纪录数学题做到了什么水平……开发者 Simon Willison 则有一个格外抢眼的小测试。他会让模型完成这样一条指令请生成一段 SVG 代码画一只骑自行车的鹈鹕。2024 年 10 月他公开了这项实验和不同模型的结果。听起来像个恶作剧看起来也确实很欢乐有的鸟像一团几何图形有的自行车怎么看都骑不动。模型需要把鸟、车轮、车架、脚踏和骑行姿态安排进同一幅由代码生成的画面里。原始实验这当然不能给一个大模型定生死。Willison 自己也提醒过这种小测试能说明的事情有限。画得漂亮不等于法律问答、长文分析和复杂编程就一定可靠。作者对测试局限的说明但它提出了一个很有用的问题除了听它说自己有多厉害能不能让它当场做出一个看得见的东西把目光从 AI 实验室移开你会发现今天的 HR 和业务面试官也需要问一遍这个问题。一、你是在考察能力还是验收备考熟练度在 AI 评测里测试集污染是一个真实问题如果评测题目进入了训练数据漂亮的成绩就可能混入记忆题目的优势难以准确反映面对新问题时的表现。研究者为此专门设计检测和评估方法。这里不能反过来推断所有高分模型都在作弊。相关研究招聘也有一种相似的尴尬。一位候选人坐到面试官面前简历可能已经用 STAR 法则打磨过高频面试题演练了二十遍跨部门沟通、项目复盘、用户增长各有一套熟练的表达。准备充分没有错。问题在于面试官有没有继续往下问你说的那件事究竟做成了什么如果换一组条件你还做得出来吗假设一个内容运营候选人把定位、洞察、传播策略讲得头头是道。等你递过去一份产品资料请他写一封能让客户看懂的邮件他却迟迟无法下笔。之前的交流并非毫无价值只是最关键的一块证据还没有出现。我们需要自己的“鹈鹕测试”从岗位里挑一个小切口让能力有机会留下可检查的痕迹。二、这只鹈鹕究竟给了我们什么启发第一让熟悉的方法在新条件下重新组装Willison 最初选择鹈鹕一方面因为喜欢这种鸟另一方面是他猜测当时网上还没有多少现成的“鹈鹕骑自行车”SVG 可以进入训练数据。这是选择题目的考虑不能当成经过证明的防背题保证。题目出了名当然也可能被针对性准备。他后来讨论过这个问题换成其他动物和交通工具看看能力是否还能迁移。作者关于针对性训练的讨论招聘中的启发也一样。不要迷信某一道神题而要看候选人能否处理条件变化。例如招聘 B 端产品经理可以提供一份脱敏的模拟留存数据和必要的业务背景请他找出最值得追查的异常、说明还缺哪些信息再提出一个低成本验证方案。接着补充一个条件开发资源只有原来的一半他会怎么调整方法论还在但不能整段背出来就交卷。候选人需要解释自己的判断。这里的“陌生”应当是没有照搬过的场景而不是故意塞进岗位无关的冷知识。你招的是产品经理就别把考试设计成猜面试官的脑筋急转弯。第二把抽象认知变成具体交付物鹈鹕测试有趣的地方是让语言模型写出 SVG再由浏览器把代码渲染成图像。那些关于画面的描述要落到形状、坐标和组合关系上才会成为真正的画面。职场里也存在这一步转换。讲清楚策略很重要。可策略还需要变成一份研发能接手的执行文档、一张数字能对上的测算表或者一段客户读完知道下一步该做什么的文字。说得明白是证据做得出来是另一份证据。好的实操题应该让这两份证据碰面。让候选人交出一个小成果再解释为什么这样做、哪里还不确定、如果多给半天会先改哪一处。图1让抽象说法落到可检查的交付物。第三让讨论从印象落到可以检查的地方看一张鹈鹕图比读一串抽象参数直观。鸟嘴在哪里车架有没有断脚和踏板是否接得上大家至少有了共同的讨论对象。工作样本也能发挥这个作用。与其争论“这个人感觉很有逻辑”不如打开他写的邮件检查诉求是否清楚、事实有没有错、下一步是否可执行。不过直观不等于全面更不等于外行一眼就能判定所有专业能力。一封邮件写得好也不能证明长期协作、复杂决策和持续交付都没有问题。这只鹈鹕的价值是让判断多一份证据。把它包装成识人神器反而会走回迷信跑分的老路。三、如何给自己的岗位设计一只鹈鹕工作样本测试并不是什么新发明。美国人事管理局OPM的说明就把它定义为让候选人完成与实际工作相同或高度相似的任务。这给设计题目提供了一个简单起点从工作里取样。工作样本与模拟任务以下是三个可以调整使用的模拟设计。招产品经理给一个流程让他做一次取舍。提前准备一段与岗位相近的产品流程、用户目标和约束。给候选人约 20 分钟画出一页核心流程改版草图用三句话说明为什么这样改。重点看他是否识别了问题、解释了取舍以及有没有把未经验证的猜想说成事实不按画图是否漂亮打分。招销售或 BD给一组客户条件让他推进一次对话。进行约 10 分钟的角色扮演。客户正在使用竞品预算缩减对换供应商有顾虑。所有候选人拿到相同背景面试官按相同规则提供信息。观察他是否会问关键问题、是否听懂顾虑、能否提出合理的下一步而不是看他能不能把面试官“说服”。招文案或内容运营给一份材料让他完成一次翻译。提供一份模拟的精密仪器说明书明确目标读者和发布场景。给约半小时改写成一段 200 字的通俗介绍。检查信息是否准确、读者能否理解、重点是否清楚。华丽辞藻可以加分凭空增加产品效果必须扣分。这些时间只是题目设计的示例。真正使用时要先试做确认工作量与岗位要求匹配也给需要合理调整的候选人留出空间。不要用三天免费试稿换取企业本来应该付费采购的成果。还有一件容易被忽略的事先写评分标准再看候选人的答案。可以先定四项事实准确、问题识别、方案可执行、理由清楚。每项写出具体表现给同岗位候选人相同的信息、工具规则和评分尺度。岗位允许使用 AI就提前讲清楚使用范围并要求候选人解释和检查自己的输出别把临时禁用工具当成判断真实能力的捷径。图2从真实任务、统一条件、明确标准和适度时长设计工作样本。结构化面试也值得保留。统一提问、统一评分本来就是为了减少随意判断。把经历追问与工作样本放在一起通常比押宝一场即兴表演更有讨论依据。结构化面试说明结语当简历、作品介绍和面试回答都可以借助 AI 打磨时招聘更需要补上一件事请候选人带着明确的条件完成一个小而真实的交付再讲清楚他为什么这样做。学历、经验和表达仍然可以提供信息。只是它们不该替候选人完成那一脚踩向踏板的动作。下次坐在面试桌前不妨先问自己在这个岗位上那只“骑自行车的鹈鹕”到底是什么把它找出来把条件说清楚把尺子放在桌上。然后看看对面的人如何画出第一笔。昭音科技Akine Media也持续关注 AI 对内容营销与团队执行的影响工具让表达更容易判断力和可交付的成果仍然值得认真检验。
阅读完成 · 觉得有帮助？
