Beyond the Leaderboard: Rethinking Medical Benchmarks for Large Language Models

文章主要内容和创新点主要内容研究背景：大型语言模型（LLMs）在医疗领域潜力显著，相关评估基准数量激增，但现有基准存在临床保真度不足、数据管理薄弱、安全评估缺失等可靠性问题。核心框架：提出首个面向生命周期的医疗基准评估框架MedCheck，将基准开发拆解为5个连续阶段（设计与概念化、数据集构建与管理、技术实现与评估方法、基准有效性与性能验证、文档编制、开放性与治理），包含46项医疗定制标准。实证评估：基于MedCheck对53个现有医疗LLM基准进行深入分析，发现系统性问题：与临床实践脱节、数据污染导致数据完整性危机、忽视模型鲁棒性和不确定性感知等安全关键维度。应用价值：MedCheck既是诊断现有基准的工具，也为开发更标准化、可靠、透明的医疗AI评估基准提供可操作指南。创新点首个生命周期导向的医疗基准框架：MedCheck是首个针对医疗领域设计的全生命周期评估框架，通过5个阶段和46项标准，系统覆盖基准开发的全流程，填补了通用AI基准框架在医疗高风险场景下的适配空白。大规模实证分析揭示系统性问题：对53个医疗基准的评估首次量化揭示了领域内的共性缺陷（如92%基准未处理数据污染、94%未测试鲁棒性），为后续改进提供数据支撑。实用工具