 in Financial NLP: A Comparative Study on Financial Report...)
★ FEATURED ARTICLE 文章主要内容总结本文针对大型语言模型（LLMs）在金融自然语言处理（FinNLP）任务中的表现进行了系统性评估，具体研究如下：研究对象：选取GPT、Claude、Perplexity、Gemini和DeepSeek五个主流LLM，以“七大科技公司”（苹果、微软、亚马逊、字母表、英伟达、Meta、特斯拉）2022-2024年的10-K文件（年度报告）中“业务部分（Item 1）”为分析对象。评估方法：采用三种评估方式：人类标注：从相关性、完整性、清晰度、简洁性、事实准确性五个维度评分；自动词汇-语义指标：包括ROUGE（1、2、L）、余弦相似度、Jaccard相似度；模型行为诊断：分析跨模型余弦相似度和提示词级响应方差。主要结果：GPT表现最优，输出最连贯、语义对齐且上下文相关；其次是Claude和Perplexity；Gemini和DeepSeek输出变异性更大，一致性较低；模型输出的相似度和稳定性因公司和时间而异，对提示词设计和源材料敏感。文章创新点测试了LLM对提示词设计和信息量的敏感性，揭示了不同模型结构的行为模式；创建了可复现的基准，通过聚焦详细信息（而非数字）来测试L
阅读完成 · 觉得有帮助？
