近日,2025金融大模型评测体系在上海发布,这是去年全国首个金融大模型评测体系发布以来第一次全面升级至2.0版,主要聚焦标准引领、数据驱动、安全可信与生态共建四方面。
大模型评测体系通常是评估大模型的性能、安全性、可靠性等方面的指标、方法、基准和流程的集合。近年来,国内涌现出多个金融大模型,但行业内还缺少较为权威和被认可的评测体系。而2025金融大模型评测体系,相当于为行业提供了科学选型和与能力对标的重要“标尺”。
据介绍,该评测体系汇聚了4个公开数据集与22个自建数据集,约3.6万条评测数据,采用循环选项打乱机制和多样化提示词,并研发金融裁判大模型,实现评测全流程自动化、标准化,为上海金融领域银行、券商、基金、投资等企业或者机构人员提供权威、精准的大模型能力评估,助力机构选型、优化及风险把控。
在最新的评测体系下,今年的金融大模型测试结果全面超越去年,行业平均71.9分提升到87.37分。同时,测试结果还发现,海内外大模型整体能力相差不大,但在中文领域,国内大模型处于领先水平。另外,国内金融大模型在语言理解、术语消歧、法规政策更新和合规对齐等领域领先,国外金融大模型则在数学计算、跨步推理、跨语言推理和超长文本处理上领先。