大模型权威报告:讯飞星火得分第一
2023-08-18 17:24:40 来源: 央广网
关注河南热线

《麻省理工科技评论》中国最新发布的大模型评测报告显示,在8个一级大类的600道题目的测试和盲评中,讯飞星火认知大模型V2.0在6个大类中得分率排名第一,在此次评测中表现突出,以81.5分(百分制计)的成绩在本次评测中登顶,荣获“最聪明”的国产大模型称号。


(资料图片)

4个大模型各项能力雷达图(央广网发 科大讯飞供图)

《麻省理工科技评论》中国从研发和商业化能力、外界态度以及发展趋势等维度全方位检测大模型的能力,力图评出“最聪明”的国产大模型。选取了“讯飞星火”等作为中文大模型平台的代表,展开系统、科学的评测。

本次评测使用的测试集包含600道题目,覆盖了语言专项、数学专项、理科综合、文科综合、逻辑思维、编程能力、综合知识、安全性共8个一级大类,126个二级分类,290个三级标签,并针对问题的丰富性和多样性做了优化。

在题目类型上,为了兼顾定量、定性的评价与测试,设置了“单选”、“多选”、“填空”、“简答”4个题型,分别有145道、138道、136道和181道。大模型评测体系使用盲评方式,客观评估国产大模型的聪明程度。

作为“最聪明”的大模型的基础能力,语言专项评测包含对话理解、多语种、讽刺、古诗词理解、文本生成、要点总结、情感分析、语义判断等61个二级分类,题型则以简答为主。结果显示,讯飞星火85.73%的得分率排名第一,明显高于平均值。

数学专项评测,是“最聪明”大模型必不可少的评测维度。本次评测包含代数、几何、解方程、复杂数学、统计学等9个二级分类,以选择题为主。

其中,讯飞星火以77.75%的得分率名列第一,远高于平均得分率56%,其他平台得分率基本相当。报告称,在大模型普遍“数学不好”的情况下,讯飞星火这一成绩颇为难得,其在数学专项上的领先同样体现在二级分类的评分结果上,在77.8%的二级分类中得分率第一,远超其他平台,初步判断其擅长几何与情景应用。

作为体现大模型“聪明程度”不可或缺的“硬核”部分,理科综合评测包含表格问答、化学、生物、物理、医学5个二级分类,题型上以单选和简答为主。

评测结果中,讯飞星火78.50%的得分率排名第一。另外,讯飞星火在理科综合大类下80%的二级分类评测中得分率为第一,化学与生物较为突出。

逻辑思维也是“最聪明”大模型的重要体现,本次逻辑思维评测在逻辑推理、思维链等方面设计了较多的题目,包含类比、常识推理、空间方位、演绎推理、逻辑谬误检测、因果推理等19个二级分类,题型上相对平均,其中填空题最多,多选题最少。

在逻辑思维题目中,讯飞星火81.25%的得分率名列第一,明显高于72.6%的平均值。此外,讯飞星火在逻辑思维63.2%的二级分类问题上得分率第一。逻辑思维对于大模型真正理解物理世界相当重要。

深度评测(央广网发 科大讯飞供图)

编程能力是大模型比较高阶的能力,本次的编程能力评测包含ASCII、ASCII码识别、Python、代码、代码修正、计算机6个二级分类,其中Python主要以简答形式评估大模型的代码生成能力和正确率,其他则以客观题的形式考察。

结果显示,讯飞星火80%的得分率明显高于71%的平均值,其他平台得分率基本相当。值得一提的是,在许多人关心的生成代码的简答题单项上,讯飞星火的得分率高达82%,远高于其他平台,表现颇为亮眼。

作为比较难的评测维度,综合知识对大模型的“聪明”程度要求也很高,涉及的题目较杂,包含百科问答、常识、科学知识、事实问答、工作技巧、谜语等13个二级分类,题型以多选为主。

在综合知识评测上,讯飞星火80.61%的得分率排名第一,在84.6%的二级分类上得分率第一,初步显示出在百科问答和历史人文上的“过人之处”。

报告指出,在本轮大模型评测中,讯飞星火以81.5分的成绩拔得头筹,成为国产大模型的第一名。

此外,就在8月12日,新华社研究院中国企业发展研究中心发布的《人工智能大模型体验报告2.0》中,讯飞星火V1.5以总分1013分位列本次国产主流大模型测评榜首位,在四大评测维度中的智商指数和工具提效指数两个维度获得第一,《报告》认为讯飞星火“在工作提效方面优势明显”。

在刚刚过去的8月15日,讯飞星火认知大模型V2.0如期发布,进一步突破代码能力和多模态能力。技术获得重大突破的同时,搭载讯飞星火V2.0核心能力的应用和产品也越来越丰富。

责任编辑:hN_1828