Share - WeChat
近日
2024年高考作文题等
高考相关话题引发热议
“AI大模型做高考题”
也成为一大看点
AI参加高考
数学能得多少分
悄悄问一句
高考数学题
你还看得懂吗?
或许我们看不懂
但大模型可以
近日
复旦大学NLP(自然语言处理)
实验室LLMEVAL团队
请来13位大模型“考生”
一起做2024年高考数学真题
结果怎样?
先说结论:
从整体来看
大模型们的“高考成绩”
都不算太高
OpenAI日前发布的
新一代旗舰大模型GPT-4o
与阿里云研发的通义千问
720亿参数大模型Qwen-72b
在两次测试中排名都靠前
正确率稳定在60%以上
部分大模型的表现
存在起伏与波动
如百川智能、字节跳动新近发布的
Baichuan4和豆包大模型
分别在新I卷和新II卷客观题测试中
得分排名第一
但在另一场测试中
排名相对靠后
图源:复旦大学NLP实验室
根据两次评测结果
该团队发现
大部分测试大模型在简单题
(如选择题前三道)
有较好的准确率
而在中档题中表现一般
对于较难的题目
大模型们的准确率会更低
少部分题目甚至出现
“全军覆灭”的情况
人工智能这么“聪明”
为什么还会出错?
AI为什么会把题做错
测试发现
让AI大模型做数学题
仍是一个难度较大的挑战
首先
文本输入格式的不同
会对测试结果造成
比较明显的干扰
目前测试主要采用
上传图片识别文本的方式
这种方式更类似“人类”
是对大模型能力的全面考验
有的大模型还未做题
就先败在了AI识图这一步
其次
大模型的推理能力
仍有很大进步空间
较难的题目
对思维能力的考察要求更高
大模型的准确率也会更低
此外
在多选题方面
大多数模型表现不佳
可见,面临复杂选项的时候
大模型的准确率也会降低
虽然在解题方面
AI大模型的短期表现
还达不到完美
但在攻克数学问题的路上
AI的每一次进步
都是对未来教育想象空间的开拓
值得更多耐心与期待
2022年7月12日,世界互联网大会国际组织正式成立,从互联网领域的国际盛会发展为国际组织,总部设于中国北京。我们将致力于搭建全球互联网共商共建共享平台,推动国际社会顺应信息时代数字化、网络化、智能化趋势,共迎安全挑战,共谋发展福祉,携手构建网络空间命运共同体。