国科网

2025-06-05 11:07:09  星期四
立足国科融媒,服务先进科技
可协助 AI 语言模型改善自我纠错能力,谷歌推出 BIG-Bench Mistake 数据集

点赞

0
发布时间:2024年01月15日 浏览量:165次 所属栏目:人工智能 发布者:田佳恬

IT之家 1 月 15 日消息,谷歌研究院日前使用自家 BIG-Bench 基准测试建立了一项“BIG-Bench Mistake”数据集,并利用相关数据集对市面上流行的语言模型“出错概率”及“纠错能力”进行了一系列评估研究。

谷歌研究人员表示,由于过去没有能够评估大语言模型“出错概率”及“自我纠错能力”的数据集,因此他们创建了一项名为“BIG-Bench Mistake”的专用基准数据集用于评估测试。

据悉,研究人员首先使用 PaLM 语言模型在自家 BIG-Bench 基准测试任务中运行了 5 项任务,之后将生成的“思维链(Chain-of-Thought)”轨迹修改加入“逻辑错误”部分,之后重新丢给模型判断思维链轨迹中哪些地方存在错误。

为了提升数据集准确程度,谷歌研究人员反复进行上述过程,最终形成了一项内含“255 项逻辑错误”的“BIG-Bench Mistake”专用基准数据集。

研究人员提到,由于“BIG-Bench Mistake”数据集中的逻辑错误较为“简单明确”,因此可以作为一个良好的测试标准,可协助语言模型先从简单的逻辑错误开始练习,逐步提升辨识错误的能力。

研究人员利用该数据集对市面上模型进行测试,发现虽然绝大多数语言模型可以识别在推理过程中出现的逻辑错误并进行自我修正,但这个过程“并不够理想”,通常需要人工干预来纠正模型输出的内容。

▲ 图源 谷歌研究院新闻稿

IT之家从报告中发现,谷歌声称“目前最先进的大语言模型”自我纠错能力也相对有限,在相关测试结果中成绩发挥最好的模型,也仅仅找出了 52.9% 的逻辑错误

谷歌研究人员同时声称,这一 BIG-Bench Mistake 数据集有利于改善模型自我纠错能力,经过相关测试任务微调后的模型,“即便是小型模型表现也通常比零样本提示的大模型更好”。

据此,谷歌认为在模型纠错方面,可以使用专有小型模型“监督”大型模型,相对于让大语言模型学会“纠正自我错误”,部署专用于监督大模型的小型专用模型有利于改善效率、降低相关 AI 部署成本,并更便于微调

分享说明:转发分享请注明出处。

    相关图讯
    网站简介  |   联系我们  |   广告服务  |   监督电话
    本网站由国科网运营维护 国科网讯(北京)技术有限公司版权所有  咨询电话:010-88516927
    地址:北京市海淀区阜石路甲69号院1号楼1层一单元114
    ICP备案号:京ICP备15066964号-8   违法和不良信息举报电话:010-67196565
    12300电信用户申诉受理中心   网络违法犯罪举报网站   中国互联网举报中心   12321网络不良与垃圾信息举报中心   12318全国文化市场举报网站
    代理域名注册服务机构:阿里巴巴云计算(北京)有限公司