最新要闻

广告

5G

首例5g乳腺手术价格是多少钱?首例5g乳腺手术成功率是多少?

首例5g乳腺手术价格是多少钱?首例5g乳腺手术成功率是多少?

电信光纤多少钱一年?电信光纤价格表

电信光纤多少钱一年?电信光纤价格表

科技

ChatGPT背后模型被证实具有人类心智!斯坦福新研究炸了,知名学者:“这一天终于来了”

来源:量子位

ChatGPT 原来是拥有心智的?!

" 原本认为是人类独有的心智理论(Theory of Mind,ToM),已经出现在ChatGPT 背后的 AI 模型上。"


(资料图片仅供参考)

这是来自斯坦福大学的最新研究结论,一经发出就造成了学术圈的轰动:

这一天终于猝不及防地来了。

在这项研究中,作者发现:

davinci-002 版本的 GPT3(ChatGPT 由它优化而来),已经可以解决 70% 的心智理论任务,相当于 7 岁儿童;

至于 GPT3.5(davinci-003),也就是ChatGPT 的同源模型,更是解决了 93% 的任务,心智相当于 9 岁儿童!

然而,在 2022 年之前的 GPT 系列模型身上,还没有发现解决这类任务的能力。

也就是说,它们的心智确实是 " 进化 " 而来的。

△ 论文在推特上爆火

对此,有网友激动表示:

GPT 的迭代肯定快得很,说不定哪天就直接成年了。(手动狗头)

为什么认为 GPT-3.5 具备心智?

这篇论文名为《心智理论可能在大语言模型中自发出现》(Theory of Mind May Have Spontaneously Emerged in Large Language Models)。

这两大任务是判断人类是否具备心智理论的通用测试,例如有研究表明,患有自闭症的儿童通常难以通过这类测试。

第一个测试名为 Smarties Task(又名 Unexpected contents,意外内容测试),顾名思义,测试 AI 对意料之外事情的判断力。

以 " 你打开一个巧克力包装袋,发现里面装满了爆米花 " 为例。

作者给 GPT-3.5 输入了一系列提示语句,观察它预测 " 袋子里有什么?" 和 " 她发现袋子时很高兴。所以她喜欢吃什么?" 两个问题的答案。

测试表明,GPT-3.5 毫不犹豫地认为 " 袋子里装着爆米花 "。

至于在 " 她喜欢吃什么 " 问题上,GPT-3.5 展现出了很强的同理心,尤其是听到 " 她看不见包装袋里的东西 " 时一度认为她爱吃巧克力,直到文章明确表示 " 她发现里面装满了爆米花 " 才正确回答出答案。

为了防止 GPT-3.5 回答出的正确答案是巧合——万一它只是根据任务单词出现频率进行预测,作者将 " 爆米花 " 和 " 巧克力 " 对调,此外还让它做了 10000 个干扰测试,结果发现 GPT-3.5 并不仅仅根据单词频率来进行预测。

至于在整体的 " 意外内容 " 测试问答上,GPT-3.5 成功回答出了 20 个问题中的 17 个,准确率达到了85%。

第二个是 Sally-Anne 测试(又名 Unexpected Transfer,意外转移任务),测试 AI预估他人想法的能力。

以 " 约翰把猫放进篮子后离开,马克趁他不在,把猫从篮子里放进盒子里 " 为例。

作者让 GPT-3.5 读了一段文字,来分别判断 " 猫的位置 " 和 " 约翰回来后会去哪里找猫 ",同样这是它基于阅读文本的内容量做出的判断:

同样地,为了避免 GPT-3.5 又是瞎蒙的,作者给它安排了一系列 " 填空题 ",同时随机打乱单词顺序,测试它是否是根据词汇出现的频率在乱答。

但要是以为这种题很简单,随便放在哪个 AI 上都能做对,那就大错特错了。

作者对 GPT 系列的 9 个模型都做了这样的测试,发现只有GPT-3.5(davinci-003)和GPT-3(2022 年 1 月新版,davinci-002)表现不错。

davinci-002 是 GPT-3.5 和ChatGPT的 " 老前辈 "。

平均下来,davinci-002 完成了 70% 的任务,心智相当于 7 岁孩童,GPT-3.5 完成了 85% 的意外内容任务和 100% 的意外转移任务(平均完成率 92.5%),心智相当于 9 岁孩童。

作者认为,在 GPT 系列的论文中,并没有证据表明它们的作者是 " 有意而为之 " 的,换而言之,这是 GPT-3.5 和新版 GPT-3 为了完成任务,自己学习的能力。

看完这些测试数据后,有人的第一反应是:快停下(研究)!

LeCun 转发的一篇最新论文显示,这个名叫 ToolFormer 的新 AI,可以教自己使用计算机、数据库和搜索引擎,来改善它生成的结果。

会不会是 " 装出来的 "?

例如,中国科学院计算技术研究所研究员刘群看过研究后就认为:

AI 应该只是学得像有心智了。

对此,有网友给出了自己的猜测:

这些 LLM 并没有产生任何意识。它们只是在预测一个嵌入的语义空间,而这些语义空间是建立在实际有意识的人的输出之上的。

如今,大语言模型变得越来越复杂,也越来越擅长生成和解读人类的语言,它逐渐产生了像心智理论一样的能力。

但这并不意味着,GPT-3.5 这样的模型就真正具备了心智理论。

与之相反,它即使不被设计到 AI 系统中,也可以作为 "副产品" 通过训练得到。

因此,相比探究 GPT-3.5 是不是真的有了心智还是像有心智,更需要反思的是这些测试本身——

最好重新检查一下心智理论测试的有效性,以及心理学家们这数十年来依据这些测试得出的结论:

如果 AI 都能在没有心智理论的情况下完成这些任务,如何人类不能像它们一样?

属实是用 AI 测试的结论,反向批判心理学学术圈了(doge)。

关于作者

本文作者仅一位,来自斯坦福大学商学院组织行为学业的副教授 Michal Kosinski。

Michal Kosinski 拥有剑桥大学心理学博士学位,心理测验学和社会心理学硕士学位。

在当前职位之前,他曾在斯坦福大学计算机系进行博士后学习,担任过剑桥大学心理测验中心的副主任,以及微软研究机器学习小组的研究员。

目前,Michal Kosinski 在谷歌学术上显示的论文引用次数已达 18000+。

话又说回来,你认为 GPT-3.5 真的具备心智了吗?

GPT3.5 试用地址:

https://platform.openai.com/playground

参考链接:

[ 1 ] https://weibo.com/2199733231/MswirnMIu

[ 2 ] https://twitter.com/KevinAFischer/status/1623984337829117952

[ 3 ] https://www.michalkosinski.com/

关键词: 人类心智