《马克思主义基本原理》课程教学资源（案例）LaMDA出现自我意识？谷歌表态耐人寻味

LaMDA出现自我意识？谷歌表态耐人寻味瞭望智库2022-08-1811:25发表于北京今年6月，美国谷歌公司软件工程师布莱克·勒莫因称语言模型LaMDA出现自我意识。他认为，拥有七八岁孩童的智力，并相信LaMDA正在争取自己作为一个人的权利。LaMDA是谷歌去年发布的一款专门用于对话的语言模型，主要功能是可以与人类交谈。为佐证观点，勒莫因把自己和LaMDA的聊天记录上传至互联网。随后，谷歌以违反保密协议为由对其停职。谷歌表示，没有任何证据支持勒莫因的观点。事实上，“AI（人工智能）是否拥有自主意识"一直争议不休。此次谷歌工程师和LaMDA的故事，再次引发讨论。人们想知道：人工智能技术究竟发展到了怎样的阶段？是否真的具备自主意识？其判定依据是什么？未来我们又该以怎样的能力和心态与人工智能和谐共处？

LaMDA 出现自我意识？谷歌表态耐人寻味 瞭望智库2022-08-18 11:25发表于北京 今年 6 月，美国谷歌公司软件工程师布莱克·勒莫因称语言模型 LaMDA 出现自 我意识。他认为，拥有七八岁孩童的智力，并相信 LaMDA 正在争取自己作为 一个人的权利。 LaMDA 是谷歌去年发布的一款专门用于对话的语言模型，主要功能 是可以与人类交谈。 为佐证观点，勒莫因把自己和 LaMDA 的聊天记录上传至互联网。随 后，谷歌以违反保密协议为由对其停职。谷歌表示，没有任何证据支 持勒莫因的观点。 事实上，“AI（人工智能）是否拥有自主意识”一直争议不休。此次谷歌 工程师和 LaMDA 的故事，再次引发讨论。人们想知道：人工智能技 术究竟发展到了怎样的阶段？是否真的具备自主意识？其判定依据是 什么？未来我们又该以怎样的能力和心态与人工智能和谐共处？

参会者在第六届世界智能大会上参观（2022年6月24日摄）赵子硕摄／本刊文于雪魏雨虹《瞭望》新闻周刊记者本文转载自微信公众号"瞭望”（ID:OutlookWeekly1981），原文首发于2022年8月16日，原标题为《辨析人工智能自主意识》首刊于《望》2022年第33期。1人工智能自主意识之辨勒莫因认为LaMDA具有意识的原因有三：一是LaMDA以前所未有的方式高效、创造性地使用语言；二是它以与人类相似的方式分享感觉；三是它会表达内省和想象，既会担忧未来，也会追忆过去

参会 者在第六届世界智能大会上参观（2022 年 6 月 24 日摄） 赵子硕摄 / 本刊 文 | 于雪 魏雨虹 《瞭望》新闻周刊记者 本文转载自微信公众号“瞭望”（ID:OutlookWeekly1981），原文首发于 2022 年 8 月 16 日，原标题为《辨析人工智能自主意识》，首刊于《瞭望》2022 年第 33 期。 1 人工智能自主意识之辨 勒莫因认为 LaMDA 具有意识的原因有三：一是 LaMDA 以前所未有的方式高 效、创造性地使用语言；二是它以与人类相似的方式分享感觉；三是它会表达 内省和想象，既会担忧未来，也会追忆过去

受访专家告诉《瞭望》新闻周刊记者，上述现象仅仅是因为LaMDA所基于的Transformer架构能够联系上下文，进行高精度的人类对话模拟，故能应对人类开放、发散的交谈。至于人工智能是否已经具备自主意识，判定标准如何，受访专家表示，对人类意识的探索目前仍属于科技前沿，尚未形成统一定义。清华大学北京信息科学与技术国家研究中心助理研究员郭雨晨说：“我们说人有自主意识，是因为人知道自己在千什么。机器则不一样，你对它输入内容，它只是依照程序设定进行反馈。”中国社会科学院科学技术哲学研究室主任段伟文认为，一般意义上人的自我意识是指对自我具备觉知，但如何认识和理解人类意识更多还是一个哲学问题而不是科学问题，这也是很难明确定义人工智能是否具备意识的原因。被誉为"计算机科学与人工智能之父"的艾伦·图灵，早在1950年就曾提出图灵测试一一如果一台机器能够与人类展开对话而不能被辨别出其机器身份，那么可以称这台机器具有智能。这一设想随后被具化为，如果有超过30%参与测试的人以为自己在和人说话而非计算机，就可以认为“机器会思考”。当前随着技术的发展，已经有越来越多的机器能够通过图灵测试

受访专家告诉《瞭望》新闻周刊记者，上述现象仅仅是因为 LaMDA 所 基于的 Transformer 架构能够联系上下文，进行高精度的人类对话模 拟，故能应对人类开放、发散的交谈。 至于人工智能是否已经具备自主意识，判定标准如何，受访专家表示， 对人类意识的探索目前仍属于科技前沿，尚未形成统一定义。 清华大学北京信息科学与技术国家研究中心助理研究员郭雨晨说：“我 们说人有自主意识，是因为人知道自己在干什么。机器则不一样，你 对它输入内容，它只是依照程序设定进行反馈。” 中国社会科学院科学技术哲学研究室主任段伟文认为，一般意义上， 人的自我意识是指对自我具备觉知，但如何认识和理解人类意识更多 还是一个哲学问题而不是科学问题，这也是很难明确定义人工智能是 否具备意识的原因。 被誉为“计算机科学与人工智能之父”的艾伦·图灵，早在 1950 年就曾 提出图灵测试——如果一台机器能够与人类展开对话而不能被辨别出 其机器身份，那么可以称这台机器具有智能。 这一设想随后被具化为，如果有超过 30%参与测试的人以为自己在和 人说话而非计算机，就可以认为“机器会思考”。 当前随着技术的发展，已经有越来越多的机器能够通过图灵测试

但清华大学人工智能国际治理研究院副院长梁正告诉《瞭望》新闻周刊记者，图灵测试只能证明机器在表象上可以做到让人无法分辨它与人类的不同，却不能证明机器能够思考，更不能证明机器具备自主意识。段伟文表示，自前大体有两种方式判定人工智能是否具有自主意识，一种以人类意识为参照，另一种则试图对机器意识进行全新定义。若以人类意识为参照，要观察机器能否像人一样整合信息。“比如你在阳光下，坐在河边的椅子上看书，有树影落在脸上，有风吹来，它们会带给你一种整体的愉悦感。而对机器来说，阳光、河流、椅子等，是分散的单一元素。“段伟文说。不仅如此，段伟文说，还要观察机器能否像人一样将单一事件放在全局中思考，作出符合全局利益的决策。若跳出人类构建自主意识的范式，对机器意识进行重新定义，则需要明白意识的本质是什么。段伟文告诉记者，有理论认为如果机器与机器之间形成了灵活、独立的交互，则可以称机器具备意识。也有理论认为，可以不追究机器的内心，仅仅把机器当作行为体，从机器的行为表现判断它是否理解所做事情的意义。“比如机器人看到人类喝咖啡后很精神，下次当它观察到人类的疲急，能不能想到要为人类煮一杯咖啡？“段伟文说

但清华大学人工智能国际治理研究院副院长梁正告诉《瞭望》新闻周 刊记者，图灵测试只能证明机器在表象上可以做到让人无法分辨它与 人类的不同，却不能证明机器能够思考，更不能证明机器具备自主意 识。 段伟文表示，目前大体有两种方式判定人工智能是否具有自主意识， 一种以人类意识为参照，另一种则试图对机器意识进行全新定义。 若以人类意识为参照，要观察机器能否像人一样整合信息。“比如你在 阳光下，坐在河边的椅子上看书，有树影落在脸上，有风吹来，它们 会带给你一种整体的愉悦感。而对机器来说，阳光、河流、椅子等， 是分散的单一元素。”段伟文说。 不仅如此，段伟文说，还要观察机器能否像人一样将单一事件放在全 局中思考，作出符合全局利益的决策。 若跳出人类构建自主意识的范式，对机器意识进行重新定义，则需要 明白意识的本质是什么。 段伟文告诉记者，有理论认为如果机器与机器之间形成了灵活、独立 的交互，则可以称机器具备意识。也有理论认为，可以不追究机器的 内心，仅仅把机器当作行为体，从机器的行为表现判断它是否理解所 做事情的意义。“比如机器人看到人类喝咖啡后很精神，下次当它观察 到人类的疲惫，能不能想到要为人类煮一杯咖啡？”段伟文说

但在段伟文看来，这些对机器意识进行重新定义的理论，其问题出在，即便能够证明机器可以交互对话、深度理解，但是否等同于具备自主意识尚未有定论。“以LaMDA为例，虽然能够生成在人类看来更具意义的对话，甚至人可以与机器在对话中产生共情，但其本质仍然是在数据采集、配对、筛选机制下形成的反馈，并不代表模型能够理解对话的意义。“换言之，即便人工智能可以对人类的语言、表情所传递的情绪作出判断，但这主要应用的是自然语言处理、计算机视觉等技术。郭雨晨直言，尽管在情感计算方面，通过深度学习的推动已经发展得比较好，但如果就此说人工智能具备意识还有些一厢情愿。“把意识这个词换成功能，我会觉得更加准确。“2技术换道有专家提出，若要机器能思考，先要解决人工智能发展的换道问题据了解，自前基于深度学习、由数据驱动的人工智能在技术上已经触及天花板。一个突出例证是，阿尔法围棋（AlphaGo）在击败人类围棋世界冠军后，虽然财力和算力不断投入，但深度学习的回报率却没有相应增长

但在段伟文看来，这些对机器意识进行重新定义的理论，其问题出在， 即便能够证明机器可以交互对话、深度理解，但是否等同于具备自主 意识尚未有定论。“以 LaMDA 为例，虽然能够生成在人类看来更具意 义的对话，甚至人可以与机器在对话中产生共情，但其本质仍然是在 数据采集、配对、筛选机制下形成的反馈，并不代表模型能够理解对 话的意义。” 换言之，即便人工智能可以对人类的语言、表情所传递的情绪作出判 断，但这主要应用的是自然语言处理、计算机视觉等技术。 郭雨晨直言，尽管在情感计算方面，通过深度学习的推动已经发展得 比较好，但如果就此说人工智能具备意识还有些一厢情愿。“把‘意识’ 这个词换成‘功能’，我会觉得更加准确。” 2 技术换道 有专家提出，若要机器能思考，先要解决人工智能发展的换道问题。 据了解，目前基于深度学习、由数据驱动的人工智能在技术上已经触 及天花板。一个突出例证是，阿尔法围棋（AlphaGo）在击败人类围 棋世界冠军后，虽然财力和算力不断投入，但深度学习的回报率却没 有相应增长

一般认为，人工智能可被分为弱人工智能、通用人工智能和超级人工智能。弱人工智能也被称为狭义人工智能，专攻某一领域；通用人工智能也叫强人工智能，主要目标是制造出一台像人类一样拥有全面智能的计算机；超级人工智能类似于科幻作品中拥有超能力的智能机器人。从产业发展角度看，人工智能在弱人工智能阶段停留了相当长时间，正在向通用人工智能阶段迈进。受访专家表示，自前尚未有成功创建通用人工智能的成熟案例，而具备自主意识，至少需要发展到通用人工智能阶段。梁正说，大模型、大数据的驱动让人工智能在对话的自然度、趣味性上有了很大突破，但距离具备自主意识还很远。“如果你给这类语言模型喂养大量关于内省、想象等与意识有关的数据，它便更容易反馈与意识有关的回应。“不仅如此，现阶段的人工智能在一个复杂、专门的领域可以做到极致，却很难完成一件在人类看来非常简单的事情。“比如人工智能可以成为围棋高手，却不具备三岁小孩对陌生环境的感知能力。“段伟文说谈及背后原因，受访专家表示，第一是当前人工智能主要与符号世界进行交互，在对物理世界的感知与反应上发展缓慢。第二是数据学习让机器只能对见过的内容有合理反馈，无法处理陌生内容。第三是在

一般认为，人工智能可被分为弱人工智能、通用人工智能和超级人工 智能。弱人工智能也被称为狭义人工智能，专攻某一领域；通用人工 智能也叫强人工智能，主要目标是制造出一台像人类一样拥有全面智 能的计算机；超级人工智能类似于科幻作品中拥有超能力的智能机器 人。 从产业发展角度看，人工智能在弱人工智能阶段停留了相当长时间， 正在向通用人工智能阶段迈进。受访专家表示，目前尚未有成功创建 通用人工智能的成熟案例，而具备自主意识，至少需要发展到通用人 工智能阶段。 梁正说，大模型、大数据的驱动让人工智能在对话的自然度、趣味性 上有了很大突破，但距离具备自主意识还很远。“如果你给这类语言模 型喂养大量关于内省、想象等与意识有关的数据，它便更容易反馈与 意识有关的回应。” 不仅如此，现阶段的人工智能在一个复杂、专门的领域可以做到极致， 却很难完成一件在人类看来非常简单的事情。“比如人工智能可以成为 围棋高手，却不具备三岁小孩对陌生环境的感知能力。”段伟文说。 谈及背后原因，受访专家表示，第一是当前人工智能主要与符号世界 进行交互，在对物理世界的感知与反应上发展缓慢。第二是数据学习 让机器只能对见过的内容有合理反馈，无法处理陌生内容。第三是在

数据驱动技术路线下，人们通过不断调整、优化参数来强化机器反馈的精准度，但这种调适终究有限。郭雨晨说，人类在特定任务的学习过程中接触的数据量并不大，却可以很快学习新技能、完成新任务，这是目前基于数据驱动的人工智能所不具备的能力。梁正强调，不同于当前主要依赖大规模数据训练的技术路线，新一代人工智能强调在没有经过数据训练的情况下，可以通过推理作出合理反应，从而与没有见过、没有学过的事物展开交互。相比人类意识的自由开放，以往人工智能更多处在封闭空间。尽管这个空间可能足够大，但若超出设定范畴便无法处理。而人类如果按照规则不能解决问题，就会修改规则，甚至发明新规则。这意味着，如果人工智能能够超越现有学习模式，拥有对自身意识系统进行反思的能力，就会理解自身系统的基本性质，就有可能改造自身的意识系统，创造新规则，从而成为自己的主人。3“人工智能觉醒”背后有关"人工智能觉醒“的讨论已不鲜见，但谷歌迅速否认的态度耐人寻味

数据驱动技术路线下，人们通过不断调整、优化参数来强化机器反馈 的精准度，但这种调适终究有限。 郭雨晨说，人类在特定任务的学习过程中接触的数据量并不大，却可 以很快学习新技能、完成新任务，这是目前基于数据驱动的人工智能 所不具备的能力。 梁正强调，不同于当前主要依赖大规模数据训练的技术路线，新一代 人工智能强调在没有经过数据训练的情况下，可以通过推理作出合理 反应，从而与没有见过、没有学过的事物展开交互。 相比人类意识的自由开放，以往人工智能更多处在封闭空间。尽管这 个空间可能足够大，但若超出设定范畴便无法处理。而人类如果按照 规则不能解决问题，就会修改规则，甚至发明新规则。 这意味着，如果人工智能能够超越现有学习模式，拥有对自身意识系 统进行反思的能力，就会理解自身系统的基本性质，就有可能改造自 身的意识系统，创造新规则，从而成为自己的主人。 3 “人工智能觉醒”背后 有关“人工智能觉醒”的讨论已不鲜见，但谷歌迅速否认的态度耐人寻 味

梁正表示：“如果不迅速驳斥指认，会给谷歌带来合规性方面的麻烦。”据了解，关于人工智能是否有自主意识的争论并非单纯技术领域的学术探讨，而关乎企业合规性的基本坚守。一旦认定公司研发的人工智能系统出现自主意识，很可能会被认为违反第2版《人工智能设计的伦理准则》白皮书的相关规范。这一由美国电气和电子工程师协会2017年发布的规范明确：“根据某些理论，当系统接近并超过通用人工智能时，无法预料的或无意的系统行为将变得越来越危险且难以纠正。并不是所有通用人工智能级别的系统都能够与人类利益保持一致，因此，当这些系统的能力越来越强大时，应当谨慎并确定不同系统的运行机制。“梁正认为，为避免社会舆论可能的过度负面解读，担心大家认为它培育出了英国作家玛丽·雪莱笔下的弗兰肯斯坦式的科技怪物，以"不作恶“为企业口号的谷歌自然会予以否认。“不仅如此，尽管这一原则对企业没有强制约束力，但若被认为突破了底线，并对个体和社会造成实质性伤害，很有可能面临高额的惩罚性赔偿，因此企业在合规性方面会更为谨慎。我国也有类似管理规范。2019年，国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则一一发展负责任的人工智能》，提

梁正表示：“如果不迅速驳斥指认，会给谷歌带来合规性方面的麻烦。” 据了解，关于人工智能是否有自主意识的争论并非单纯技术领域的学 术探讨，而关乎企业合规性的基本坚守。一旦认定公司研发的人工智 能系统出现自主意识，很可能会被认为违反第 2 版《人工智能设计的 伦理准则》白皮书的相关规范。 这一由美国电气和电子工程师协会 2017 年发布的规范明确：“根据某 些理论，当系统接近并超过通用人工智能时，无法预料的或无意的系 统行为将变得越来越危险且难以纠正。并不是所有通用人工智能级别 的系统都能够与人类利益保持一致，因此，当这些系统的能力越来越 强大时，应当谨慎并确定不同系统的运行机制。” 梁正认为，为避免社会舆论可能的过度负面解读，担心大家认为它培 育出了英国作家玛丽·雪莱笔下的弗兰肯斯坦式的科技怪物，以“不作 恶”为企业口号的谷歌自然会予以否认。“不仅如此，尽管这一原则对企 业没有强制约束力，但若被认为突破了底线，并对个体和社会造成实 质性伤害，很有可能面临高额的惩罚性赔偿，因此企业在合规性方面 会更为谨慎。” 我国也有类似管理规范。2019 年，国家新一代人工智能治理专业委员 会发布《新一代人工智能治理原则——发展负责任的人工智能》，提

出人工智能治理的框架和行动指南。其中，“敏捷治理"原则主要针对技术可能带来的新社会风险展开治理，强调治理的适应性与灵活性。中国信息化百人会成员、清华大学教授薛澜在接受媒体采访时表示，当前人工智能治理面临的最大挑战，是我们没有一套比较成熟的体系来规制其潜在的风险。特别是在第四次工业革命背景下，我国的人工智能技术和其他国家一样都处于发展期，没有现成的规制体系，这样就使得我们在发展科技的同时，必须同步发展我们的规制体系。“这可能是人工智能发展面临最大的挑战。”在梁正看来，自前很难断言新兴人工智能技术具有绝对风险，但必须构造合理的熔断、叫停机制。在治理中既要具有一定的预见性，又不能扼杀创新的土壤，要在企业诉求和公共安全之间找到合适的平衡点。毕竟，对人类来说，发展人工智能的目的不是把机器变成人，更不是把人变成机器，而是解决人类社会发展面临的问题从这个角度来说，我们需要的或许只是帮助人类而不是代替人类的人工智能。4为了人机友好的未来

出人工智能治理的框架和行动指南。其中，“敏捷治理”原则主要针对技 术可能带来的新社会风险展开治理，强调治理的适应性与灵活性。 中国信息化百人会成员、清华大学教授薛澜在接受媒体采访时表示， 当前人工智能治理面临的最大挑战，是我们没有一套比较成熟的体系 来规制其潜在的风险。特别是在第四次工业革命背景下，我国的人工 智能技术和其他国家一样都处于发展期，没有现成的规制体系，这样 就使得我们在发展科技的同时，必须同步发展我们的规制体系。“这可 能是人工智能发展面临最大的挑战。” 在梁正看来，目前很难断言新兴人工智能技术具有绝对风险，但必须 构造合理的熔断、叫停机制。在治理中既要具有一定的预见性，又不 能扼杀创新的土壤，要在企业诉求和公共安全之间找到合适的平衡点。 毕竟，对人类来说，发展人工智能的目的不是把机器变成人，更不是 把人变成机器，而是解决人类社会发展面临的问题。 从这个角度来说，我们需要的或许只是帮助人类而不是代替人类的人 工智能。 4 为了人机友好的未来

确保通用人工智能技术有益于人类福证，一直是人工智能伦理构建的前沿。薛澜认为，在科技领域，很多技术都像硬币的两面，在带来正面效应的同时也会存在风险，人工智能就是其中一个比较突出的领域。如何在促进技术创新和规制潜在风险之间寻求平衡，是科技伦理必须关注的问题。梁正提出，有时技术的发展会超越人们预想的框架，在不自觉的情况下出现与人类利益不一致甚至相的情况。著名的“曲别针制造机"假说，即描述了通用人工智能在目标和技术都无害的情况下，对人类造成威胁的情景。“曲别针制造机"假说给定一种技术模型，假设某个人工智能机器的终极目标是制造曲别针，尽管看上去这一目的对人类无害，但最终它却使用人类无法比拟的能力，把世界上所有资源都做成了曲别针，进而对人类社会产生不可逆的伤害。因此有观点认为，创造出法力高超又杀不死的孙悟空本身就是一种不顾后果的冒险行为。与其对立的观点则认为，目前这一担忧为时尚早。“我们对到底什么样的技术路线能够发展出具备自主意识的人工智能尚无共识，现在谈论禁止发展，有种空中楼阁的意味。“梁正说

确保通用人工智能技术有益于人类福祉，一直是人工智能伦理构建的 前沿。 薛澜认为，在科技领域，很多技术都像硬币的两面，在带来正面效应 的同时也会存在风险，人工智能就是其中一个比较突出的领域。如何 在促进技术创新和规制潜在风险之间寻求平衡，是科技伦理必须关注 的问题。 梁正提出，有时技术的发展会超越人们预想的框架，在不自觉的情况 下出现与人类利益不一致甚至相悖的情况。著名的“曲别针制造机”假 说，即描述了通用人工智能在目标和技术都无害的情况下，对人类造 成威胁的情景。 “曲别针制造机”假说给定一种技术模型，假设某个人工智能机器的终 极目标是制造曲别针，尽管看上去这一目的对人类无害，但最终它却 使用人类无法比拟的能力，把世界上所有资源都做成了曲别针，进而 对人类社会产生不可逆的伤害。 因此有观点认为，创造出法力高超又杀不死的孙悟空本身就是一种不 顾后果的冒险行为。 与其对立的观点则认为，目前这一担忧为时尚早。 “我们对到底什么样的技术路线能够发展出具备自主意识的人工智能 尚无共识，现在谈论‘禁止发展’，有种空中楼阁的意味。”梁正说