卡努努论坛

标题: 腾讯研究院对话前OpenAI研究员:为什么伟大不能被计划?|留言赠书 [打印本页]

作者: 阿里    时间: 2024-10-16 23:23
标题: 腾讯研究院对话前OpenAI研究员:为什么伟大不能被计划?|留言赠书
[attach]2929[/attach]
2024年9月25日,腾研读书举办了一场对谈,腾讯研究院资深专家袁晓辉对谈前OpenAI研究员,也是《为什么伟大不能被计划》一书的两位作者肯尼斯·斯坦利(Kenneth Stanley)和乔尔·雷曼(Joel Lehman)。2个小时的时间,讨论了10个问题,涉及目标悖论、创新激励、组织活力、OpenAI能否复制、未来AI社会的前景等问题,讨论具体而深入。以下是访谈实录,推荐阅读。

讨论问题速览:1.哪些事情适合设定目标,哪些应该依赖直觉?2.普通人只想过体面的生活,按部就班是不是足够,为什么目标思维有时会成为阻碍?3.如果目标不是最好的指南针,我们该如何做出下一步的选择,为什么有趣和新奇会是更好的判断依据?4.目标对团队、公司或机构实现愿景是否是必不可少的?5.OpenAI 的管理是如何结合自由探索和目标规划的?除了目标管理,还有没有更好的方式?6.对于成熟企业,如何才能在不迷失于目标的情况下保持创新活力?7.如何看待有组织的科研和创新,它在哪些方面有效,哪些方面无效?8.在智能变革的时代,当前最有趣的AI技术或产品是什么?9.我们是否应该担心AI超越人类,人与AI的协作是否有理想状态?10.离开 OpenAI 后,你们有哪些新的尝试?这本书的反馈是否带来了新的灵感?

核心观点速览- 新颖性通常是对过去没有见过的事物的认知,这种信息比预测未来更可靠。- 人们常说科学更多是因为“奇怪”的感觉而进步,而不是“我发现了”。- 通常你会看到目标出现在那些人们试图控制他们害怕会发生的事情的地方。- 事实上,人们的分歧中蕴含着信息,而强行达成共识可能会压制这些非常宝贵的信息。尤其是在一个非常等级化的组织中,上面的人并不总是有最好的想法。- 你需要保护那些脆弱但极具价值的想法。- 对于管理者,你可能想要鼓励大家去接受糟糕的想法,广泛阅读,去做所有那些有助于避免显而易见想法的事情。- 让人们可以讨论有趣的话题,让他们去思考为什么这些话题有趣。是的,这对创新环境和组织都会非常有益。我认为我们应该避免让恐惧主导我们的组织文化,而是应该更加乐观,相信员工或组织成员的能力。- 当人们试图模仿OpenAI时,有时需要做出一个没人愿意做的大赌注,但并没有任何保证它一定会成功。- 大公司的一个主要挑战就是官僚主义,大企业通常会有大量的官僚体系。这可能是一个被低估的难题,就是在官僚体系内开辟一个空间,这个空间内的激励机制可以不同,或者这个空间的结构更加精简。- 如果AI能够扩大我们的创造力,而不是取代我们,那我觉得这才是真正的解放。- 如果我们能够放慢向智能时代过渡的速度,给人们更多时间去理解和使用这些技术,可能会是个应对策略。
(长文,建议收藏阅读)
[attach]2930[/attach]
嘉宾简介和对谈背景袁晓辉:大家好。今天,我们非常荣幸地欢迎两位我非常喜欢的作者Kenneth Stanley肯尼斯·斯坦利和Joel Lehman乔尔·雷曼。他们是这本书《为什么伟大不能被计划》的作者,也是人工智能和机器学习领域的两位专家。嗨,肯和乔尔,你们能向我们的在线观众打个招呼吗?

肯尼斯:嗨,大家好,很高兴能参加这个活动,感谢你们的到来。

乔尔:是的。你好。谢谢你们邀请我们。

袁晓辉:那么首先,我将简要介绍一下肯和乔尔的背景。肯和乔尔于2020年入职OpenAI,并在ChatGPT发布前几个月离开。在OpenAI,他们共同领导的开放性(Open-Endedness)团队,致力于让算法在没有预定目标的情况下自我学习、创新。此前,他们曾在大学、AI初创公司几何智能(Geometric Intelligence)、优步(Uber)AI实验室工作。在他们离开OpenAI后,做了什么?我想把这个问题留给两位专家,你们能分享一下目前正在做的事吗?也许肯先来吧。

肯尼斯:当然。在离开OpenAI后,我在2022年一直在思考我一直研究的那个话题,即开放性可能适用于更多社会问题。我认为开放性可能有一些非常有趣的应用,所以我当时创立了一家名为Maven的公司。为了探索这种可能性,Maven实际上已经存在了一年半,真正开始只是用了大约半年时间。我最近离开了Maven,但Maven仍然存在,你可以使用它。实际上,我现在正在做的事情是我即将要做的下一件事,但我还没有准备好公布出来。

袁晓辉:我们期待你的下一次冒险。你呢,乔尔?

乔尔:离开OpenAI后,我花了一些时间进行了一些独立研究,在某些方面实际上是肯的平行线程,我对人工智能的社会问题及其应用真的很感兴趣,我想可以说我对人类开放性(Human Open-endedness)的兴趣,最终也激发了关于机器之爱(Machine Love)的研究论文,有点像机器学习与心理学的交叉领域。最近我还参与了一些研究型初创公司的工作。基本上是在追求一些和我之前从事的研究相同的东西。

袁晓辉:听到这个消息真是太好了,因为我所在的机构腾讯研究院也在做一些类似的研究,比如人工智能对经济和社会的影响,我们可以稍后再讨论这个问题。首先,我想分享一下我和这本书的一些联系,我认为也非常有意思。在今年年初,我们举办了“科技向善”论坛。你知道,“科技向善”也是腾讯的使命、愿景和价值观,所以我们每年都会组织这个论坛。我当时在论坛上分享的主题是《为什么创新不能被规划》。实际上,我的演讲源于我对全球创新中心的观察和研究,讨论了为什么一些区域能无中生有,自下而上产生很多创新,而不是通过规划。所以我很早就隐约感觉创新不能被规划,然而我的背景恰恰是城市规划,这使得我非常犹豫是否完全接受这个想法。但是,在读了你们的书《为什么伟大不能被计划》之后,我找到了共鸣,因为它强调了人类许多伟大的成就往往出人意料,常常与最初的计划相反。后来,我的演讲被中译出版社的编辑注意到了,这就是为什么我们能有今天的对话。是的,这也不是计划出来的。
肯尼斯:很有趣。
[attach]2931[/attach]
何时追随目标,何时追随直觉?

袁晓辉:是的。作为这本书的读者,我想首先问二位一些关于目标和计划的问题,界定一下今天咱们讨论的范畴。因为我们知道二位写这本书的目的其实并不是为了彻底否定目标和规划这件事。因为我们生活的这个世界其实是个复杂的巨系统,里面存在很多随机的事件,如果我们没有明确的目标或规划,可能很多时候时间就这么过去了,回头看似乎好像也没有做成什么事。所以这也是为什么目标和规划这些概念在现实中非常受欢迎的原因。但另一方面,通过阅读这本书,包括结合我的一些对创新的研究和观察,我也确实认同真正推动创新和成就伟大的事情,都不是一开始计划出来的,也有很大的偶然性。所以我想请二位首先谈一谈,到底哪些事情应该使用目标方法来帮我们聚焦,哪些事情应该摒弃目标思维,更多使用我们的直觉来帮助我们探索?这样也可以帮我们让今天的讨论更加聚焦。

肯尼斯:我认为,规划的最佳时机是在明确知道如何实现目标时。比如说,如果我想成为一名计算机科学家,我需要上大学、选修相关课程、主修计算机科学并顺利毕业。这些步骤构成了一个明确的路径,虽然努力学习并不容易,但我知道如何前进。在公司中,我们常常有类似的目标,比如将软件的效率提升5%。这类目标通常有既定的路线图,虽然不能保证成功,但提供了清晰的行动步骤。然而,真正的创新在于那些我们不知道如何实现的目标,它涉及到追求从未尝试过的事物。创新是推动社会、个人、公司和政府发展的关键,面对“如何创新”的挑战,单靠规划往往无法解决问题。总之,如果我们能明确实现目标的踏脚石(Stepping Stone),那么规划是明智的;而当面对未知的领域时,不设定目标的创新才是关键所在。

袁晓辉:是的,取决于你是否知道踏脚石在哪里?或者确切地说,你知道什么是让你实现目标的踏脚石?

肯尼斯:是的,有时你可能不确定。所以中间有一个灰色地带,你知道吗?你可能不知道。你可能会想,我想我知道我需要做什么,但我不确定。然后它变得像这样,这是创新问题吗,还是我们已经知道步骤?而这个所谓的灰色地带往往是创业结束的地方。你知道,人们说,嗯,我想我能做这件事,因为我认为我知道步骤,但这被证明是错误的。这就是所谓的客观悖论,就像设定一个目标,实际上它会让你停止前进,这就是混淆的来源。

袁晓辉:是的,在创新情景下,我们是否可以说,当我们回头看时吗,我们知道步骤是什么,能看到这些踏脚石;但当我们展望未来时,我们却很难知道哪些是踏脚石。

肯尼斯:是的,我同意这一点。从长远来看,回顾总是容易的。但如果你失败了,你可能就没有学到足够的东西来弄清楚到底哪些是踏脚石。所以如果你的目标是建造一台时间机器,然后你失败了,我不确定你会学到多少。如果你成功了,当然你会学到很多,你会知道所有的踏脚石。但有时你在失败中也会学到一些事情,会在途中发现其他东西。如果你想让它发生,保持开放的心态是有帮助的。换句话说,如果你真的想学东西,即使是在失败中,你也是可以学到的。

袁晓辉:那么你呢,乔尔,你是如何思考这个问题呢?你认为自己是一个有计划的,以计划为导向的人吗?还是只是偶尔。你会在哪些类型的事情上追随目标,哪些事情上听从直觉呢?

乔尔:这些天,我常常从书的角度来思考,写书并真的相信你所写的东西,这种感觉很奇妙,但有时也不会真正改变你的观点。所以,当我想到计划时,有时是在为偶然性做计划。可以说,这是一个悖论,在试图计划创新时,创新更应该是自然发生的,就像是为偶然性做工程设计,虽然看起来有些矛盾,但实际上并不一定如此。而在实践中,只需要确保与很多有趣的人交流,这些人可能会带来你之前完全没想到的点子,广泛阅读也有助于如此。类似这样的事情,我试图真的把书中的思想应用到我的研究目标中。是的,我认为那些可以作为踏脚石的东西是可靠且存在的,而那些目标如果过于遥远,实际上是很难真正实现的。

袁晓辉:我想问一下肯尼斯,你在写完这本书后,对设定目标的看法有改变吗?

肯尼斯:是的,我认为有所改变。过去我很相信设定目标。我想,就像很多有计算机科学和工程背景的人一样,在学校学习这些课程时,我被教导要围绕目标进行计划,这就是我被告知的正确做法。我记得当时有很多不同的术语来解释这些方法。比如人们会谈到自上而下或者自下而上的设计,或者优化,这些不同的方式通常都是从一个目标开始,然后用某种系统化的方法去完成。而我也接受了这种逻辑,觉得它听起来直观且合理,这就是事情的运作方式。不过,我的性格可能一直有些不同。我的性格不喜欢计划,我觉得这可能就是我的本性。我不是那种喜欢规划的人,但我能调整自己的行为来符合社会的期望。所以我认为这是大家想要的,但在写书的过程中,我的一些发现让我在某种程度上验证了我的个性。就是说,我不喜欢计划,也不喜欢设定目标,我甚至不喜欢对自己说“你必须做这个、朝着这个方向走”。这让我有了一种原则上的反对态度,让我觉得反对计划并不是疯狂的举动,也不仅仅是叛逆,而是在合适的情境下有原则的反对。比如在考虑创新的时候,如果只是做午餐,那你当然应该有个计划。但是在合适的情境下,这种态度让我觉得更加灵活,敢于冒险,并且做出影响力更大的决定。

袁晓辉:你呢,乔尔?对你来说,在写完这本书后,你的性格有发生很大的变化吗?我不知道你的 MBTI 性格类型是什么,但也许这本书能反映一些吧?

乔尔:哈哈,当然,这确实对我的性格产生了很大影响。我觉得我当时并没有一个一致的哲学观,所以我不记得自己当时对计划的态度是什么。我只记得第一次和肯尼斯见面,讨论将成为这本书前身的研究。那是一个叫新奇性搜索的算法,我跨越国家去和他一起工作。我记得一开始我觉得他很疯狂,这个算法没有任何明确的目标,虽然它很让人兴奋,但我不知道自己在做什么。不过,在进行这项研究并写书的过程中,这种思想逐渐影响了我的思维方式。特别是在做计算机科学研究的时候,我们在验证书中的原则,这让我一点一点地开始相信这些观点。后来我开始更多地去冒险,倾向于做我觉得有趣的事情。我开始强调自己的反对意见,因为这些往往是别人不太会追随的踏脚石。所以我会考虑做一些有趣且可行的事情,而其他人不会做的。
[attach]2932[/attach]
图 机器人的一系列新奇行为(注:乔尔提到的新奇性搜索,可以让机器人穷尽各种撞墙的方式,增加机器人对探索和穿越走廊的理解,并最终使它发现出门的方法。尽管成功地出门并不是新奇性搜索的目标。)

为什么目标思维成为阻碍?为什么新奇和有趣是更好的指引?

袁晓辉:我觉得这个原则很有趣。因为我们通常做决定的标准并不是我们是否觉得有趣。而另一方面,对很多普通人来说,他们认为目标很容易跟随,只要一次性设定,然后一步步去实现就好了。但普通人并不想实现什么伟大的创新,而只想过上体面的生活,享受生活,是不是就追随目标就可以了。你们认为,设定目标并计划实现路径的本质问题是什么?是不是因为有时我们太追求目标,但其实目标所包含的信息并不充分,导致我们无法正确做出决定?

肯尼斯:你提到信息的问题,我觉得信息在这里确实很重要。这也是设定目标的问题之一,它们本身并没有包含很多内在的信息。一开始你可能觉得,通过追求目标或者将目标写下来并形式化的过程,你在获取信息,但实际上,如果仔细想想,还是有很多缺失的信息。因为问题在于,你如何达到目标?通常情况下,目标本身是很狭隘的,例如“我希望这个机器人能够行走”,而唯一的信息就是它走了多远,这只是一个非常简单的度量标准。而这种简单性可能就是为什么它会具有误导性的原因。因为实际的问题充满了复杂性,比如我们实际上需要通过做什么来实现目标就很难说。如果你只看表现曲线,看到它现在的表现如何。实际上,这条曲线中除了“是否在上升”之外,没有太多的信息,而这一点任何人都能看出来。但如果曲线确实在上升,这种情况下的推进可能会导致局部最优或者早期收敛,这是追求目标时容易陷入的陷阱。但当你考虑“有趣”或“新颖”时,这种问题就少多了。如果我说我要沿着某个路径前进,因为它很有趣,通常这也意味着它是新颖的、有趣的。这实际上意味着,我一生的所有经验都影响了我关于选择哪个方向的决定。这是非常丰富的信息,所有关于你生活经历的信息都在其中。我们对未来的事情知之甚少,比如实现某个目标的路上会发生什么我们是不知道的,但我们非常了解自己过去的经历。所有这些都影响到“什么对你来说是有趣的,什么在此刻对你是有趣的”这个问题。比如“如果我把这个和那个结合起来会不会很有趣?”有些人可能直觉上觉得这不有趣,但对于一生从事化学的人来说,也许他们觉得这样做很有趣。这并没有明确的目标,我不知道最终的意义是什么,但我觉得它可能会有趣,因为我一生中已经见过了很多东西。所以决定“有趣”的信息是非常丰富的,我认为这也是它们最终能够走向更有前景道路的原因。我还想说的更大的一个观点是,我们(整个社会)失去了对我们自身经验的认可和欣赏。们整个人生积累了如此多的经验,而这些经验非常有价值,但它们不是每个人都有的。例如你对城市规划的看法可能比我更有见地,所以你不会希望听取我的意见,因为我不是这方面的专家。而我对人工智能有自己的见解,因为我花了多年、甚至几十年去思考它。所以我对“有趣”的看法在这个领域是有价值的。我认为我们很多人害怕讨论这个问题,因为我们总是希望只谈论客观的事情,比如表现曲线。我不想讨论主观的有趣性,尽管我认为它在创新中是最重要的。袁晓辉:是的,我同意。我认为新颖性和有趣的东西是与我们的直觉相连的。实际上,它包含的信息比单纯的目标要多得多,因为我们在过去设定了目标,但环境可能已经发生了变化。在这个背景下,目标如果保持不变,就缺少了一些信息。也许我们不能明确说出这些信息是什么,但我们可以在心里感觉到,对吗?乔尔,你怎么看待这个问题?

乔尔:是的,我认为,主观的体验信息非常丰富,就像肯尼斯所说的那样。新颖性通常是对过去没有见过的事物的认知,这种信息比预测未来更可靠。换句话说,这是一种不同的信息,你可以说这相对于我过去看到的东西是客观的新颖的,这实际上更可靠地指向了未来你可以追求的新颖的东西。即使你在追求一个目标,如果你忽略了追求过程中对事物的主观印象,那也是错误的。人们常说科学更多是因为“奇怪”的感觉而进步,而不是“我发现了”。即使在追求一个目标时,也应该关注实际发生的事物的质性方面,依赖于你多年来积累的专业知识,而不是仅仅依赖于单一指标的权威。我认为这是书中所指的一部分。
[attach]2933[/attach]
图 图片生成网站生成的一些很有趣的图片(注:每一张图片都源自一个随机生成的圆形斑点。

这是《为什么伟大不能被计划》英文版在2015年出版之前,收集到的网站的作品)目标对于组织实现愿景,是否是必不可少的?

袁晓辉:是的,我记得书中提到,我们可以基于过去来构建未来,而不是去预测未来并实现它。其实我有一个假设,有没有一种可能,每个人心底的冲动和欲望,才是驱动人类社会向前发展的底层动力?而克制冲动和欲望只是为了从社会组织层面来规范个体的行为,让个体能够更多地协作起来,产生组织层面的成功?我想更清楚地表达这个观点,我们可以把这件事分为两层:一层是个体层面,另一层是组织层面。我可以看到,目标有时会给那些有目标的人带来更多的压力,因为它有时会告诉我们要按照计划的路线前进,这会抑制我们在某些时刻的渴望或冲动。但如果我们加入了某个组织或公司,每个人都应该对公司有一个清晰的愿景,因为组织要实现比个人更大的成就。你有没有想过,如果你加入了某个组织或公司。它应该有一些愿景、目标,或者每年为你设定一些目标,有一些评估方法,比如 KPI、OKR 等等。有很多这样的工具。那么如果目标在个人层面上可以通过直觉,通过新颖和有趣来告诉我们去向何方,那么公司层面,又该如何让不同的个体组织起来,将他们结合起来,共同创造一些伟大的成就呢?关于这个问题,你怎么看,肯?

肯尼斯:是的,通常你会看到目标出现在那些人们试图控制他们害怕会发生的事情的地方。目标往往是一种让人觉得自己在保护自己免受不良事件影响的方法。例如,公司里的员工可能不合作,或者不认同我们的计划,所以我们需要一个统一的力量来确保不会发生什么糟糕的事情。如果有人做了一些没有被正式授权或审查的事情呢?我们可能会为不帮助公司的人支付报酬,因此我们必须非常谨慎,有了目标就会让我们觉得有了一个目标系统在维持秩序。因此,我们知道在这个组织里不会有疯狂的事情发生。但问题是,这一切都是负面的,都是出于恐惧的。我觉得这是因为担心会发生不好的事情,所以就想要一条安全毯(Security blanket)。然而,问题在于目标并不总是有效。如果你设定了一个雄心勃勃的目标,它很可能具有误导性,这意味着如果你严格按照它去做,可能还没到达目标就已经走到了死胡同。在创新的背景下,你可能会遇到死胡同。因此,无论它让你对自己或公司感觉有多好,你实际上是在创造一个和没有目标一样冒险的公式。如果你害怕失败,有了目标也同样可能失败。所以我并不喜欢 OKR, 尤其是在创新的方向上。当然,我并不是反对 OKR 或类似的计划工具,当你确切知道要做什么并且已经做过时,这些工具是非常合理的。但是我认为 OKR 或你提到的让公司每个人都致力于相同目标的观点,有一个隐藏的假设,就是所有人都在追求同一个目标和大家能够一起合作之间是一件事,但实际并不是。即使没有明确的目标,人们也可以合作。关键是当你们决定追求某件有趣的事情,是集体做出的决定。因此的确,如果人们不愿意彼此合作,是无法建立合作体系的。但是你可以在最高层面说这件事情是有趣的,它可以发生在公司内部的任何层面,比如一个团队的经理说这件事很有趣,因此我们要去做它,因为它有趣,而不是因为有明确的目标。我们不知道它会通向何处,但只要团队里的每个人都同意,我们就可以这样做。这和大家围绕一个目标统一起来的效果是一样的。人们统一合作,共同完成某件事。所以你可以这样做,我认为 OKR 忽略了这种可能性。尤其是当你看到 OKR 被强加到研究实验室或创新实验室时,这对我来说是非常有问题的,因为它往往会削弱组织的整体创新目标。我们的研究实验室就充斥着 OKR,曾经有一次,有人开玩笑送了我一本 OKR 的书,正好是与我的理念完全相反的东西。不过,我认为可以有一种新的体系。当然,我并不是要完全抛弃 OKR,因为我同意当你实际塑造踏脚石时,可以进行计划。你可以使用 OKR 系统,这是有道理的。但我认为我们需要在这个系统中加入一些对有趣性的认可。当我在做某些事情时,我试图设计一些新的计划方法,不仅仅是目标导向的,我称之为“有趣的踏脚石”。所以它实际上是有趣的踏脚石和目标的结合。比如你可以说“这是一个有趣的踏脚石,所以我们朝这个方向走”,即使我们不知道它会通向哪里,这也是一种有效的计划方式。你可以把它写入计划文件中,承认某件事是有趣的,这就是我们要做它的原因,虽然我们不知道它会带我们去哪里。因此,我认为你可以这样做,可以进行组织,而不必完全依赖和忠于目标。

袁晓辉:对。所以我认为每个人内心都有一个愿望,那就是他们愿意为公司的发展做出贡献。但当我们设定目标时,前提可能变成了他们害怕员工不会很好地合作,或者没有清晰的公司愿景,所以他们为我们设定了一些目标,对吗?

肯尼斯:是的,我认为很多计划都是由恐惧驱动的,而不是为了成就。只是担心事情会失控,人们会脱离正轨,我能相信周围的人吗?所以我们会尽力找到一种方法来建立围墙,而目标让你感觉更好。但如果你周围的人实际上是有创造力的呢?如果他们真的有好的想法呢?你会错过什么呢?为什么你要雇佣他们?也许你雇佣了世界上最优秀的人才,为什么你还要告诉他们该做什么?某种程度上,这没有任何意义。这都是因为恐惧,所以我们要限制这些人,剥夺他们的价值,因为任何人都可以照章行事,不需要在某个领域有四十年的经验。所以我认为我们确实因为恐惧而失去了很多,但你也必须承认有时候人们感到恐惧是可以理解的,因为有太多的利益相关,有很多资金在其中,有时风险太大,以至于你不能总是冒险。而创新需要冒险。所以我讨论的是在风险可控的情况下,我们不去追求目标,而是有意识地冒险,因为很多时候你必须通过冒险才能创新。袁晓辉:是的,我同意。在一些研究实验室或创新导向的地方,每个人的潜力都应该得到释放,应该减少探索的限制。但是从组织层面的角度来看,为什么我们会设定目标?也许是为了达成共识。大家讨论某些事情,形成一个目标,目的是为了让每个人都了解方向。你怎么看待这个角度?如果我们不考虑恐惧,而是真的想激发每个人探索的潜力,同时也应该有一定的方向或愿景,那么在什么样的层面或愿景下,你认为更能激发人们的灵感,而不是带来约束?我想听听乔尔的意见。

乔尔:你刚才提到的一个词是“共识”,这在很多不直接涉及创新的组织中是有意义的。但如果公司中的一部分希望追求创新,那么趋向于达成共识其实是与探索相对立的。在这样的环境中,你可能更希望激励人们探索不同的路径。事实上,人们的分歧中蕴含着信息,而强行达成共识可能会压制这些非常宝贵的信息。尤其是在一个非常等级化的组织中,上面的人并不总是有最好的想法。你雇佣了很多专家,他们拥有丰富的经验,你应该鼓励他们之间的分歧。在书中,我们谈到了一些实验,实际上通过强调非共识,反而让系统产生了更多的创造性输出。这很合理,如果你有很多艺术家,你希望他们各自做自己的事情,而不是强迫他们拥有完全相同的愿景。袁晓辉:关于共识这个问题,肯,你的看法是什么?

肯尼斯:对,对。这是个很好的观点。有时候,问题的核心并不在于达成共识本身是一种美德。你必须考虑你为什么要达成共识,你想实现什么目标。因此,有时候你确实需要共识,但有时候你需要的是分歧。创新的组织本身是复杂的。在创新的不同阶段,有时候需要让人们分开,而不是让他们都达成某种折中的一致,因为如果你那样做,就会产生"冲淡效应"(a washout effect),也就是说,你得不到任何人的极致想法,而只能得到大家都妥协的结果。但实际上,正是那些极端的想法最为有趣,那些看似疯狂的想法吸引了某些人,因为他们真的相信这些想法并觉得有趣。这就需要保护,而不是共识。你需要保护那些脆弱但极具价值的想法,尤其是当这些想法来自你聘请的顶尖人才时。你不会想让某个街头的陌生人提出一个极端的想法,然后就为他提供资金,但我们讨论的是那些有资格提出这些想法的人。在这种情况下,给他们一些保护,打破共识是合理的。当然,最终也必须有一个阶段,人们要重新聚在一起。因此,创新是一个循环的过程,有阶段性分歧,也有阶段性聚合,因为有些项目的确需要多人协作才能完成。即使有时候团队需要达成共识,也并不是非要在目标上达成一致。你可以在“有趣性”上达成共识。当我说“有趣性”时,指的是可能没有明确目标的情况。只是我们要探索某个特性,我不知道它的最终目标是什么,但我觉得它有趣。而且,我应该能够解释清楚为什么它有趣,这不是毫无目的的行为。这种探索会创造一个全新的空间,我们可以在其中观察到前所未见的现象,而这些新现象能教会我们一些东西,这些知识最终能被用于更实际的目的,产生实际的影响。我只是想做这件事,因为它能打开一个新的探索空间,增加新的信息,然后我可以对团队说,让我们一起做这个,我们不知道会走向哪里,但一定会有趣。我常常这样做,尤其是当我领导研究团队时。在我的职业生涯中,我意识到,如果我想做一些没有明确目标但我觉得很有趣的事情,必须让团队成员也对这个想法感兴趣。如果我做不到这一点,可能就意味着还没到时候。但如果我能做到,那团队就能对这一非明确目标的探索保持一致。这些都是非常复杂的议题,有聚合阶段,也有分歧阶段,特别是分歧阶段——这在当今的大多数机构中可能比较少见,但却非常重要。就像乔尔说的那样,"布德实验"之所以成功,是因为我们允许人们在很长一段时间里独立探索,独自搜索和探索领域,只有在特殊的时刻才允许其他人进来看看别人发现了什么,然后决定是否要参与,而其他时候,每个人都是独立的,没有外界干扰。这也是创新的一部分——非共识的情境

袁晓辉:我同意,有时候创新来自于分歧。一些专家看到了某种事物的价值,而另一些人则认为那是无稽之谈。我记得在我在五年前自己创业时,看到一些非常著名的投资人常常会问一个问题:"有什么是你看到了价值,而别人没有看到的?"这正是保证创业公司能实现创新的原因。
[attach]2934[/attach]
图 少有人走的路往往带来意外之喜(注:AI生成)组织的领导者如何才能营造一种激发创新的环境?

袁晓辉:基于此,对于组织的领导者来说,这就显得非常重要。他们会面临巨大的压力,因为如果他希望自己的团队更加具有创新性,他必须创造一种鼓励不同研究人员或员工进行探索的环境。你曾领导过团队,能否分享一下你的建议,给那些希望创建创新驱动环境的团队领导者?也许乔尔也是这样的领导者。你可以先说说看。

乔尔:当然,是的。我认为,有一点可能是你不应该去做的事情,我觉得容易犯的错误就是在激励机制上做文章,看起来像是与你所期望的成果有关。换句话说,在研究环境中,可能会有像顶级会议的论文或者你能在顶级会议上发表多少篇论文这样的衡量标准。如果从一开始就专注于这种衡量标准,尤其是晋升往往和这些指标挂钩的情况下,就会有风险,可能会牺牲掉你真正关心的东西。这就是量化一个复杂的、具有质量属性的事物时所产生的另一个问题。在学术界,这种情况经常发生。你会看到许多会议论文,它们都找到了合适的套路,能够满足评审们的不同需求,大家变得非常擅长“玩游戏”。但是,也许你真正想要的其实是一篇突破性的论文,这篇突破性的论文可能比十篇这种数量上的顶级论文还要有价值。但为了获得这样的成果,你需要让你的研究人员不要把这种量化的目标放在外在上。这就像目标的悖论,结合了激励机制的问题,因为你通常确实会得到你所激励的东西,这之间存在一种紧张关系。因为有时候,研究实验室的表现看起来会更好,特别是当它拥有很多这种高质量、引人注目的出版物时。所以你可能一开始不想这样做,但那你该怎么做呢?我认为,这可能比较微妙,不同的人对如何设立这种研究环境会有不同的偏好。但你可能想要鼓励大家去接受糟糕的想法,广泛阅读,去做所有那些有助于避免显而易见想法的事情。我觉得这是另一种启发式的方法。如果一个问题很难,如果你试图解决的是一个雄心勃勃的研究问题,那么如果它很简单的话,别人早就解决了。所以,无论你最初的想法是什么,或是你首先想到的两个想法,它们可能都不会是正确答案。我想,在我的脑海中还有更多这样的隐性启发,但这些是我首先想到的一些。

袁晓辉:那么,肯,你对创新导向团队或组织的领导者有什么建议吗?肯尼斯:是的,我当然同意乔尔关于激励的观点。我认为激励机制是一个非常有趣的讨论点。例如,类似于乔尔所说的,当你向某个会议投稿时,也像你申请科研资金一样,会有一个评审小组来审查你的提案,决定是否给予资助。通常来说,评审小组里越多的人同意这是一个好主意,你就越有可能获得资助。如果有共识,所有人都认为这个项目应该资助,那么它就会获得资助。但这是一个显而易见的问题,因为,难道世界上最有趣的想法不是那些与专家们不一致的想法吗?如果专家们全都同意,那肯定就是现状,因为大家已经知道了那些内容。当人们开始对某些事情意见不一致时,尤其是在最前沿的工作上,事情才会变得有趣。我们并不总是知道接下来会发生什么。有些人觉得这是个好主意,而有些人不确定。当然,并不是说异议总是好的,有时候那些反对的两个人可能是对的,这确实是个糟糕的主意。但我想说的是,有时候能够引发异议实际上是一件好事。前沿研究就是这样,当激励机制建立在共识的基础上时,往往会把事情推向现状,重复我们已经知道的内容,而这些通常不太有趣。所以,我认同的是,激励机制有这个问题。不过,当我们谈论如何运行一个研究机构时,这有些不同,因为这不一定是向某个外部机构申请资助,而是你在管理自己团队的人,这些人向你汇报,而你需要告诉他们应该做什么或怎么做。这就不需要一个评审委员会来决定了,因为你是这个团队的负责人。在这种情况下,还有一个重要的因素,就是你需要建立一种鼓励讨论有趣问题的文化。这和激励机制有些不同,但同样重要。在我们的文化中,我们似乎对谈论"有趣性"感到非常害怕。普遍来说,一切似乎都必须是客观的。比如说,如果你有一个新的 AI 算法,你拿去给经理看,他们可能会说,"看看它的性能如何,比我们之前的尝试更好的吗?如果是,那就很好,如果不是,那我们换个方向吧。"但没有人讨论它是否有趣——不管性能好坏,它都可能是有趣的,这一点与性能是独立存在的。很多新想法在刚出现时,性能并不一定优于现有的最前沿技术,但这正是颠覆的来源。新想法就像婴儿一样,需要成长——它们还未成熟。我们如何评价这些想法,除非我们能讨论它们为什么有趣?而我们并不擅长讨论有趣性,因为我们对此感到害怕,这又是一个所谓的"安全感的依赖"问题。我们害怕这种主观性,担心会被欺骗。比如说,我们有一个员工,他可能是个很会说话的人,他能把事情说得很好,像在做广告一样,把想法推销给别人,结果并不是客观上的优秀,而是他用人格魅力蒙骗了我,这可能会带来浪费时间的坏结果。但我认为,这只是源于恐惧而已。没有什么是保证一定成功的,这正是创新的特点——需要冒险。如果我雇用某个人,却害怕他的想法,那根本没有意义。我雇用他/她,不就是因为我想了解他/她觉得有趣的东西吗?当然,我并不是说应该完全无条件信任某个员工的所有想法,也不是说员工可以理所当然地要求资助自己的项目,然后就没有讨论的余地了。我认为他们需要解释为什么这个想法有趣。但我想说的是,我们的文化目前倾向于不去讨论这些问题,认为这些讨论不算是正式的、合法的讨论,因为它们是主观的、空泛的。因此我们会回到性能曲线上,"做个实验,看看它是否值得,如果值得,我就会批准你去做。"但我们不去讨论这个事情到底为什么有趣。所以,如果我有一个研究机构,我希望从头开始建立一种文化,大家可以讨论什么是有趣的,我们学习如何进行这样的讨论。这并不是一件简单的事情,不是说"我感觉很兴奋,所以这个事情很有趣"就可以了,而是要解释它为什么能开启一个全新的世界。这就像探险,我们刚刚发现了一块新大陆。为什么这块大陆值得探索?因为那里有很多可能性。我不知道这块大陆上有什么,但我可以解释为什么值得去探索。我们不会因为缺少明确的证据去证明那些有用的东西,而直接掉头走掉。我们应该去探索这个新大陆,就像当初发现北美洲一样,即使我不知道那里会有什么。所以,我如何解释我现在的某个想法,为什么它能够打开一个全新的可能性大陆,或者一个新的游乐场?这类讨论我们往往不够自信,我们也不信任他人能够进行这种讨论。但我相信,如果创新组织能够进行这样的讨论,并且与很多有资格的同行一起认真讨论,事情将会发生变化。

袁晓辉:是的,我完全同意。让人们可以讨论有趣的话题,让他们去思考为什么这些话题有趣。是的,这对创新环境和组织都会非常有益。我认为我们应该避免让恐惧主导我们的组织文化,而是应该更加乐观,相信员工或组织成员的能力。OpenAI是如何结合自由探索和目标规划的?

袁晓辉:因为你们两位都曾在OpenAI工作,我想问一下。在你们离开之前,OpenAI的环境是怎样的?它是否是一个鼓励探索不同方向的环境,还是每个人都有非常严格的OKR需要遵循?我之前听说在OpenAI,研究人员被鼓励发表具有影响力的博客,并将其作为研究人员的KPI。我不知道这是否属实,能分享一些这方面的信息吗?肯尼斯:我们可能不能具体谈论那里的管理结构,但可以做些概述。谁先来回答呢?袁晓辉:好的,也许乔尔先说吧。

乔尔:嗯,OpenAI在研究方面确实非常成功,他们在这一领域有专长。是的,我想他们在某些方面对API的使用考虑地很周全。对于一个组织来说,肯定是有要关注的方向的,就像我们加入的时候那样,会有一个明确的方向,特别是专注于大型模型的开发。而在更早期,OpenAI更像是进行广泛的探索,尝试许多不同方向的有趣项目。当然,他们现在也在做一些有趣的事情,但方向更加集中。我认为他们在平衡这两者方面尽了最大努力,但这确实很难做到。袁晓辉:所以你是说,在探索初期,他们需要投入大量资源,但他们确实致力于保持每个人的探索精神?可以这样理解吗?乔尔:是的,回顾OpenAI的起点和他们的成就真的非常令人敬佩。他们在多个机器学习领域取得了成功,这大部分是因为他们在神经网络规模方面的强假设,他们比其他人更早做出这个赌注。他们在视频游戏、进化算法以及各种生成模型方面都进行了尝试,这些尝试很有趣。实际上,导致GPT系列发展的Transformer模型来自于另一个组织——谷歌的研究部门。而且,你知道,理论上应该是他们来把它扩展到科学领域的人。但是,他们失败了。所以看到不同的组织有不同的偏好,这很有趣。如果他们能够开放眼界,也许他们也能够做到。所以我们看到,谷歌研究出了Transformer,但最终是OpenAI充分发掘了它的潜力,并将它推向了顶峰。你知道,全面广泛地探索,然后专注于一个核心事物,并全力以赴地去深入研究它。OpenAI是一个非常有趣的组织。我想是的,这就是它的历史。袁晓辉:是的。提到视频游戏,我在想,开放AI的研究人员是否会因为觉得视频游戏非常有趣,所以想基于一些视频游戏进行人工智能研究。是因为他们觉得它非常有趣吗?

乔尔:实际上,我认为这可能只是一个偶然现象。我的意思是,我认为视频游戏真的很有趣,而且有很多研究社区实际上专注于新的AI技术,这些技术可以用于视频游戏或者部署在游戏中,或者用于制作游戏关卡。这在某种程度上引领了AI的创造性方面。但我认为,这几乎正好与我们书中的信息相反,很多游戏之所以被选用,是因为它们有一个评价基准,算法可以在这个基准上竞争。所以在强化学习领域,长期以来,雅达利游戏就可以让算法实现一两个百分点的提升,它们只是在互相竞争。所以在某些方面,这些基准实际上在某种程度上阻碍了这个领域的发展,因为它们会强调这种赢家通吃的局面,就像强迫算法做出微小的调整一样。袁晓辉:所以只是作为一个评估系统。乔尔:对。

袁晓辉:好的。肯,你对这个问题怎么看?

肯尼斯:我觉得 OpenAI 展现了愿意做一些有趣事情的能力,这一点本身就很有意思。这其实和我们书里倡导的一些理念是有一致性的。我曾看到有人给我分享了一个视频,我最后把它复制下来并自己发了推特,是山姆·奥特曼在谈论我们书中的一些想法。我感到很惊讶,他说这些想法对他有影响,并表达了其中的一些观点。不过,我并不是在这里声称 OpenAI 是完全按照我们书里的理念来运作的,但我觉得某种程度上,他们的工作确实受到了一些影响,尤其是山姆表达了,对不完全追求目标导向的观点很认同。具体来说,我觉得可能也和乔尔说的某些观点有点关联,比如 GPT 的出现,某种程度上是因为他们追求“有趣”。就像乔尔提到的那些强化学习的基准测试,GPT 并不是为了在这些基准上击败什么,而是因为它本质上有趣。它输出的文本看起来有点像人类的写作,虽然还远远不如真正的智能,但它具备某种“有趣”的特性。这不是你能用数字去量化的东西,而是看上去很有趣。那么,问题是,如果你看到这样的东西——比如五六年前,你会投资几百万美元去做大规模的实验吗?大多数人不会,因为从客观上来说,这看起来是个不太好的想法,没什么明确的量化价值。它没有在任何强化学习游戏上击败系统,也没有带来明显的可量化价值。它仅仅是“好奇”,但并没有客观上的优越性。那么,什么样的人会去投入数百万美元做这样一个“巨大的实验”呢?比如,GPT-3 是怎么来的?我觉得只有那些自己也觉得“有趣”的人,才会去做这样的事情。他们可能并不知道最终会得到什么,但他们觉得这将会有趣,而他们愿意去尝试。这也是为什么很多人会问,为什么这种事情没有发生在 Google 或者 DeepMind?我的看法是,他们可能缺乏这种纯粹为了好奇而再投资的勇气。这种勇气是非常可贵的,我认为 ChatGPT 的诞生也是类似的。没有人能预见到给 GPT 加上一个聊天界面会在全世界引起如此轰动。就像 GPT 本身的技术已经在那儿了,加入聊天功能本质上并不是一个显而易见的重大目标驱动的行动,但它却带来了“改变世界”的效果。因此,我认为这展现了他们有能力去做那些有趣的事情,而不一定是完全目标导向的。当然,我也不想说 OpenAI 完全按某种哲学或一本书的理念运作,他们也做了很多具有明确目标的事情。比如我们可以看到现在语言模型在基准上的表现有显著提高,这说明他们对这些方面也很在意,可能比我自己还要在意,因为我依然更相信自己的理念。但尽管如此,他们还是愿意在合适的时机仅仅因为事情本身有趣而去尝试。袁晓辉:是的。我想补充一下关于你们书的信息,其实《为什么伟大不能被计划》这本书是 2015 年出版的,所以你说它影响了山姆·奥特曼,我觉得也有可能。也许你们的书真的给了他启发,让他在组织运营中更看重“有趣”而非目标导向。
[attach]2935[/attach]
图OpenAI创业初期的办公地点(图片来源:https://en.wikipedia.org/wiki/OpenAI)OpenAI的成功是偶然,还是必然?

袁晓辉:所以,结合你刚才说的内容,你认为 OpenAI 的成功是偶然的吗?还是说是不可避免的结果?它是因为技术路径的正确判断,还是说有其他原因?我知道环境非常重要,比如领导者如何评估研究者的工作,是否能给他们一个相对宽容的环境去尝试新事物。你怎么看这个问题,肯?

肯尼斯:是的,我觉得,文化中确实有一些东西可以解释为什么他们会成功。这是一个非常难的问题,我经常被问到:为什么OpenAI会成功?这个问题很难回答,因为这也隐含着另一个问题,为什么其他人没能成功?这就像问你为什么上周没有去度假一样,可能有很多原因,为什么有人没有做某事,而有些人却做了。他们选择了这样做,比如投资于某种大胆的愿景。那是什么呢?我可以说,这是与领导层的兴趣和勇气有关。就是说,愿意真的把所有的赌注放在一个看起来风险很大的事情上。当我说做一些有趣的事情时,我不是指随便做点什么,我是指花费数百万美元,这需要很大的勇气,仅仅因为它看起来很有趣。我确实认为文化中有某些因素促成了这一点,所以文化应当受到一些称赞。而且他们确实有一种优秀的“兴趣探测器”,他们有很好的直觉。那些人的头脑很好,有些天赋的想法在那个时刻,那个地点,那个历史时刻,恰好融合在一起。他们具备了良好的兴趣探测能力,就是能够判断出某些东西是真的非常有趣。他们注意到了一些东西,比如规模化的概念、语言模型的概念、数据的概念,这些都与他们公司的领导风格非常契合。所以他们恰好在正确的时间出现在正确的地方。这种情况非常具有历史偶然性,难以预测,也很难有意去组织。换句话说,这是无法提前计划好的。比如,不能计划把这些人聚在一起,因为你不知道你要让他们做什么,因为他们最终做的事情,并不是最初的设想——视频游戏,他们做的其实是语言模型。他们只是恰好是合适的头脑,在那个时刻做合适的事情。所以,这其中有很多运气成分。当然,这也与他们的聪明才智有关。比如,山姆雇佣了优秀的人才,伊利亚也雇佣了优秀的人才,而且伊利亚本身就是一个很有直觉的人,拥有非常有趣的直觉。所以是合适的人在合适的时间,拥有了合适的直觉。但是你要记住,这并不一定可以复制。这也是这些事情有趣的地方。拥有这种直觉的人很稀少,在那个时刻出现。而下次可能是完全不同的人组合,不一定会是同样的人群。实际上,很多人现在已经离开了,已经不是原来的团队了。即使还是同样的团队,也不保证能够再次成功。雷电不会在同一个地方击中两次。所以我认为问题在于,我们是否已经越过了最后的障碍?也许这个大问题已经解决,现在只需平稳前行,或者如果我们需要更多这样的事件,那么事情将变得非常难以预测。它不一定会再次发生在同一个组织,其他地方也可能有机会发生类似的事情。人们通过观察已经学到了一些东西,比如需要一定的开放心态,不仅仅关注我们在游戏等方面的表现。所以未来的“雷电”可能会在其他地方击中。也许会再发生在伯克利之类的地方。

袁晓辉:是的,我完全同意,这真的很难复制,但是很多国家都迫切希望复制他们自己的OpenAI。但是,正如你所说,保持开放性和对错误的容忍,不仅对于那里的研究人员如此,对于企业家和投资者也是如此,他们也应该对未来可能发生的事情保持比较大的宽容度,因为确实有很大的失败风险。

袁晓辉:乔尔,你的看法呢?

乔尔:我基本上和肯尼斯的看法差不多。我觉得有趣的一点是,世界的走向本来可能完全不同,特别是在规模化(Scaling)这个问题上。我想,那真的是一次巨大的赌注。所以,当人们试图模仿OpenAI时,有时需要做出一个没人愿意做的大赌注,但并没有任何保证它一定会成功。所以,他们不仅有非常聪明的人,还有探索的意愿。从一开始,他们就做出了这种反常规的赌注,并且一次次地将所有筹码都押上,这确实需要很大的勇气。但同时,结果不一定非要这样。换个平行宇宙,也许事情会完全不同。当时甚至在这个领域内的人都不觉得规模化(Scaling)会是一个关键问题。实际上,规模化往往是行不通的,之前在神经网络方面也是如此,直到后来才发现这个问题的不同。所以,这背后有着非常偶然性和不确定性的因素。但如果你选择了别人没有做的赌注,结果证明是正确的,那就会带来巨大的回报。你拥有了聪明且富有创造力的人,并且愿意不断尝试新的事物,直到最终碰到语言模型,这成为了爆发点。而语言模型本身也是有偶然性的,这个概念已经存在很久了,人们以前使用其他技术来做语言模型,在GPT出现之前,我的经验是,没人会认为语言模型会成为如此成功的产品基础。语言模型曾经只是个玩具,人们用它来生成一些文本,看看它会产生什么有趣的东西。但谁能想到,它竟然成为了一家千亿级公司的基础。这种转变是非常非线性的,有很多意外和偶然性。是的,我们确实生活在一个有趣的世界里。袁晓辉:其实,我还在OpenAI的发展过程中看到了一个词,那就是“信任”(trust)。领导者信任员工和研究人员,投资者信任企业家。OpenAI也尝试为所有人打造产品,他们也信任用户,相信用户可以找到一些有用的方法来使用这个产品。也许信任是可以抵抗恐惧的东西。这也是我刚刚想到的。乔尔:是的,这真的很有趣。GPT-3作为一个API发布时,没有一个明确的应用场景,但他们相信用户的创造力。这是一个很好的观点。我想不是所有公司都会这么做,很多公司可能会自己寻找一个杀手级应用,而不是依赖用户的创造力。

肯尼斯:对。

乔尔:他们创建了一个生态系统。

肯尼斯:对。

乔尔:而这就是它的成功之处。

肯尼斯:是的,我喜欢你说的信任可以抵抗恐惧,这个观点很好。成熟企业该如何实现持续创新?

袁晓辉:是的,你在书中提到OpenAI是一家全新的公司,一种新型的组织形式,但很多成熟的大公司,比如谷歌、Meta等全球领先的公司,它们都已经非常成熟了。如果我要向你请教一些关于这些大公司的建议,它们也想创新,也想在未来开辟一片全新的天地。但是我们也知道,某些大公司可能会有一些问题,导致创新停滞。对此你有什么建议?

袁晓辉:或许可以先请乔尔发表一下看法?

乔尔:嗯,我觉得我没太多要说的,但我认为大公司的一个主要挑战就是官僚主义,大企业通常会有大量的官僚体系。这可能是一个被低估的难题,就是在官僚体系内开辟一个空间,这个空间内的激励机制可以不同,或者这个空间的结构更加精简。有些公司会谈论在大公司内部创建一个创业孵化器,给这些特别的空间提供不同的规则。是的,我认为需要在这些地方设置不同的激励机制,但我想肯尼斯可能对此有更多看法。

肯尼斯:我们经常讨论这个问题,我觉得很有趣的是,为什么大公司里的创新中心几乎总是会最终失去动力和活力?这的确是一个值得深思的问题。你看像施乐研究中心、贝尔实验室这些曾经令人惊叹的地方,甚至可以问:为什么语言模型革命发生在OpenAI,而不是谷歌、DeepMind?为什么不是他们?这显然与官僚主义有关,正如乔尔所说,官僚结构对创新确实是个大问题,越是有明确的结构和限制,创新的空间就越小。但更具体的问题是,仅仅设立一个创新实验室或研究实验室,并告诉大家他们的任务是创新,这远远不够。真正的问题在于,公司的整体目标和方向会不可避免地渗透进这些创新组织,除非你采取非常极端的措施加以阻止。这不是仅靠说正确的话就能解决的事情,必须从上到下彻底改变。这必须从CEO甚至董事会的层面开始,如果公司高层的某个环节没有真正认同这一理念,这种文化就会渗透下来。问题在于,研究机构里的聪明人都能察觉到公司内部的真正激励机制。这些激励机制太强大了,任何人都无法忽视。如果我告诉你,你的工作是创新和基础研究,不用担心公司的盈利情况,但你不会相信,因为你很清楚,如果两年内不对公司的利润有贡献,这个实验室就会被关闭。所以,所有关于创新的说法,听起来都像是空话,根本没有意义。所以这必须从最高层开始,否则即使是首席技术官真心想要建立一个研究机构,但如果CEO不支持,这个计划也无法实施。这是一个非常艰难的过程,因为通常CEO不会真正花时间深入思考这个问题,但他们必须这么做,必须像我们现在这样认真讨论这个问题,否则就不可能真正理解其复杂性。我们写书的原因之一就是为了让这些高层决策者有机会深入了解这些问题,因为你无法通过15分钟的简短对话来真正理解创新的重要性,这只会变得表面化,无法产生实质性的改变。我们需要进行深入的对话,讨论创新的悖论以及为什么伟大无法被计划,这是一个需要多小时的讨论,只有在深入理解后,激励机制才有可能真正改变。这是一个非常激进的理念,因为如果你真的在一个公司内部推行这样的创新模式,其他部门的人会感到非常不满,他们会觉得那些研究人员就像在游乐场里玩耍,而我们却在为公司创造利润。这就需要极高的领导力,领导者不仅要理解这一点,还要有足够的魅力和能力向整个公司解释这种模式的重要性,否则在政治上无法生存下去,整个计划几个月内就会崩溃。这是非常困难的,但我相信是可以实现的,只是需要充分考虑到这些复杂的因素。

袁晓辉:也许你们可以再写一本关于公司创新的书。

肯尼斯:哈哈,这确实是个好主意,我们应该写一本这样的书。

乔尔:是的,确实如此。

袁晓辉:是的,只要激励公司里1%的员工,这对创新来说就足够了。

肯尼斯:激励他们,同时彻底改变他们的激励机制,并保护他们不被摧毁。

袁晓辉:你知道在传统的中国文化中,也有一些哲学家有类似的思想,比如道家。他们相信万物自然发展,鼓励事情顺其自然地发生,而不是过度管控,去强行引导事物走向某个方向。是的,在传统的中国文化中有类似的思想,虽然这种思想现在在中国并不流行,但我觉得它和你的观点有些共鸣。也许你能从中找到一些有趣的东西。

肯尼斯:其实我们在书的某一章里引用过。我们非常喜欢老子的思想。我不确定他是否真的存在,但至少我们知道中国文化中有这样的一种思维方式。我们引用了“善行,无辙迹;善言,无瑕谪”的话,这真的是一个非常发人深省的观点。

袁晓辉:是啊。肯尼斯:这表明,早在几千年前的中国文化中,就已经有了类似的思考方式。尽管如此,我们并不是在说我们提出的观点有多新颖,而是我们现在有了大量的证据来支持这种哲学思想,因此它不仅仅停留在哲学层面。然而,即使在像中国这样深思熟虑的文化中,这种思想仍然会丢失。正如你所说的,在现代中国,人们可能会研究这些哲学,但这并不是现代机构运作的方式。事实上,现代社会无论在哪个国家,似乎都不太容易接受这种思维方式。

袁晓辉:是的,我同意。这很难,但值得去做。
[attach]2936[/attach]
图 道家提倡:道法自然,无为而治(图片来源:https://www.sohu.com/a/499815101_121159
AI时代最有趣的技术或产品?
袁晓辉:接下来我想和你讨论一下智能在正处在一个非常具有变革性的时刻,大家都能感受到,每个人现在都可以拥有自己的AI手。所以我想问的第一个问题是,既然我们在谈论一些有趣和新颖的事情,你觉得目前最有趣或最具新意的AI技术或产品是什么?也许先请乔尔回答。

乔尔:嗯,从实用主义的角度来说,我真的很喜欢ChatGPT,还有那种类似于Copilot的编程助手之类的东西,它们非常实用。不过坦白讲,虽然这些东西非常有用,但真正让我感到震撼或者启发的“杀手级应用”我还没有看到。我们之前谈到了游戏,在这个领域里确实有一些有趣的东西。如果AI能够创造出全新的、有趣的体验,或者能够开启讲故事的新方式,那我觉得非常有趣。我知道现在也有一些人正在研究游戏AI创业项目,但就我个人而言,目前还没有出现那种真正能改变我生活的产品。

袁晓辉:你是说在游戏中的AI应用,还是用AI来生成游戏?

乔尔:嗯,我指的是AI在游戏中的应用,这很有趣。你可以想象AI赋予游戏中所有角色独特的性格,并能产生动态的故事情节,这种互动会非常有吸引力。我觉得游戏作为一种媒介,有着巨大的潜力,可以传递复杂的信息。我们现在才刚刚触及其可能性的表面。无论是AI参与到游戏角色的塑造,还是实时生成游戏的新部分,这都是非常激动人心的技术前景。

袁晓辉:明白了,这确实很有趣。那么肯,你怎么看?有哪些新颖的AI技术或产品吸引了你的注意?肯尼斯:我认为在AI技术不断进步的过程中,真正让我感到兴奋的时刻是当它能够放大我的创造力时。在某些我无法自己表达的领域,这让我感到非常激动。当然,这对不同的人来说是不一样的。比如对一些人来说,编程方面的创新让他们能够构建以前无法实现的应用程序,这是一个起点。举个例子,编程对我来说虽然很酷,但并不算特别激动人心,因为我自己就能编程。对我来说,它只是让事情变得更容易,但并没有从根本上改变我的生活,因为如果我真的花时间,我也能做出来。不过,有一项技术我还是要提一下,虽然说出来有点像打广告(笑),但如果他们听到的话,应该给我一点公司股份(笑)。这项技术叫做Suno,它是一款音乐生成器,我等这类产品已经等了一辈子了。我一直在想,什么时候会有人推出这样的东西,现在终于出现了。你可以对着麦克风唱歌,虽然我只能唱个调子,这是我有限的音乐才能了。但问题在于,我有很多音乐的想法和旋律,但由于我没有音乐才能,这些想法都被困在我的脑海中。而这项技术可以让我将这些旋律唱出来,然后通过AI生成完整的音乐,比如你可以选择摇滚、乡村或者爵士等风格。这简直是打破了我创作的牢笼,让我第一次真正听到了自己头脑中的音乐想法,就像我真的有一个乐队愿意和我合作一样。虽然这项技术还不完美,我还没亲自使用过,只是看了别人展示的视频,但这个概念让我非常兴奋。如果AI能够扩大我们的创造力,而不是取代我们,那我觉得这才是真正的解放。相反,如果AI让我们什么都不做,我就会开始担忧,比如失业和经济的彻底转变,那种未来对我来说更加难以预测和理解,但我支持能增强我们创造力的技术。

袁晓辉:是的,我在问自己最近最有趣的AI产品时,脑海中浮现的一个例子是,当我给企业高管或政府领导做分享时,向他们展示Suno AI的音乐生成过程,他们都非常兴奋,我觉得这也是一个非常有趣的应用。另外一个应用是我让我的7岁孩子使用ChatGPT,让他生成自己喜欢的故事,还能生成故事中的图片。他对此感到非常高兴和兴奋,我觉得他也学到了关于讲故事的技巧,现在他也试着自己编故事,想成为一名创作者。所以,我觉得这对下一代来说也非常有趣。

肯尼斯:你看。袁晓辉:是的,我想知道,你会鼓励孩子在家里使用AI应用吗?肯尼斯:这是个好问题。我有一个五岁的孩子和一个十岁的孩子,现在更多的是和十岁的大儿子讨论这些事情,因为他已经具备了认知水平去思考这些问题了。对此我有些矛盾。一方面,正如你所说,AI确实很棒,可以让他探索一些他可能本来不会去探索的东西,激发他在创造力方面的兴趣;但另一方面,当我看到他自己动手做事情时,我觉得这也是非常健康的。比如他喜欢编程,还会自己制作一些小音乐视频之类的东西,完全不依赖AI。所以我会思考,是否应该鼓励他更多地使用AI?他现在用自己的大脑思考,依赖AI可能不是那么好。你知道吗,像ChatGPT可以写故事,但它们不是很优秀的故事,甚至不是优秀的儿童故事。它们有些套路化,总是重复一些典型的情节,比如“公主被勇士救了”,可以写出无数个不同版本,但不会真的让你深思,也不会改变你对世界的看法。所以让孩子沉浸在这种环境中,并让他们觉得自己做得很好,是否真的有益?对此我还不确定。但显然,让他们接触一些AI是非常重要的,因为这是未来的一部分,他们需要掌握这些工具,我们不希望他们在未来对这些东西一无所知。所以从这个角度看,我确实认为让他们接触AI是重要的,但我也在思考,作为日常娱乐和自主创作来说,和以前的孩子相比,这种方式是否更加健康。我还没得出结论,我对此很好奇,你怎么看?

袁晓辉:你是让恐惧控制了你吗?

乔尔:哈哈。肯

尼斯:看,你说中了。

袁晓辉:(笑)

乔尔:(笑)

肯尼斯:对对对。

袁晓辉:也许可以和他们更多互动,邀请他们和你一起探索AI应用,这样家长也能更好地了解他们的使用情况。

肯尼斯:对,这很有道理。这样的话,AI也会成为一种社交活动,父母和孩子之间有更多的互动,这显然是很健康的建议。

袁晓辉:是的,我也觉得,AI在教育方面可能实现个性化教育,每个孩子都可以根据自己的兴趣接受一对一的教育。有些孩子喜欢Minecraft,有些喜欢其他视频游戏,如果AI能基于Minecraft生成教学内容,那就很棒了。这将极大地帮助他们学习数学或科学。

肯尼斯:对,教学潜力是巨大的,我同意。但现在还有个问题,就是AI的“幻觉”(hallucination),它对教育非常不利。你绝不希望你的老师是“疯的”。

乔尔:(笑)肯尼斯:所以我们需要解决这个问题,只要能够减少“幻觉”,AI在教育中的应用就会非常出色,潜力巨大。

袁晓辉:乔尔,你目前还没有孩子,对吧?

乔尔:是的,我没有。

袁晓辉:那么除了你提到的ChatGPT,还有没有其他你觉得有趣的AI产品?

乔尔:没有什么特别的产品立刻浮现在脑海中,我觉得在ChatGPT中已经有很多应用了。正如你们说的,教育是我最期待的领域之一,个性化教育是个巨大的机会。我们在书中也批评了现有的许多指标驱动的教育系统,这些系统实际上抑制了孩子们的自主性。我自己在这方面有很大的挣扎。回想起来,我对教育过程没有太多美好的记忆,尤其是在如何为世界做准备这方面。而AI有可能通过个性化的教育来帮助孩子们发展他们的兴趣。当然,这些项目需要非常谨慎地开发,正如肯尼斯说的,幻觉仍然是个大问题。不过如果从正面来看,这种幻觉现象也促使我们在批判性思维上保持警觉。前几天我在做某个审稿工作时,AI给我提供了一些文献,其中一篇居然是肯尼斯的NIPS会议论文。但AI把它引用为斯坦福大学的文献,还在其他地方犯了一些小错误。所以我觉得在某些领域,AI更容易产生“幻觉”,特别是在文献引用方面。

肯尼斯:是的。

袁晓辉:对,确实如此。我还看到今天的新闻,拍摄《泰坦尼克号》的导演卡梅隆加入了Stability AI的董事会。是的,他成了董事会成员。我认为这将对创作者产生很大的影响。

肯尼斯:对。对人类与AI协作的未来,乐观还是悲观?

袁晓辉:你觉得未来会不会出现一种范式转变,朝向人类与AI的协作?这些年,人类主导了大多数工作领域,但可能在十年或二十年内,AI会主导我们的劳动市场。你觉得会有全新的职业出现吗?这些职业会与我们现在做的工作完全不同。你对未来持乐观还是悲观的态度?乔尔,先请你来谈谈吧。乔尔:我对此有些分裂的看法。有时候我很乐观,如果AI能够自动化那些我们不愿意做的琐碎工作,并创造出新的工作岗位,那就很好。历史上,技术总是会创造新的工作机会,但这次我们面对的技术在自动化认知工作,这是个大问号。那些新工作会是什么样子呢?也许是通过AI放大我们的创造力,或者其他什么。我更悲观的一面是,我不确定这些技术是否会以明智的方式部署,特别是考虑到社会影响。社交媒体就是个例子,最初它的承诺是美好的,比如让人们更紧密地联系在一起,但多年后,我们看到了其心理上的负面影响,尤其是在年轻女性身上。而ChatGPT可能是历史上最快部署的系统之一,我们还不完全清楚其第二、第三层次的影响是什么。它已经开始重塑教育,老师们都在思考作业应该怎么布置,如何应对这些变化。其实,我最担心的还是那些社会性的变化,尤其是AI伴侣类应用,这些可能会取代人类关系,这对我来说有点可怕。如果AI完全替代了人类之间的联系,那可能会走向一个非常反乌托邦的局面。当然,也可能是AI在增强人类关系,所以我希望自己能够参与到这方面的研究中,探讨如何明智地部署AI来应对这些次生效应。袁晓辉:是的,孤独确实是个非常重要的问题。我们也看到,许多年轻人都喜欢AI伴侣应用,当他们没有朋友或知己时,AI就成为他们倾诉的对象。我有些朋友也购买了类似的应用,而且非常喜欢,因为AI不会对他们说负面的话。乔尔:这确实非常有趣,一方面我们会觉得应该让人们做他们想做的事,而AI伴侣确实很方便。问题在于,它可能无法教会你人类关系的本质。如果它总是迎合你,无论你对它说什么,它都不会离开你,那么它就不会让你为真实的世界做好准备。我认为,如果AI能帮助人们发展社交技巧,那会更有意义。但也许我是老派了,未来每个人都会有自己的AI朋友,一切都很好。

袁晓辉:我们其实也在这个领域有一些研究,十月份我们还会举办一个在线会议,讨论AI伴侣的智能问题。肯,你怎么看未来,是乐观还是悲观呢?

肯尼斯:没关系。我发现,随着时间推移,我对未来的预测能力在下降。短期内,人类与AI的合作会越来越多,很多情况下是有益的,可以帮助释放人们的创造力,增加生产力。这是我能预见的事情,越来越多的合作将带来有趣、充满乐趣的社会成果。然而,当我们讨论到AI取代人类而不是协作或增强时,我的思维变得更加模糊,甚至有点不确定未来会是什么样子。这让我感到不安,不是因为我偏向悲观,而是因为我完全不知道我们将面对的是什么。就像你对死亡之后的世界感到困惑,即便你相信美好的事情终会发生,但仍然不知道它会是什么样子。这是一种全新的体验,这种未知感让我感到紧张。现在,很多讨论都只是触及了问题的表面,比如是否拥有AI伴侣是否健康。虽然这是个好问题,但更深层的问题在于,当每个人的智力都不如一个廉价的AI时,整个世界会是什么样子?每个人能做的事情,AI可以在一秒钟内做得更好,那么,我们的存在价值到底是什么?我对这个世界感到困惑。过去,我们常说技术会创造新的工作岗位,但在这种情况下,我无法理解所谓的工作到底是什么样的。我相信有些私人化的人类体验是AI无法触及的,比如我的情感经历、我的人生经历。我可能通过讲故事或写书来表达这些经历,这些体验是独一无二的,因为我是我。可是,这样的表达在经济上是否还有意义?我的工作是否仅仅是表达自己?这些问题我都不清楚。在情感层面上,这很好,但从经济角度来说,这是否足够?以及,未来我的孩子们会怎样呢?我十岁的孩子有艺术天赋,他能写作、制作有趣的卡通故事,但如果十年后,AI可以在一秒钟内比他做得更好,那他现在应该追求什么呢?我该教他什么来帮助他找到自己的价值?不止是他的生计问题,还有存在主义的问题:他为何要努力变得擅长某件事?我们到底在追求什么?过去的答案很简单明了,比如我们需要掌握某项技能,它可以带来经济利益,并让我们享受这种过程。但是现在,终点是什么?如果未来AI完全统治我们的生活,没人再关心这些技能和追求,那么我们还应该梦想什么?未来的孩子们将从哪里获得自信和健康的心理状态?这些问题让我感到非常不安。

乔尔:是啊。肯尼斯:所以我真的不知道未来会怎样,我觉得这种不确定性是我们焦虑的合理原因。即使是乐观的情境,我也无法完全确定那将是什么样的世界,因此我对未来感到相当紧张。袁晓辉:是的,我能感受到你的不安。在中国,很多人也担心出租车司机可能会被自动驾驶出租车取代,送餐员的工作可能会被无人机取代,目前约有上千万人从事这样的工作。如果无人机可以低成本运行,他们该怎么办呢?他们没有足够的教育和培训,这确实是很多国家,尤其是发展中国家面临的问题。

肯尼斯:是的。

袁晓辉:我觉得,如果我们能够放慢向智能时代过渡的速度,给人们更多时间去理解和使用这些技术,可能会是个应对策略。我们可以逐步传播这些技术及其理念,让人们有更多时间为未来做好准备。我记得有一次,山姆·奥特曼和比尔·盖茨讨论过“后稀缺世界”(post-scarcity)的概念。当前我们缺乏优质的医疗和教育资源,但在未来,随着AI和核聚变等技术的发展,我们将拥有足够的资源,进入一个“后稀缺时代”,每个人都能得到他们所需要的资源。即便AI的智能超越了人类,如果我们能根据自己的价值体系找到属于自己的价值,并在与家人、朋友的关系中找到意义,那或许可以成为一种解决方案。我认为,我们可以乐观地看待未来。

肯尼斯:是的,确实存在一种乐观的未来情景,关键是我们如何引导自己走向那个方向。但在这个过程中充满了风险,我也不确定我们是否能做到这一点。袁晓辉:引导方向,确实,这需要我们设定目标,采取积极的方式?

肯尼斯:没错,这其中确实存在目标悖论。我们的书中也提到了这个问题——设定一个雄心勃勃的目标并进行探索,往往是行不通的。所以,在某种意义上,我们需要进行探索。但即便如此,我仍然觉得前景有风险。比如,医疗资源无限,能源无限,这当然很好。但我们也要考虑,谁来控制生产手段?难道是OpenAI拥有了整个世界,而我们变成了AI的宠物?我不知道未来会如何运作。具体的情况没有明确的描述,比如每个家庭是否会分配同样大小的房子?地球上的资源毕竟是有限的。那么,我们是否会满意每个家庭都拥有相同面积的房子?还是说管理OpenAI的人将成为万亿富翁,而我们只是幸福的宠物?虽然我不是真的说这些会发生,但这些问题还没有清晰的答案,我们谈论的是整个社会结构的转变。这确实非常危险,也充满了目标悖论。所以我同意你的观点,如果我们能够慢一点推进这一进程,将有更多的时间来解决这些问题。

袁晓辉:是的,还需要让更多弱势群体获得使用AI技术的机会,让他们逐渐习惯这些技术。

肯尼斯:没错,这很重要。否则可能会出现巨大的社会不平等,比如一些人没有机会接触到AI技术,我们是否会足够关心彼此,确保这种情况不会发生?在这个过程中,谁来掌控?是AI在掌控,还是人类领导者在掌控?我对此感到非常困惑。

乔尔:是的,确实很奇怪,另一方面,更奇怪的是,我们人类创造的技术,可能会带来我们并不想要的后果。换句话说,没有人真的在大街上呼吁进入“后超级智能”时代,但它可能会到来。这让我觉得有些荒谬,最终可能会出现一个没有人真正想要的结果。关于目标悖论的问题,这种AI范式是否会一直延续下去,我对此持怀疑态度。几年后我们是否会看到一个彻底改变的世界,我不确定,但我们永远也说不准。

袁晓辉:是的,我们不一定要设定具体目标,但可以思考未来的多种可能性。肯尼斯:对。但乔尔说得很重要,我们还需要为一些非科幻的未来情景做好准备。即使没有超级智能主宰世界,社会仍然可能会发生一些逐步的变化,这也是一种可能的未来。虽然这种未来没有那么可怕,但依然需要非常谨慎地思考。目标悖论告诉我们,如果我们试图通过设定目标来控制未来,可能会产生适得其反的后果,使未来变得更加糟糕。所以这确实是一个充满挑战和复杂的局面。这本书的反馈是否给你们带来了新的灵感?

袁晓辉:是的,这也与你们的书中的观点有共鸣。我们在迈向自己想象的未来时,应该非常谨慎对待我们采取的具体行动。对吧?好的,最后一个问题。在你们写完这本书之后,你们一定收到了很多反馈。这些反馈是否激发了你们进一步的思考?还是让你们更加坚信自己的观点?

乔尔:是的,对我来说,有些书中的内容一直困扰着我,或者说萦绕在我的脑海中。这种困扰与我们刚才讨论的问题有关,关于开放探索与良好结果之间的紧张关系。一方面,我们希望开放式探索能够带来更多可能,另一方面,我们又希望避免那些潜在的负面结果。我们如何在安全开发这些可能产生各种次生影响的技术与获取其好处之间找到平衡?我认为,这种紧张关系激发了我继续研究的兴趣。

袁晓辉:是的,顶层设计与自下而上的探索之间的紧张关系。

乔尔:没错,正是如此。

袁晓辉:那肯呢?

肯尼斯:和人们谈论这本书确实对我产生了很大的影响。这让我感觉到,在我所做的所有事情中,可能这是让我最有成就感的。当我听到有人说,他们的生活因为我们的书而有所改变时,这种感觉真的很棒。这与我们在技术领域中做的工作不同,不像是开发出一个很酷的技术或算法。这并不是我从事AI领域时所预料的,我没想到会改变别人对生活的感受。但这种反馈让我更感兴趣,似乎对某些人来说,我们的书触及了他们内心的某根弦。这让我意识到,世界的运作方式存在问题,太多领域都是以目标为导向的,不管是职业领域还是教育领域。许多人因此感到压抑,这让我思考可以做些什么,至少能够缓解这种过度追求目标的倾向,让生活回归到更自然的状态。就像小时候在游乐场时,我们不会思考什么目标,而是随心所欲地去探索。甚至在古代社会中,比如我们提到的古代中国,这种思想已经在人类历史中流传了很久。那么我们能做些什么呢?如何让我们摆脱如今这种巨大的官僚体系?每次与别人交谈时,我都会感到受到启发,觉得也许可以做得更多,来推动改变,或者让更多人知道这些问题,虽然这不是一个AI问题,而是一个社会问题。

袁晓辉:是的,我完全同意。我觉得我们今天的谈话非常有意义,启发了我很多,非常感谢有机会和你们交流。我之前从未如此思考过这些问题。你们提到不要让恐惧主导生活,而是要信任、关爱他人,这将带给你探索世界的乐趣和动力。

肯尼斯:没错。

袁晓辉:让信任和爱成为你前进的动力去探索这个世界,这是我今天学到的。非常感谢你们!不知道你们是否还有问题要问我,不过时间可能有些紧张了。乔尔:是的。肯尼斯:对,或许现在时间有些紧张了。其实我对这些想法在城市规划中的应用非常感兴趣。我不是城市规划的专家,但我觉得这个话题很有意思,为什么有些城市或地区蓬勃发展,而有些却没有。不过现在可能没有足够时间继续讨论了,毕竟这里已经很晚了,孩子们也该睡觉了。袁晓辉:没问题,你那里确实已经很晚了。好的,非常感谢你们,肯尼斯和乔尔,我相信我们的观众也从这两个小时的对话中受益匪浅。谢谢你们!

乔尔:非常感谢。

袁晓辉:再见,谢谢!

肯尼斯:谢谢你们,真的很棒。

乔尔:是啊。袁晓辉:再见。

欢迎转发和评论,评论点赞最高的5位读者,我们会赠送《为什么伟大不能被计划》一书。感谢中译出版社对本次对谈活动的支持!
推荐阅读李南:《OpenAI o1不会“消灭”程序员》闫德利:《AI新技术会抢走人们的饭碗吗?》
[attach]2938[/attach]
点个“在看”分享洞见






欢迎光临 卡努努论坛 (https://kanunu.org.cn/) Powered by Discuz! X3.3