作者:达里奥·阿莫代(Dario Amodei)

Anthropic公司首席执行官

教育背景:

  • 普林斯顿大学,生物物理学博士
  • 斯坦福大学医学院,博士后研究员

职业经历:

  • Anthropic公司 职位:首席执行官兼联合创始人 时间:2021年至今 职责:领导致力于构建可控、可解释和安全的AI系统的公益公司
  • OpenAI 职位:研究副总裁 时间:[具体年份未知] – 2021年 成就:
    • 领导GPT-2和GPT-3等大型语言模型的开发
    • 共同发明”基于人类反馈的强化学习”技术
  • Google Brain 职位:高级研究科学家 时间:[具体年份未知]

主要贡献:

  • 在大型语言模型开发方面的开创性工作
  • 在AI安全性和可控性研究领域的重要贡献
  • 推动AI技术在解决实际问题中的应用

我经常谈论和思考强大人工智能的风险。作为Anthropic的CEO,我们公司在如何降低这些风险上做了很多研究。因为这个,有时候人们会觉得我是个悲观主义者,或者认为我觉得人工智能主要会带来坏处或危险(末日论者)。但其实我完全不是这么想的。实际上,我之所以关注这些风险,主要是因为它们是阻碍我们走向我认为那个本质上积极的未来的唯一障碍。我觉得大多数人都低估了人工智能的巨大潜力,就像他们也低估了其可能带来的重大风险一样。

在这篇文章里,我想大概描述一下—如果一切顺利,拥有强大人工智能的世界会是什么样子。当然,没有人能确定或准确地预测未来,而强大人工智能的影响可能比过去的技术变革更加不可预测,所以这些内容不可避免都是猜测。但我希望这些猜测至少是有依据并且有价值的,能够捕捉到未来可能发生的趋势,即使大多数细节最终可能是错的。我加入了很多具体的细节,主要是因为我认为一个具体的愿景比那些过于谨慎和抽象的描述更能推动讨论。

不过,首先,我想简要解释一下为什么我和Anthropic没有过多谈论强大人工智能的积极影响,以及为什么我们可能会继续总体上更多地谈论风险。特别是,我做出这个选择是出于以下几个原因:

  • 最大化杠杆效应:人工智能技术的基本发展及其带来的许多(但不是全部)好处似乎是不可避免的(除非风险导致一切脱轨),并且主要是由强大的市场力量推动的。另一方面,风险并不是注定的,我们的行动可以大大改变这些风险发生的可能性。
  • 避免宣传的感觉: AI公司谈论人工智能所有惊人的好处时,可能会让人感觉像是在搞宣传,或者好像他们试图掩盖不利的一面。我还认为,从原则上讲,如果你花太多时间“推销自己的观点”,这对你的内心是不利的。
  • 避免夸大其词:很多讨论AI风险的公众人物(更不用说AI公司领导者)谈论后AGI时代时,总是让我有些反感,好像他们的使命是单枪匹马地实现这一切,像先知一样引领人们走向救赎。我认为,把公司看作单方面塑造世界的力量是危险的,把实际的技术目标赋予一种宗教色彩也是危险的。
  • 避免”科幻”包袱:虽然我认为大多数人低估了强大人工智能的积极影响,但少数讨论激进人工智能未来的人经常以过度”科幻”的语气讨论(例如,上传意识、太空探索或一般的赛博朋克氛围)。我认为这会导致人们不太认真地看待这些主张,并赋予它们一种不真实感。需要明确的是,问题不在于所描述的技术是否可能或可能发生(主要文章会详细讨论这一点) – 更多的是”氛围”暗含地带来了一堆文化包袱和关于什么样的未来是可取的、各种社会问题将如何发展等未明确表达的假设。结果往往最终读起来像是一个狭窄亚文化的幻想,同时让大多数人感到反感。

尽管存在上述所有担忧,我真的认为讨论拥有强大人工智能的美好世界会是什么样子是很重要的,同时我们要尽最大努力避免上述陷阱。事实上,我认为拥有一个真正鼓舞人心的未来愿景是至关重要的,而不仅仅是一个灭火计划。强大人工智能的许多影响是对抗性的或危险的,但最终,必须有我们为之奋斗的东西,一个每个人都能受益的正和结果,一些能让人们超越纷争、共同面对未来挑战的东西。恐惧是一种动力,但这还不够:我们还需要希望。

强大人工智能的积极应用清单非常长(包括机器人技术、制造业、能源、等等),但我将重点关注少数几个我认为最有可能直接改善人类生活质量的领域。我最兴奋的五个类别是:

  1. 生物学和身体健康
  2. 神经科学和心理健康
  3. 经济发展和消除贫困
  4. 和平与治理
  5. 工作与意义

我的预测按大多数标准来看会是激进的(除了科幻”奇点”愿景),但我是认真和真诚地提出这些预测的。我说的每一件事都很容易是错的(再次重申我上面的观点),但我至少尝试将我的观点建立在对各个领域的进展速度可能会加快多少以及这在实践中可能意味着什么的半分析性评估基础之上。我很幸运在生物学和神经科学领域都有专业经验,而且我在经济发展领域也是一个有见识的业余爱好者,但我肯定会在许多方面犯错。写这篇文章让我意识到,把一群领域专家(生物学、经济学、国际关系和其他领域的专家)聚在一起,写出比我在这里所产生的更好、更有见地的版本将是很有价值的。最好将我在这里的努力视为那个小组的一个起始提示。

基本假设和框架

为了使整篇文章更加精确和有根据,明确指出我们所说的强大人工智能是什么(即达到这个阈值后5-10年计时开始),以及列出一个思考框架来分析这样的人工智能一旦出现后会产生的影响,这些都是很有帮助的。

强大的人工智能(我不喜欢AGI这个术语)会是什么样子,以及它何时(或是否)会到来,这本身就是一个巨大的话题。这是我曾公开讨论过的话题,也可以单独写一篇文章(我可能会在某个时候这样做)。显然,许多人对强大的人工智能会很快被建造持怀疑态度,有些人甚至怀疑它是否能被建造出来。我认为它可能最早在2026年就会出现,尽管也有可能需要更长的时间。但在本文中,我想把这些问题搁置一边,假设它会在合理的时间内出现,并专注于讨论之后的5-10年会发生什么。我还想假定这样一个系统会是什么样子,它有什么能力,以及它如何互动,尽管这些方面也存在分歧的空间。

我所设想的强大人工智能是一个人工智能模型——可能在形式上类似于今天的大型语言模型,尽管它可能基于不同的架构,可能涉及几个相互作用的模型,并可能以不同的方式进行训练——具有以下特性:

在纯粹的智能方面,它比大多数相关领域的诺贝尔奖获得者更聪明——生物学、编程、数学、工程、写作等。这意味着它可以证明未解决的数学定理,写出极好的小说,从头开始编写困难的代码库等。

除了仅仅是一个”你可以交谈的聪明东西”之外,它还具有虚拟工作的人类所能使用的所有”界面”,包括文本、音频、视频、鼠标和键盘控制,以及互联网访问。它可以进行这个界面所允许的任何行动、通信或远程操作,包括在互联网上采取行动,接受或给予人类指示,订购材料,指导实验,观看视频,制作视频等。它以超越世界上最有能力的人类的技能完成所有这些任务。

它不只是被动地回答问题;相反,它可以被赋予需要数小时、数天或数周才能完成的任务,然后像一个聪明的员工一样自主地去完成这些任务,在必要时寻求澄清。

它没有物理实体(除了存在于电脑屏幕上),但它可以通过计算机控制现有的物理工具、机器人或实验室设备;理论上,它甚至可以设计自己使用的机器人或设备。

用于训练模型的资源可以被重新用于运行数百万个实例(这与~2027年的预计集群规模相匹配),模型可以以大约人类速度的10-100倍吸收信息和生成行动。然而,它可能会受到与之交互的物理世界或软件的响应时间的限制。

这数百万个副本中的每一个都可以独立地处理不相关的任务,或者如果需要,可以像人类合作那样一起工作,也许不同的子群体可以针对特定任务进行微调,变得特别擅长。

我们可以将这概括为”数据中心里的天才国度”。

显然,这样一个实体能够非常快速地解决非常困难的问题,但要弄清楚有多快并不是一件简单的事。两种”极端”立场在我看来都是错误的。首先,你可能认为世界会在几秒或几天内立即转变(”奇点”),因为卓越的智能不断自我提升,几乎立即解决每一个可能的科学、工程和操作任务。这种看法的问题在于,存在真实的物理和实际限制,例如在建造硬件或进行生物实验方面。即使是一个新的天才国度也会遇到这些限制。智能可能非常强大,但它不是魔法仙尘。

第二种观点,与之相反,你可能认为技术进步已经饱和或受限于真实世界的数据或社会因素,而超人类智能的加入几乎不会带来什么改变。这在我看来同样不可信——我能想到数百个科学甚至社会问题,如果有一大群真正聪明的人,进展速度将大大加快,特别是如果他们不局限于分析,而能在现实世界中实现(我们假设的天才国度可以做到这一点,包括指导或协助人类团队)。

我认为真相可能是这两种极端图景的某种混合,根据任务和领域的不同而有所不同,其细节非常微妙。我相信我们需要新的框架来以富有成效的方式思考这些细节。

经济学家经常谈论”生产要素”:比如劳动力、土地和资本。”劳动力/土地/资本的边际收益”这个短语捕捉了这样一个概念:在给定情况下,某个要素可能是或可能不是限制性因素——例如,空军需要飞机和飞行员,如果飞机用完了,雇佣更多飞行员并不会有太大帮助。我认为在人工智能时代,我们应该讨论智能的边际收益,并试图找出与智能互补的其他因素,当智能水平很高时,这些因素会成为限制因素。我们还不习惯这种思考方式——询问”在这个任务中,更聪明能帮多大忙,以及在什么时间尺度上”——但这似乎是概念化一个拥有非常强大人工智能的世界的正确方式。

我猜测,限制或与智能互补的因素包括:

外部世界的速度:智能代理需要在世界中互动操作才能完成事情,也才能学习。但世界只能以固定的速度运转。细胞和动物以固定的速度运行,所以对它们的实验需要一定的时间,这可能是不可减少的。硬件、材料科学、任何涉及与人交流的事情,甚至我们现有的软件基础设施都是如此。此外,在科学中,往往需要多个实验依序进行,每个实验都从上一个实验中学习或建立。所有这些意味着,完成一个重大项目——例如开发癌症治疗方法——的速度可能有一个不可减少的最小值,即使智能继续提高,这个速度也无法进一步降低。

对数据的需求:有时原始数据是缺乏的,在这种情况下,更多的智能并不能帮助。今天的粒子物理学家非常聪明,已经发展出一系列广泛的理论,但由于粒子加速器数据如此有限,他们缺乏选择这些理论的数据。目前还不清楚如果他们具有超人类智能是否会做得大大更好——除了也许能加速建造更大的加速器。

内在复杂性:有些事情本质上是不可预测或混沌的,即使是最强大的人工智能也无法比人类或今天的计算机预测或解开它们。例如,即使是令人难以置信的强大人工智能,在一般情况下,也只能比今天的人类和计算机多预测一点点混沌系统(如三体问题)的未来。

来自人类的约束: 许多事情如果不破坏法律、伤害人类或扰乱社会就无法完成。一个对齐的人工智能不会想做这些事情(如果我们有一个未对齐的人工智能,我们就回到了讨论风险的问题上)。许多人类社会结构是低效的,甚至是有害的,但在尊重临床试验的法律要求、人们改变习惯的意愿或政府行为等限制的同时,很难改变这些结构。一些在技术上运作良好,但其影响被法规或错误的恐惧大大减少的进步例子包括核能、超音速飞行,甚至电梯。

物理定律:这是第一点的一个更严格的版本。有些物理定律似乎是无法打破的。不可能比光速更快地旅行。布丁无法自行搅拌。芯片每平方厘米只能有这么多晶体管,否则就会变得不可靠。计算需要每擦除一个比特至少消耗一定的最小能量,这限制了世界上计算的密度。

还有一个基于时间尺度的进一步区分。短期内的硬性约束在长期内可能会变得更容易被智能改变。例如,智能可能被用来开发新的实验范式,允许我们在体外学习以前需要活体动物实验才能学到的东西,或者建造收集新数据所需的工具(例如更大的粒子加速器),或者(在伦理限制内)找到绕过人类约束的方法(例如帮助改进临床试验系统,帮助创建新的司法管辖区,使临床试验官僚程序更少,或改进科学本身,使人类临床试验变得不那么必要或更便宜)。

因此,我们应该想象这样一幅图景:智能最初受到其他生产要素的严重制约,但随着时间的推移,智能本身越来越多地绕过其他因素,即使它们永远不会完全消失(而且一些物理定律是绝对的)。关键问题是这一切发生的速度有多快,以及按什么顺序发生。

考虑到上述框架,我将尝试回答引言中提到的五个领域的这个问题。

1. 生物学和健康

生物学可能是科学进步最有潜力直接和明确改善人类生活质量的领域。在上个世纪,一些最古老的人类疾病(如天花)终于被征服,但还有更多仍然存在,战胜它们将是一个巨大的人道主义成就。甚至超越治愈疾病,生物科学原则上可以改善人类健康的基线质量,通过延长健康的人类寿命,增加对我们自身生物过程的控制和自由,并解决我们目前认为是人类状况不可改变部分的日常问题。

用前一节的”限制因素”语言来说,直接将智能应用于生物学的主要挑战是数据、物理世界的速度和内在复杂性(事实上,这三者都是相互关联的)。人类的约束在后期阶段也起作用,特别是在涉及临床试验时。让我们逐一讨论这些。

对细胞、动物甚至化学过程的实验受到物理世界速度的限制:许多生物学实验过程涉及培养细菌或其他细胞,或者只是等待化学反应发生,这有时可能需要数天甚至数周,而且没有明显的方法可以加速。动物实验可能需要数月(或更长时间),人类实验通常需要数年(长期结果研究甚至可能需要数十年)。与此有些相关的是,数据往往缺乏——不是数量,而是质量:总是缺乏清晰、明确的数据,这些数据能够将感兴趣的生物效应与其他10,000个混淆因素隔离开来,或者能够因果地干预给定过程,或者直接测量某些效应(而不是以某种间接或嘈杂的方式推断其结果)。即使是大规模的、定量的分子数据,比如我在研究质谱技术时收集的蛋白质组学数据,也是嘈杂的,而且遗漏了很多(这些蛋白质在哪些类型的细胞中?在细胞的哪个部分?在细胞周期的哪个阶段?)。

部分负责这些数据问题的是内在复杂性:如果你曾经看过展示人类代谢生物化学的图表,你就会知道很难孤立这个复杂系统的任何部分的效应,更难以精确或可预测的方式干预这个系统。最后,除了在人类身上进行实验所需的内在时间之外,实际的临床试验还涉及大量的官僚程序和监管要求,这些(在包括我在内的许多人看来)增加了不必要的额外时间并延缓了进展。

鉴于所有这些,许多生物学家长期以来一直对人工智能和更广泛的”大数据”在生物学中的价值持怀疑态度。历史上,在过去30年里,将他们的技能应用于生物学的数学家、计算机科学家和物理学家取得了相当大的成功,但并没有产生最初希望的那种真正变革性的影响。一些怀疑态度已经被像AlphaFold(刚刚为其创造者赢得了诺贝尔化学奖)和AlphaProteo这样的重大和革命性突破所减少,但仍然存在一种看法,认为人工智能只在(并将继续)在有限的情况下有用。一个常见的说法是”人工智能可以更好地分析你的数据,但它不能产生更多的数据或改善数据的质量。垃圾进,垃圾出”。

但我认为这种悲观的观点是以错误的方式思考人工智能。如果我们关于人工智能进展的核心假设是正确的,那么思考人工智能的正确方式不是将其视为一种数据分析方法,而是将其视为一个虚拟生物学家,执行生物学家所做的所有任务,包括在现实世界中设计和运行实验(通过控制实验室机器人或简单地告诉人类要进行哪些实验 — 就像一个首席研究员对他们的研究生所做的那样),发明新的生物学方法或测量技术,等等。正是通过加速整个研究过程,人工智能才能真正加速生物学。我想重复这一点,因为当我谈论人工智能改变生物学的能力时,这是最常见的误解:我不是在谈论人工智能仅仅作为分析数据的工具。根据本文开头对强大人工智能的定义,我说的是使用人工智能来执行、指导和改进生物学家所做的几乎所有事情。

为了更具体地说明我认为加速可能来自哪里,生物学进展中令人惊讶的大部分实际上来自真正微小数量的发现,这些发现通常与广泛的测量工具或技术有关,这些工具或技术允许精确但广泛或可编程地干预生物系统。每年可能只有大约1个这样的重大发现,但它们共同可以说推动了生物学进展的50%以上。这些发现之所以如此强大,正是因为它们突破了内在复杂性和数据限制,直接增加了我们对生物过程的理解和控制。每十年的几个发现既推动了我们对生物学的基本科学理解的大部分内容,也推动了许多最强大的医疗治疗。

一些例子包括:

CRISPR:一种允许在活体生物中编辑任何基因的技术(将任意基因序列替换为任何其他任意序列)。自原始技术开发以来,不断有改进,以瞄准特定细胞类型,提高准确性,并减少错误基因的编辑——所有这些都是为了在人类身上安全使用所需要的。

各种类型的显微镜技术,用于精确观察正在发生的事情:先进的光学显微镜(带有各种荧光技术、特殊光学等)、电子显微镜、原子力显微镜等。

基因组测序和合成,在过去几十年里成本下降了几个数量级。

光遗传技术,允许通过照射光线使神经元发火。

mRNA疫苗,原则上允许我们设计针对任何东西的疫苗,然后快速适应(mRNA疫苗当然在COVID期间变得著名)。

细胞疗法,如CAR-T,允许免疫细胞被取出体外并”重新编程”以攻击原则上任何东西。

概念性洞察,如疾病的病原体理论或认识到免疫系统与癌症之间的联系。

我列举所有这些技术是因为我想提出一个关键的主张:如果有更多有才华、有创造力的研究人员,我认为这些发现的速度可能会提高10倍或更多。或者换句话说,我认为这些发现的智能回报很高,而生物学和医学中的其他一切主要是从这些发现中衍生出来的。

为什么我这么认为?因为当我们试图确定”智能回报”时,我们应该养成习惯问一些问题的答案。首先,这些发现通常是由极少数研究人员做出的,经常是同一批人反复做出,这表明是技能而不是随机搜索(后者可能表明冗长的实验是限制因素)。其次,它们通常”本可以”比实际早很多年被发现:例如,CRISPR是细菌免疫系统中自然存在的一个组成部分,自80年代就已知,但人们花了25年才意识到它可以被重新利用于一般的基因编辑。它们也经常因为科学界对有前途的方向缺乏支持而被延迟多年(参见这篇关于mRNA疫苗发明者的简介;类似的故事比比皆是)。第三,成功的项目通常是简陋的或最初被认为不太有前途的后续想法,而不是大规模资助的努力。这表明不仅仅是大规模的资源集中推动了发现,而是创造力。

最后,虽然这些发现中的一些有”串行依赖性”(你需要先做出发现A才能有工具或知识来做出发现B)——这再次可能造成实验延迟——但许多,也许是大多数,是独立的,意味着可以同时并行进行多项工作。这些事实,以及我作为生物学家的一般经验,都强烈地表明,如果科学家更聪明,更善于在人类拥有的大量生物学知识之间建立联系,就有数百个这样的发现等待被发现(再次考虑CRISPR的例子)。AlphaFold/AlphaProteo在解决重要问题方面比人类更有效的成功,尽管经过数十年精心设计的物理建模,为我们提供了一个原则证明(尽管是在狭窄领域的狭窄工具),应该为我们指明前进的方向。

因此,我的猜测是,强大的人工智能至少可以将这些发现的速度提高10倍,使我们在5-10年内获得未来50-100年的生物学进展。为什么不是100倍?也许是可能的,但这里串行依赖性和实验时间都变得重要:在1年内获得100年的进展需要很多事情第一次就做对,包括动物实验和设计显微镜或昂贵实验设施等事情。我实际上对(也许听起来荒谬的)想法持开放态度,即我们可能在5-10年内获得1000年的进展,但我非常怀疑我们能在1年内获得100年的进展。另一种说法是,我认为存在一个不可避免的恒定延迟:实验和硬件设计有一定的”延迟”,需要迭代一定”不可减少”的次数,以学习无法逻辑推导的东西。但在此基础上可能会有大规模的并行性。

那么临床试验呢?虽然与临床试验相关的官僚程序和延误很多,但事实是,很多(虽然绝不是全部!)缓慢最终源于需要严格评估那些几乎不起作用或效果模糊的药物。可悲的是,这适用于今天的大多数疗法:平均的癌症药物只能增加几个月的生存期,同时有显著的副作用需要仔细测量(阿尔茨海默病药物也有类似的情况)。这导致了巨大的研究(为了达到统计学意义)和困难的权衡,监管机构通常不擅长做出这些决定,同样是因为官僚程序和利益冲突的复杂性。

当某些东西真的很有效时,进展会快得多:当效果规模更大时,有一个加速批准的通道,批准的难度也要小得多。COVID的mRNA疫苗在9个月内获得批准——比通常的速度快得多。话虽如此,即使在这些条件下,临床试验仍然太慢——mRNA疫苗可以说应该在约2个月内获得批准。但这种延迟(药物从头到尾约1年)与大规模并行化和一些但不太多迭代的需求(”几次尝试”)非常吻合,与5-10年内的彻底转变是一致的。更乐观的是,人工智能驱动的生物科学可能会通过开发更好的动物和细胞实验模型(甚至是模拟),这些模型更准确地预测人类中会发生什么,从而减少临床试验中迭代的需要。这在开发抗衰老药物方面尤其重要,因为衰老过程持续数十年,我们需要一个更快的迭代循环。

最后,关于临床试验和社会障碍的话题,值得明确指出的是,在某些方面,生物医学创新在成功部署方面有着异常强大的记录,这与一些其他技术形成对比。正如在引言中提到的,尽管在技术上运作良好,许多技术却因社会因素而受到阻碍。这可能会让人对人工智能能够实现什么持悲观态度。但生物医学是独特的,虽然开发药物的过程过于繁琐,但一旦开发出来,它们通常会成功部署和使用。

总结上述内容,我的基本预测是,人工智能驱动的生物学和医学将允许我们将人类生物学家在未来50-100年内可能取得的进展压缩到5-10年内。我将其称为”压缩的21世纪”:这个想法是,在强大的人工智能开发出来后,我们将在几年内取得我们本应在整个21世纪取得的所有生物学和医学进展。

虽然预测强大的人工智能在几年内能做什么本质上仍然困难且具有投机性,但问”人类在未来100年内不借助外力能做什么?”这个问题有一定的具体性。简单地看看我们在20世纪取得的成就,或者从21世纪的前20年推断,或者问”10个CRISPR和50个CAR-T”能让我们达到什么程度,都为我们提供了实际的、基于现实的方法来估计我们可能从强大的人工智能那里期待的总体进展水平。

下面我试图列出我们可能期待的一些内容。这并不基于任何严格的方法,而且在细节上几乎肯定会被证明是错误的,但它试图传达我们应该期待的总体激进程度:

可靠地预防和治疗几乎所有自然发生的传染病:

考虑到20世纪对传染病的巨大进展,想象我们可以在压缩的21世纪里”完成这项工作”并不是激进的。mRNA疫苗和类似技术已经指向了”针对任何事物的疫苗”的方向。传染病是否在世界范围内完全根除(而不仅仅是在某些地方)取决于贫困和不平等的问题,这些将在第3节讨论。

消除大多数癌症:

过去几十年来,癌症死亡率每年下降约2%;因此,按照当前人类科学的速度,我们有望在21世纪消除大部分癌症。一些亚型已经基本被治愈(例如,使用CAR-T疗法治疗某些类型的白血病),我可能对非常选择性的药物更加兴奋,这些药物能够在癌症初期就针对它,防止它ever生长。人工智能还将使得非常精细地适应癌症个体化基因组的治疗方案成为可能——这些今天是可能的,但在时间和人类专业知识方面成本巨大,人工智能应该允许我们扩大规模。死亡率和发病率似乎都有可能减少95%或更多。话虽如此,癌症极其多样化和适应性强,可能是这些疾病中最难完全消灭的。如果一些罕见、难治的恶性肿瘤仍然存在,这不会令人惊讶。

非常有效地预防和有效治疗遗传疾病:

大大改进的胚胎筛查可能会使预防大多数遗传疾病成为可能,而CRISPR的一些更安全、更可靠的后代可能会治愈大多数现有人群中的遗传疾病。然而,影响大部分细胞的全身性疾病可能是最后的堡垒。

预防阿尔茨海默病:

我们在弄清楚阿尔茨海默病的病因方面遇到了很大困难(它在某种程度上与β-淀粉样蛋白有关,但实际细节似乎非常复杂)。这似乎正是可以通过更好的测量工具来解决的那种问题,这些工具可以分离生物效应;因此,我对人工智能解决这个问题的能力持乐观态度。一旦我们真正了解发生了什么,很有可能最终可以通过相对简单的干预来预防它。话虽如此,已经存在的阿尔茨海默病造成的损害可能很难逆转。

改善对大多数其他疾病的治疗:

这是一个包括糖尿病、肥胖症、心脏病、自身免疫疾病等其他疾病的总括类别。这些疾病中的大多数似乎比癌症和阿尔茨海默病”更容易”解决,而且在许多情况下已经在急剧下降。例如,心脏病死亡率已经下降了50%以上,而简单的干预措施,如GLP-1激动剂,已经在对抗肥胖和糖尿病方面取得了巨大进展。

生物自由:

过去70年里,在避孕、生育、体重管理等方面取得了进展。但我怀疑人工智能加速的生物学将大大扩展可能性:体重、外貌、生殖和其他生物过程将完全由人们控制。我们将这些归类为生物自由:每个人都应该有权选择他们想要成为什么样的人,以最吸引他们的方式生活。当然,关于全球获取平等的重要问题将会出现;请参见第3节。

人类寿命翻倍:

这可能看起来很激进,但20世纪生命预期几乎增加了2倍(从约40岁到约75岁),所以”压缩的21世纪”再次将其翻倍到150岁是”符合趋势的”。显然,延缓实际衰老过程所涉及的干预措施将与上个世纪防止(主要是儿童)因疾病过早死亡所需的干预措施不同,但变化的幅度并非前所未有。具体来说,已经存在一些药物可以将老鼠的最大寿命增加25-50%,而且副作用有限。而且一些动物(例如某些类型的龟)已经能活200年,所以人类显然没有达到某个理论上的上限。猜测一下,最重要的可能是需要可靠的、不会引起古德哈特效应的人类衰老生物标志物,因为这将允许对实验和临床试验进行快速迭代。一旦人类寿命达到150岁,我们可能就能达到”逃逸速度”,为现在活着的大多数人争取足够的时间,使他们能够活多久就活多久,尽管当然不能保证这在生物学上是可能的。

值得看看这个列表,思考一下如果所有这些在7-12年内实现(这将与激进的人工智能时间表一致),世界会有多么不同。不用说,这将是一个无法想象的人道主义胜利,一次性消除了千百年来困扰人类的大部分祸害。我的许多朋友和同事正在抚养孩子,当这些孩子长大后,我希望任何对疾病的提及对他们来说都会像坏血病、天花或黑死病对我们一样陌生。这一代人还将受益于增加的生物自由和自我表达,并有幸可能能够活多久就活多久。

很难高估这些变化对除了少数预期强大人工智能的人以外的所有人来说会有多么令人惊讶。例如,目前有数千名经济学家和政策专家在美国讨论如何保持社会保障和医疗保险的偿付能力,更广泛地说,如何控制医疗保健成本(这主要由70岁以上的人消费,特别是那些患有诸如癌症等终末期疾病的人)。如果所有这些都实现了,这些项目的情况可能会得到根本性的改善,因为工作年龄人口与退休人口的比例将发生巨大变化。毫无疑问,这些挑战将被其他挑战所取代,比如如何确保广泛获取新技术,但值得思考一下,即使生物学是唯一一个被人工智能成功加速的领域,世界将会发生多大的变化。

2. 神经科学和心理

在上一节中,我主要关注了身体疾病和一般生物学,没有涉及神经科学或心理健康。但神经科学是生物学的一个分支学科,心理健康与身体健康同样重要。事实上,如果说有什么不同的话,心理健康对人类福祉的影响甚至比身体健康更直接。数亿人由于诸如成瘾、抑郁、精神分裂症、低功能自闭症、创伤后应激障碍、精神病态或智力障碍等问题而生活质量极低。还有数十亿人在日常生活中挣扎,这些问题通常可以被解释为这些严重临床障碍的较轻版本。与一般生物学一样,也许有可能不仅仅是解决问题,而是提高人类体验的基线质量。

我为生物学描述的基本框架同样适用于神经科学。该领域的推进通常源于少数发现,这些发现往往与测量或精确干预的工具有关 – 在上面列出的那些工具中,光遗传学是一项神经科学发现,最近CLARITY和扩展显微镜技术也是同样性质的进展,此外,许多一般细胞生物学方法直接适用于神经科学。我认为这些进展的速度将同样被人工智能加速,因此”100年的进展在5-10年内完成”的框架以同样的方式适用于神经科学,原因也相同。正如在生物学中一样,20世纪神经科学的进展是巨大的 – 例如,直到1950年代我们甚至还不理解神经元如何或为什么发放。因此,似乎可以合理地预期,人工智能加速的神经科学将在几年内产生快速进展。

我们应该在这个基本图景中添加一点,那就是我们在过去几年中学到的(或正在学习的)关于人工智能本身的一些东西可能会帮助推进神经科学,即使它继续仅由人类进行。可解释性是一个明显的例子:虽然生物神经元在表面上以完全不同的方式运作(它们通过尖峰和通常是尖峰率进行通信,所以存在人工神经元中不存在的时间元素,而且一堆与细胞生理学和神经递质有关的细节修改了它们的运作),但”简单单元的分布式、训练过的网络如何协同工作执行重要计算”这个基本问题是相同的,我强烈怀疑个别神经元通信的细节在大多数关于计算和电路的有趣问题中会被抽象掉。作为一个例子,人工智能系统中由可解释性研究人员发现的计算机制最近在小鼠大脑中被重新发现。

在人工神经网络上做实验比在真实神经网络上做实验要容易得多(后者通常需要切开动物大脑),所以可解释性很可能成为改进我们对神经科学理解的工具。此外,强大的人工智能本身可能能够比人类更好地开发和应用这个工具。

但是,除了可解释性之外,我们从人工智能那里学到的关于智能系统如何训练的知识应该(虽然我不确定它是否已经)引起神经科学的革命。当我在神经科学领域工作时,很多人关注我现在认为是错误的学习问题,因为规模假说/苦涩教训的概念还不存在。简单的目标函数加上大量数据可以驱动令人难以置信的复杂行为这个想法,使得理解目标函数和架构偏差变得更有趣,而理解涌现计算的细节变得不那么有趣。我最近几年没有密切关注这个领域,但我有一种模糊的感觉,计算神经科学家仍然没有完全吸收这个教训。我对规模假说的态度一直是”啊哈 – 这是对智能如何工作以及它如何如此轻易地进化的高层次解释”,但我认为这不是普通神经科学家的观点,部分原因是规模假说作为”智能的秘密”甚至在人工智能领域内也没有被完全接受。

我认为神经科学家应该尝试将这个基本洞察与人脑的特殊性(生物物理限制、进化历史、拓扑结构、运动和感觉输入/输出的细节)结合起来,试图解决神经科学的一些关键谜题。有些人可能正在这样做,但我怀疑还不够多,而人工智能神经科学家将能够更有效地利用这个角度来加速进展。

我预计人工智能将通过四个不同的途径加速神经科学进展,所有这些途径都有望共同合作,以治愈精神疾病并改善功能:

  1. 传统分子生物学、化学和遗传学。 这本质上与第1节中的一般生物学相同,人工智能可能通过相同的机制加速它。有许多调节神经递质以改变大脑功能、影响警觉性或感知、改变情绪等的药物,人工智能可以帮助我们发明更多。人工智能可能还能加速对精神疾病遗传基础的研究。
  2. 精细的神经测量和干预。 这是能够测量大量个别神经元或神经元电路正在做什么,并干预改变它们的行为的能力。光遗传学和神经探针是能够在活体生物中进行测量和干预的技术,一些非常先进的方法(如分子计时器以读取大量个别神经元的发放模式)也已被提出,并在原则上似乎是可能的。
  3. 先进的计算神经科学。 如上所述,现代人工智能的具体洞察和整体观念可能可以富有成效地应用于系统神经科学的问题,包括可能揭示精神病或情绪障碍等复杂疾病的真正原因和动态。
  4. 行为干预。 考虑到对神经科学生物学方面的关注,我没有太多提到,但精神病学和心理学当然在20世纪开发了广泛的行为干预repertoire;理所当然地,人工智能也可以加速这些,既包括新方法的开发,也包括帮助患者坚持现有方法。更广泛地说,”人工智能教练”的想法似乎很有前途,这个教练总是帮助你成为最好的自己,研究你的互动并帮助你学会更有效。

我的猜测是,这四个进展途径共同努力,就像对身体疾病一样,即使没有人工智能参与,也会在未来100年内走上治愈或预防大多数精神疾病的轨道 – 因此可能会在5-10年的人工智能加速年内完成。具体来说,我猜测会发生的事情是这样的:

大多数精神疾病可能可以被治愈:

我不是精神病学疾病的专家(我在神经科学领域的时间花在构建研究小组神经元的探针上),但我猜测像创伤后应激障碍、抑郁症、精神分裂症、成瘾等疾病可以通过上述四个方向的某种组合得到解决和非常有效的治疗。答案可能是”在生化上出了问题”(尽管可能非常复杂)和”在高层次上神经网络出了问题”的某种组合。也就是说,这是一个系统神经科学的问题—尽管这并不否定上面讨论的行为干预的影响。测量和干预的工具,特别是在活人身上,似乎可能导致快速迭代和进展。

非常”结构性”的条件可能更困难,但并非不可能:

有一些证据表明,精神病态与明显的神经解剖学差异有关 – 精神病态者的一些脑区simply更小或发育不足。精神病态者也被认为从小就缺乏同理心;无论他们的大脑有什么不同,它可能一直都是那样。智力障碍和其他一些条件可能也是如此。重构大脑听起来很困难,但它也似乎是一项智能回报高的任务。也许有某种方法可以诱导成年大脑进入更早或更具可塑性的状态,从而可以重塑。我非常不确定这有多可能,但我的直觉是对人工智能在这里能发明的东西持乐观态度。

有效地通过基因预防精神疾病似乎是可能的:

大多数精神疾病部分是可遗传的,全基因组关联研究开始在识别相关因素方面取得进展,这些因素通常数量众多。可能通过胚胎筛查预防大多数这些疾病,类似于身体疾病的情况。一个区别是,精神病更可能是多基因的(许多基因共同作用),所以由于复杂性,存在无意中选择Against与疾病相关的积极特征的增加风险。奇怪的是,然而,近年来GWAS研究似乎表明,这些相关性可能被夸大了。无论如何,人工智能加速的神经科学可能会帮助我们弄清楚这些事情。当然,对复杂特征进行胚胎筛查会引发一些社会问题,并将引起争议,尽管我猜想大多数人会支持筛查严重或致残的精神疾病。

我们不认为是临床疾病的日常问题也将得到解决:

我们大多数人都有日常心理问题,这些问题通常不被认为达到临床疾病的程度。有些人容易发怒,有些人难以集中注意力或经常昏昏欲睡,有些人害怕或焦虑,或对变化反应不好。今天,已经存在一些药物可以帮助提高警觉性或注意力(咖啡因、莫达非尼、利他林),但正如前面提到的许多其他领域一样,可能还有更多的可能性。可能还有许多这样的药物尚未被发现,也可能还有完全新的干预方式,如靶向光刺激(见上面的光遗传学)或磁场。考虑到我们在20世纪开发了多少种能调节认知功能和情绪状态的药物,我对”压缩的21世纪”非常乐观,届时每个人都可以让自己的大脑表现得更好一些,拥有更充实的日常体验。

人类的基线体验可以变得更好:

再进一步,许多人都经历过非凡的启示时刻、创造性灵感、同情心、成就感、超越感、爱、美或冥想平静。这些体验的性质和频率因人而异,在同一个人在不同时期也有很大差异,有时也可以通过各种药物触发(尽管通常有副作用)。所有这些都表明,”可能体验的空间”非常广泛,人们生活中可以有更大比例的这些非凡时刻。也可能改善各种认知功能。这可能是”生物自由”或”延长寿命”的神经科学版本。

有一个话题在科幻描述人工智能时经常出现,但我在这里故意没有讨论,那就是”心灵上传”,即捕捉人脑的模式和动态并将其实例化在软件中的想法。这个话题本身可以成为一篇文章的主题,但简单地说,虽然我认为上传在原则上几乎肯定是可能的,但在实践中,即使有强大的人工智能,它也面临着重大的技术和社会挑战,这些挑战可能使它超出我们讨论的5-10年窗口。

总之,人工智能加速的神经科学可能会极大地改善大多数精神疾病的治疗,甚至治愈它们,并大大扩展”认知和心理自由”以及人类的认知和情感能力。它将像前一节描述的身体健康改善一样激进。也许从外表上看,世界不会有明显的不同,但人类体验的世界将是一个更好、更人道的地方,同时也是一个提供更多自我实现机会的地方。我也怀疑,改善心理健康将缓解许多其他社会问题,包括那些看似政治或经济的问题。

3. 经济发展和贫困

前两节讨论的是开发新技术来治愈疾病和改善人类生活质量。然而,从人道主义的角度来看,一个明显的问题是:”每个人都能获得这些技术吗?”

开发出治愈疾病的方法是一回事,从世界上根除疾病又是另一回事。更广泛地说,许多现有的健康干预措施还没有在世界各地得到应用,同样的情况也适用于一般的(非健康)技术改进。换句话说,世界上许多地方的生活水平仍然极度贫困:撒哈拉以南非洲的人均GDP约为2,000美元,而美国约为75,000美元。如果人工智能进一步提高了发达国家的经济增长和生活质量,而对发展中国家几乎没有帮助,我们应该将其视为一个可怕的道德失败,也是对前两节中真正的人道主义胜利的污点。理想情况下,强大的人工智能应该帮助发展中世界赶上发达世界,即使它同时在革新后者。

我对人工智能能否解决不平等和经济增长问题的信心不如它能发明基础技术那么大,因为技术对智能有如此明显的高回报(包括绕过复杂性和数据缺乏的能力),而经济涉及许多来自人类的约束,以及大量的内在复杂性。我有些怀疑人工智能是否能解决著名的”社会主义计算问题”,我也不认为政府会(或应该)将经济政策交给这样一个实体,即使它能做到。还有一些问题,比如如何说服人们接受那些有效但他们可能怀疑的治疗方法。

发展中世界面临的挑战因私营和公共部门普遍存在的腐败而变得更加复杂。腐败造成了恶性循环:它加剧了贫困,而贫困反过来又滋生了更多腐败。人工智能驱动的经济发展计划需要应对腐败、薄弱的机构和其他非常人性化的挑战。

尽管如此,我确实看到了重要的乐观理由。疾病已经被根除,许多国家已经从贫穷变得富裕,很明显,这些任务中涉及的决策表现出对智能的高回报(尽管存在人类的约束和复杂性)。因此,人工智能可能做得比目前更好。也可能有一些有针对性的干预措施可以绕过人类的约束,人工智能可以专注于这些。更重要的是,我们必须尝试。人工智能公司和发达国家的政策制定者都需要尽自己的一份力,确保发展中世界不被遗忘;道德要求太大了。因此,在本节中,我将继续提出乐观的观点,但请记住,成功并非注定,而是取决于我们的集体努力。

以下我对强大人工智能开发后5-10年内发展中世界可能发生的情况做出一些猜测:

健康干预措施的分配。我最乐观的可能是在全世界范围内分配健康干预措施。疾病实际上已经通过自上而下的运动被根除:天花在20世纪70年代被完全消灭,脊髓灰质炎和麦地那龙线虫病每年的病例不到100例,几乎被根除。数学上复杂的流行病学建模在疾病根除运动中发挥着积极作用,似乎很有可能有空间让比人类更聪明的人工智能系统做得更好。分配的物流也可能得到极大的优化。作为GiveWell的早期捐助者,我了解到一些健康慈善机构比其他机构有效得多;希望人工智能加速的努力会更有效。此外,一些生物学进展实际上使分配的物流变得更加简单:例如,疟疾一直难以根除,因为每次感染疾病时都需要治疗;只需要管理一次的疫苗使物流变得更简单(事实上,这种疟疾疫苗目前正在开发中)。甚至可能有更简单的分配机制:原则上,一些疾病可以通过针对其动物载体来根除,例如释放被阻止携带疾病的细菌感染的蚊子(然后感染所有其他蚊子),或者simply使用基因驱动来消灭蚊子。这需要一个或几个集中的行动,而不是必须单独治疗数百万人的协调运动。总的来说,我认为5-10年是一个合理的时间表,让相当一部分(也许50%)人工智能驱动的健康益处传播到甚至最贫穷的国家。一个好的目标可能是,在强大人工智能出现后5-10年,发展中世界的健康状况至少应该比今天的发达世界大大改善,即使它继续落后于发达世界。当然,实现这一目标需要在全球健康、慈善事业、政治倡导等方面做出巨大努力,人工智能开发者和政策制定者都应该为此提供帮助。

经济增长。 发展中世界能否快速赶上发达世界,不仅在健康方面,而且在整个经济方面?这是有先例的:在20世纪的最后几十年,几个东亚经济体实现了持续约10%的年实际GDP增长率,使它们赶上了发达世界。人类经济规划者做出了导致这一成功的决定,不是通过直接控制整个经济,而是通过拉动几个关键杠杆(如以出口为导向的增长的产业政策,以及抵制依赖自然资源财富的诱惑);”人工智能财政部长和中央银行家”有可能复制或超过这个10%的成就是可信的。一个重要的问题是如何让发展中国家政府在尊重自决原则的同时采用它们——一些国家可能会热情接受,但其他国家可能会持怀疑态度。乐观的一面是,前一点中提到的许多健康干预可能会自然地增加经济增长:根除艾滋病/疟疾/寄生虫将对生产力产生变革性影响,更不用说一些神经科学干预(如改善情绪和注意力)对发达和发展中世界alike的经济效益了。最后,非健康的人工智能加速技术(如能源技术、运输无人机、改进的建筑材料、更好的物流和分配等)可能simply通过市场机制自然渗透到世界各地;例如,即使是手机也quickly渗透到撒哈拉以南非洲,而不需要慈善努力。更消极的一面是,虽然人工智能和自动化有许多潜在的好处,但它们也对经济发展构成挑战,特别是对那些尚未工业化的国家。找到确保这些国家在日益自动化的时代仍能发展和改善经济的方法是经济学家和政策制定者需要解决的一个重要挑战。总的来说,一个梦想般的情景——也许是一个值得努力的目标——将是发展中世界20%的年度GDP增长率,其中10%来自人工智能支持的经济决策,10%来自人工智能加速技术的自然传播,包括但不限于健康。如果实现,这将在5-10年内使撒哈拉以南非洲达到中国目前的人均GDP水平,同时将发展中世界的大部分地区提高到高于目前美国GDP的水平。再次强调,这是一个梦想的情景,不是默认发生的事情:这是我们所有人必须共同努力使之更有可能发生的事情。

粮食安全。 20世纪,作物技术的进步,如更好的肥料和农药、更多的自动化和更有效的土地利用,大大提高了作物产量,使数百万人免于饥饿。基因工程目前正在进一步改善许多作物。找到更多方法做到这一点——以及使农业供应链更加高效——可能会给我们带来人工智能驱动的第二次绿色革命,帮助缩小发展中世界和发达世界之间的差距。

缓解气候变化。 气候变化在发展中世界的影响将更加强烈,阻碍其发展。我们可以预期,人工智能将带来减缓或防止气候变化技术的改进,从大气碳移除和清洁能源技术到实验室培养的肉类,减少我们对碳密集型工厂化农业的依赖。当然,正如上面讨论的,技术并不是限制气候变化进展的唯一因素——与本文讨论的所有其他问题一样,人类社会因素很重要。但有充分理由认为,人工智能增强的研究将为我们提供使缓解气候变化的成本大大降低和减少破坏性的手段,使许多反对意见变得无关紧要,并使发展中国家能够取得更多经济进展。

国家内部的不平等。 我主要谈论不平等作为一个全球现象(我确实认为这是它最重要的表现),但当然不平等也存在于国家内部。随着先进的健康干预措施,特别是寿命的激进增加或认知增强药物,肯定会有人担心这些技术”只为富人服务”。我对发达世界内部的不平等更乐观,原因有二。首先,市场在发达世界运作得更好,而市场通常善于随着时间的推移降低高价值技术的成本。其次,发达世界的政治机构对公民的反应更灵敏,有更大的国家能力执行普及访问计划——我预计公民会要求获得那些如此激进地改善生活质量的技术。当然,这种要求的成功并非注定——这里又是一个我们必须共同努力确保公平社会的地方。财富不平等(与获得救生和增强生活技术的不平等相对)是一个单独的问题,似乎更难解决,我在第5节讨论这个问题。

退出问题。 在发达和发展中世界alike,一个担忧是人们选择不接受人工智能带来的好处(类似于反疫苗运动,或更一般的卢德派运动)。可能会出现糟糕的反馈循环,例如,最不能做出良好决策的人选择退出那些改善他们决策能力的技术,导致差距越来越大,甚至创造出一个反乌托邦的底层阶级(一些研究人员认为这将破坏民主,我在下一节进一步讨论这个话题)。这将再次给人工智能的积极进展蒙上道德污点。这是一个难以解决的问题,因为我不认为强迫人们在道德上是可以的,但我们至少可以努力提高人们的科学理解——也许人工智能本身可以帮助我们做到这一点。一个令人希望的迹象是,历史上反技术运动的吠声大于咬声:抨击现代技术很流行,但最终大多数人都会采用它,至少当它是个人选择的问题时。个人倾向于采用大多数健康和消费技术,而真正受阻的技术,如核能,往往是集体政治决策。

总的来说,我对快速将人工智能的生物学进展带给发展中世界的人们持乐观态度。我希望,尽管不确定,人工智能也能实现前所未有的经济增长率,并使发展中世界至少超过发达世界现在的水平。我担心发达和发展中世界的”退出”问题,但怀疑它会随着时间的推移而消退,人工智能可以帮助加速这个过程。这不会是一个完美的世界,落后的人不会完全赶上,至少在最初的几年内不会。但通过我们的强力努力,我们也许能让事情朝着正确的方向快速发展。如果我们做到了,我们至少可以对我们欠地球上每个人的尊严和平等的承诺做出部分兑现。

4. 和平与治理

假设前三节中的一切都进展顺利:疾病、贫困和不平等得到显著减少,人类体验的基线得到大幅提升。但这并不意味着所有主要的人类苦难原因都被解决了。人类仍然对彼此构成威胁。虽然技术进步和经济发展导致民主和和平有一定趋势,但这是一个非常松散的趋势,经常(且最近)出现倒退。在20世纪初,人们认为他们已经把战争抛在身后;然后来了两次世界大战。30年前,弗朗西斯·福山写了《历史的终结》,预言自由民主的最终胜利;但这还没有发生。20年前,美国政策制定者认为与中国的自由贸易会随着中国变得更富裕而使其自由化;这绝对没有发生,现在我们似乎正走向与一个复兴的威权主义集团的第二次冷战。而且可信的理论表明,互联网技术实际上可能有利于威权主义,而不是最初认为的民主(例如在”阿拉伯之春”时期)。因此,试图理解强大的人工智能将如何与这些和平、民主和自由的问题相交叉似乎很重要。

不幸的是,我看不到任何强有力的理由相信人工智能会优先或结构性地推进民主和和平,就像我认为它会结构性地推进人类健康和缓解贫困一样。人类冲突是对抗性的,人工智能原则上可以帮助”好人”和”坏人”。如果说有什么的话,一些结构性因素似乎令人担忧:人工智能似乎可能实现更好的宣传和监视,这两者都是独裁者工具箱中的主要工具。因此,我们作为个人行为者要把事情朝正确的方向倾斜:如果我们希望人工智能有利于民主和个人权利,我们就必须为这个结果而战。我对此的感受比对国际不平等的感受更强烈:自由民主的胜利和政治稳定并不是保证的,甚至可能不太可能,将需要我们所有人做出巨大的牺牲和承诺,就像过去经常发生的那样。

我认为这个问题有两个部分:国际冲突和国家的内部结构。在国际方面,当强大的人工智能被创造出来时,民主国家在世界舞台上占据上风似乎非常重要。人工智能驱动的威权主义似乎太可怕了,不敢考虑,所以民主国家需要能够制定强大人工智能被引入世界的条件,既要避免被威权主义者压倒,也要防止在威权国家内部发生侵犯人权的行为。

我目前猜测最好的方法是通过一种”协约战略”,在这种战略中,民主国家联盟寻求在强大的人工智能上获得明显优势(即使只是暂时的),通过确保其供应链,快速扩大规模,并阻止或延迟对手获取关键资源,如芯片和半导体设备。这个联盟一方面会使用人工智能实现强大的军事优势(大棒),同时提供将强大人工智能的好处(胡萝卜)分发给越来越多的国家,以换取支持联盟促进民主的战略(这有点类似于”和平利用原子能”)。联盟的目标将是获得越来越多世界的支持,孤立我们最坏的对手,最终使他们处于一个比接受与世界其他地方相同的交易更好的位置:放弃与民主国家竞争,以获得所有好处并避免与更强大的对手战斗。

如果我们能做到这一切,我们将有一个由民主国家在世界舞台上领导的世界,他们拥有经济和军事实力,可以避免被专制国家破坏、征服或破坏,并可能能够将他们的人工智能优势转化为持久的优势。乐观地说,这可能导致一个”永恒的1991年”——一个民主国家占据上风的世界,福山的梦想得以实现。再次强调,这将非常难以实现,特别需要私营人工智能公司和民主政府之间的密切合作,以及关于胡萝卜和大棒之间平衡的非常明智的决定。

即使所有这些都进展顺利,仍然留下了每个国家内部民主与专制之争的问题。显然很难预测这里会发生什么,但我确实对给定一个民主国家控制最强大人工智能的全球环境,人工智能实际上可能在各地结构性地有利于民主持有一些乐观态度。特别是,在这种环境下,民主政府可以利用他们更优越的人工智能赢得信息战:他们可以反制专制国家的影响和宣传行动,甚至可能通过提供专制国家在技术上无法阻止或监视的信息渠道和人工智能服务,创造一个全球自由的信息环境。可能不需要传播宣传,只需要反制恶意攻击并解除对信息自由流动的阻碍。虽然不是立即的,但这样的公平竞争环境有很好的机会逐渐将全球治理倾向民主,原因有几个。

首先,第1-3节中提到的生活质量的提高应该,在其他条件相同的情况下,促进民主:历史上它们至少在某种程度上做到了这一点。特别是,我预计心理健康、福祉和教育的改善会增加民主,因为这三者都与对威权领导人的支持呈负相关。总的来说,当人们其他需求得到满足时,他们希望有更多的自我表达,而民主除其他外就是一种自我表达的形式。相反,威权主义靠恐惧和怨恨茁壮成长。

第二,只要威权主义者无法审查它,自由信息很有可能真的会破坏威权主义。未经审查的人工智能还可以为个人提供强大的工具来破坏压制性政府。压制性政府通过否认人们某种共同知识而生存,阻止他们意识到”皇帝没有穿衣服”。例如,Srđa Popović,他帮助推翻了塞尔维亚的米洛舍维奇政府,广泛写过关于心理上剥夺威权主义者权力的技巧,如何打破魔咒并集结支持反对独裁者。一个超人类有效的Popović人工智能版本(他的技能似乎对智能有很高的回报)在每个人的口袋里,一个独裁者无力阻止或审查的版本,可能会为世界各地的异见者和改革者创造有利条件。再说一次,这将是一场长期的、持久的斗争,胜利并不确定,但如果我们以正确的方式设计和构建人工智能,它至少可能是一场各地自由倡导者占优势的斗争。

与神经科学和生物学一样,我们也可以问事情如何能”比正常更好”——不仅仅是如何避免专制,而是如何使民主国家比今天更好。即使在民主国家内部,不公正的事情也经常发生。法治社会向其公民承诺,每个人在法律面前都是平等的,每个人都有权享有基本人权,但显然人们并不总是在实践中获得这些权利。这个承诺即使部分实现也是值得骄傲的,但人工智能能否帮助我们做得更好呢?

例如,人工智能能否通过使决策和程序更加公正来改善我们的法律和司法系统?今天,人们在法律或司法环境中主要担心人工智能系统会成为歧视的原因,这些担忧很重要,需要防范。同时,民主的活力取决于利用新技术改善民主制度,而不仅仅是应对风险。真正成熟和成功的人工智能实施有可能减少偏见,为每个人带来更公平的对待。

几个世纪以来,法律系统面临的困境是,法律旨在保持公正,但本质上是主观的,因此必须由有偏见的人来解释。试图使法律完全机械化并不奏效,因为现实世界是混乱的,不能总是用数学公式来捕捉。相反,法律系统依赖于臭名昭著的不精确标准,如”残酷和不寻常的惩罚”或”完全没有救赎社会价值”,然后由人来解释——而且经常以显示偏见、偏袒或任意性的方式解释。加密货币中的”智能合约”并没有彻底改变法律,因为普通代码不够聪明,无法裁决太多有趣的事情。但人工智能可能足够聪明:它是第一种能够以可重复和机械的方式做出广泛、模糊判断的技术。

我不是建议我们真的用人工智能系统取代法官,但公正性与理解和处理混乱的现实世界情况的能力相结合,感觉应该对法律和司法有一些严肃的积极应用。至少,这样的系统可以与人类一起工作,作为决策的辅助。在任何这样的系统中,透明度都很重要,成熟的人工智能科学可以设想提供它:这种系统的训练过程可以被广泛研究,先进的可解释性技术可以用来看inside最终模型并评估它是否存在隐藏的偏见,这种方式simply对人类是不可能的。这些人工智能工具还可以用来监测司法或警察环境中是否违反基本权利,使宪法更具自我执行力。

同样,人工智能可以用来汇总意见并在公民之间达成共识,解决冲突,找到共同点,寻求妥协。计算民主项目已经在这个方向上进行了一些早期尝试,包括与Anthropic的合作。一个更加知情和深思熟虑的公民群体显然会加强民主制度。

人工智能还有明显的机会被用来帮助提供政府服务——如健康福利或社会服务——这些服务原则上对每个人都可用,但在实践中往往严重缺乏,在某些地方比其他地方更糟。这包括健康服务、机动车管理局、税收、社会保障、建筑规范执行等。拥有一个非常周到和知情的人工智能,其工作是以你能理解的方式给你政府合法给予你的一切——并且也帮助你遵守通常令人困惑的政府规则——将是一件大事。增加国家能力既有助于实现法律面前人人平等的承诺,也加强了对民主治理的尊重。目前,服务提供不佳是导致人们对政府产生愤世嫉俗情绪的主要原因之一。

所有这些都是somewhat模糊的想法,正如我在本节开头所说,我对它们的可行性的信心远不如对生物学、神经科学和减少贫困方面的进展的信心。它们可能不切实际地乌托邦化。但重要的是要有一个雄心勃勃的愿景,愿意梦想大一点并尝试新事物。人工智能作为自由、个人权利和法律面前人人平等的保证人的愿景太强大了,不能不为之奋斗。21世纪由人工智能支持的政体可能既是个人自由的更强有力的保护者,也是一个希望的灯塔,有助于使自由民主成为全世界都想采用的政府形式。

5. 工作与意义

即使前面四节中的一切都进展顺利——不仅我们缓解了疾病、贫困和不平等,而且自由民主成为主导的政府形式,现有的自由民主国家变得更好——至少还有一个重要问题仍然存在。有人可能会反对说:”我们生活在一个技术如此先进且公平正直的世界固然很好,但在人工智能做所有事情的情况下,人类如何找到意义呢?更重要的是,他们如何在经济上生存?”

我认为这个问题比其他问题更加困难。我并不是说我对这个问题必然比其他问题更悲观(尽管我确实看到了挑战)。我的意思是,它更加模糊,更难提前预测,因为它涉及到社会如何组织的宏观问题,这些问题往往只能随着时间的推移以分散的方式解决。例如,历史上的狩猎-采集社会可能会想象,没有狩猎和各种与狩猎相关的宗教仪式,生活就失去了意义,他们可能会想象我们这个吃得饱饱的技术社会是没有目的的。他们也可能不理解我们的经济如何能为每个人提供保障,或者人们在一个机械化的社会中能发挥什么有用的功能。

尽管如此,值得说几句话,同时要记住,这一部分的简短并不意味着我不重视这些问题——恰恰相反,它表明缺乏明确的答案。

关于意义的问题,我认为认为仅仅因为人工智能可以做得更好,你所承担的任务就失去意义,这很可能是个错误。大多数人在任何事情上都不是世界上最好的,这似乎并不特别困扰他们。当然,今天他们仍然可以通过比较优势做出贡献,并可能从他们产生的经济价值中获得意义,但人们也非常享受那些不产生经济价值的活动。我花了大量时间玩视频游戏、游泳、在外面散步和与朋友交谈,这些都没有产生经济价值。我可能会花一天时间试图在一个视频游戏中变得更好,或者更快地骑车上山,我并不真的在意某个地方有人在这些事情上比我强得多。无论如何,我认为意义主要来自人际关系和联系,而不是经济劳动。人们确实想要一种成就感,甚至是一种竞争感,而在后人工智能世界中,完全有可能花几年时间尝试一些非常困难的任务,制定复杂的策略,类似于人们今天开始研究项目、试图成为好莱坞演员或创办公司时所做的事情。事实是(a)某个地方的人工智能原则上可以做得更好,以及(b)这个任务不再是全球经济中经济上有回报的元素,这些似乎对我来说并不那么重要。

经济部分对我来说似乎比意义部分更困难。在这一部分中,”经济”指的是可能出现的问题,即在一个足够先进的人工智能驱动的经济中,大多数或所有人类可能无法做出有意义的贡献。这是一个比我在第3节讨论的不平等问题(特别是获取新技术的不平等)更宏观的问题。

首先,在短期内,我同意比较优势将继续保持人类的相关性,事实上会增加他们的生产力,甚至在某些方面可能会使人类之间的竞争环境变得更加平等。只要人工智能只在某个工作的90%方面更好,其余10%将导致人类变得高度杠杆化,增加报酬,实际上创造出一堆新的人类工作,补充和放大人工智能擅长的部分,使得”10%”扩大到继续雇用几乎每个人。事实上,即使人工智能在100%的事情上都比人类做得更好,但如果它在某些任务上仍然效率低下或昂贵,或者如果人类和人工智能的资源投入存在明显差异,那么比较优势的逻辑仍然适用。人类可能在相当长一段时间内保持相对(甚至绝对)优势的一个领域是物理世界。因此,我认为即使在我们达到”数据中心里的天才国度”之后的一小段时间内,人类经济可能仍然有意义。

然而,我确实认为从长远来看,人工智能将变得如此广泛有效和如此便宜,以至于这种情况将不再适用。在那个时候,我们目前的经济设置将不再有意义,需要进行更广泛的社会对话,讨论经济应该如何组织。

虽然这可能听起来很疯狂,但事实是,文明在过去已经成功地度过了重大的经济转变:从狩猎-采集到农业,从农业到封建主义,从封建主义到工业化。我怀疑需要一些新的、更奇怪的东西,这是今天没有人做得很好的事情。它可能简单到为每个人提供大规模的全民基本收入,尽管我怀疑这只会是解决方案的一小部分。它可能是人工智能系统的资本主义经济,然后根据某种次级经济(基于人工智能系统认为有意义奖励人类的东西,最终源于人类价值观的某种判断)向人类分配资源(巨大的资源,因为整体经济蛋糕将是巨大的)。也许经济运行在Whuffie积分上。或者也许人类最终仍然具有经济价值,以某种不被通常的经济模型预料到的方式。所有这些解决方案都有大量可能的问题,如果没有大量的迭代和实验,就不可能知道它们是否有意义。而且像其他一些挑战一样,我们可能不得不为获得好的结果而斗争:剥削性或反乌托邦的方向显然也是可能的,必须加以预防。关于这些问题可以写更多的内容,我希望在以后的某个时候这样做。

总结


通过上述各种主题,我试图描绘一个世界的愿景,如果人工智能一切顺利,这个世界既是可能的,又比今天的世界好得多。我不知道这个世界是否现实,即使是现实的,如果没有许多勇敢和献身的人做出巨大的努力和奋斗,也无法实现。每个人(包括人工智能公司!)都需要尽自己的一份力量来预防风险并充分实现利益。

但这是一个值得为之奋斗的世界。如果所有这些真的在5到10年内发生——大多数疾病被击败,生物和认知自由的增长,数十亿人脱离贫困并分享新技术,自由民主和人权的复兴——我怀疑每个观察到这一切的人都会对它产生的影响感到惊讶。我不是指亲身受益于所有新技术的体验,尽管那肯定会很惊人。我指的是看着一套长期持有的理想一下子在我们面前实现的体验。我认为许多人会因此而流下真正的眼泪。

在写这篇文章的过程中,我注意到一个有趣的张力。从某种意义上说,这里提出的愿景是极其激进的:这不是几乎任何人预期在未来十年内发生的事情,很可能会被许多人视为荒谬的幻想。有些人甚至可能不认为它是可取的;它体现了不是每个人都会同意的价值观和政治选择。但同时,它有一种令人眼花缭乱的明显性——一种必然性——好像许多不同的尝试设想一个好的世界inevitably会大致引向这里。

在Iain M. Banks的《游戏玩家》中,主角——来自一个被称为文化的社会的成员,这个社会基于与我在这里描述的原则不无相似的原则——前往一个压制性的、军国主义的帝国,在那里领导权是通过在一个复杂的战斗游戏中的竞争来决定的。然而,这个游戏复杂到玩家在其中的策略往往反映了他们自己的政治和哲学观点。主角成功地在游戏中击败了皇帝,表明他的价值观(文化的价值观)即使在一个设计用于无情竞争和适者生存的社会的游戏中也代表了一种获胜策略。Scott Alexander的一篇著名文章有相同的论点——竞争是自我挫败的,倾向于导致一个基于同情和合作的社会。”道德宇宙的弧线”是另一个类似的概念。

我认为文化的价值观是一种获胜策略,因为它们是一百万个小决定的总和,这些决定具有明显的道德力量,倾向于将每个人拉到同一边。基本的人类公平、合作、好奇心和自主性的直觉很难反驳,并且以一种我们更具破坏性的冲动往往不具备的方式具有累积性。很容易争辩说,如果我们能够预防,儿童就不应该死于疾病,从那里很容易争辩说,每个人的孩子都平等地享有这种权利。从那里不难争辩说,我们应该团结一致,运用我们的智慧来实现这个结果。很少有人不同意人们应该因无故攻击或伤害他人而受到惩罚,从那里到惩罚应该在人与人之间一致和系统化的想法并不是一个很大的飞跃。同样直观的是,人们应该对自己的生活和选择拥有自主权和责任。这些简单的直觉,如果被推到逻辑结论,最终会导致法治、民主和启蒙价值观。如果不是inevitably,那么至少作为一种统计趋势,这就是人类已经在前进的方向。人工智能simply提供了一个机会让我们更快地到达那里——使逻辑更加明确,目的地更加清晰。

尽管如此,这是一种超越性的美。我们有机会为使之成为现实发挥一些小小的作用。


感谢Kevin Esvelt, Parag Mallick, Stuart Ritchie, Matt Yglesias, Erik Brynjolfsson, Jim McClave, Allan Dafoe以及Anthropic公司的许多人审阅了这篇文章的草稿。

献给2024年诺贝尔化学奖的获得者们,他们为我们所有人指明了方向。

注释:

  1. https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace
  2. 我预料到少数人的反应可能会是”这相当平淡”。我认为这些人需要用Twitter的俗语来说,”接地气”。但更重要的是,从社会角度来看,平淡是好事。我认为人们一次只能应对这么多变化,我描述的速度可能接近社会在不产生极端动荡的情况下所能吸收的极限。↩
  3. 我发现AGI是一个不精确的术语,它积累了很多科幻的包袱和炒作。我更喜欢”强大的AI”或”专家级科学和工程”这样的术语,它们表达了我的意思而没有炒作。↩
  4. 在本文中,我使用”智能”来指可以应用于各种领域的通用问题解决能力。这包括推理、学习、规划和创造力等能力。虽然我在整篇文章中使用”智能”作为简称,但我承认智能的本质在认知科学和AI研究中是一个复杂且有争议的话题。一些研究人员认为智能不是一个单一的、统一的概念,而是一系列独立的认知能力的集合。其他人则认为存在一个基础智能因素(g因子)支撑各种认知技能。这是另一个时间需要讨论的辩题。↩
  5. 这大约是当前AI系统的速度 – 例如,它们可以在几秒钟内阅读一页文本,可能在20秒内写一页文本,这是人类做这些事情速度的10-100倍。随着时间的推移,更大的模型往往会使这个过程变慢,但更强大的芯片往往会使它变快;到目前为止,这两种效应大致相互抵消。↩
  6. 这可能看起来像是一个稻草人论点,但像Tyler Cowen和Matt Yglesias这样谨慎的思考者已经将其作为一个严肃的担忧提出来(尽管我不认为他们完全持有这种观点),我也不认为这是荒谬的。↩
  7. 我所知道的最接近解决这个问题的经济学工作是关于”通用目的技术”和作为通用目的技术补充的”无形投资”的研究。↩
  8. 这种学习可以包括临时的、在上下文中的学习,或传统的训练;两者都将受到物理世界的速率限制。↩
  9. 在一个混沌系统中,小误差随时间呈指数级增长,因此即使计算能力大幅提升,也只能略微改善预测的远期程度,而在实践中,测量误差可能会进一步降低这一改善。↩
  10. 当然,另一个因素是强大的AI本身可能被用来创造更强大的AI。我的假设是这可能(实际上,很可能会)发生,但其效果可能比你想象的要小,正是因为这里讨论的”智能边际收益递减”。换句话说,AI会继续快速变得更聪明,但其效果最终会受到非智能因素的限制,分析这些因素对AI之外的科学进步速度最为重要。↩
  11. 这些成就对我来说是一种鼓舞,也许是AI用于改变生物学的最强有力的现有例子。↩
  12. “科学的进步取决于新技术、新发现和新想法,可能按这个顺序。” – Sydney Brenner ↩
  13. 感谢Parag Mallick提出这一点。↩
  14. 我不想用对AI驱动的科学可能做出的具体未来发现的猜测来堵塞文本,但这里是一些可能性的头脑风暴:
    • 设计更好的计算工具,如AlphaFold和AlphaProteo — 即,一个通用AI系统加速我们制造专门的AI计算生物学工具的能力。
    • 更高效和选择性的CRISPR。
    • 更先进的细胞疗法。
    • 材料科学和微型化突破导致更好的植入设备。
    • 更好地控制干细胞、细胞分化和去分化,以及由此产生的重新生长或重塑组织的能力。
    • 更好地控制免疫系统:选择性地激活它来解决癌症和传染病,选择性地关闭它来解决自身免疫疾病。↩
  15. 当然,AI也可能帮助我们更聪明地选择要进行的实验:改进实验设计,从第一轮实验中学到更多,以便第二轮实验能够聚焦于关键问题,等等。↩
  16. 感谢Matthew Yglesias提出这一点。↩
  17. 快速进化的疾病,如实质上利用医院作为进化实验室来不断提高其对治疗抗性的多重耐药菌株,可能特别难以处理,并可能成为阻止我们达到100%的因素。↩
  18. 注意,在5-10年内可能很难知道我们是否已经将人类寿命翻倍。虽然我们可能已经实现了这一目标,但在研究时间框架内我们可能还不知道。↩
  19. 这是我愿意,尽管治愈疾病和减缓衰老过程本身之间存在明显的生物学差异,从更远的距离看统计趋势并说”即使细节不同,我认为人类科学可能会找到继续这一趋势的方法;毕竟,任何复杂事物的平滑趋势必然是由非常异质的组成部分相加形成的。↩
  20. 举个例子,据我所知,每年生产力增长1%甚至0.5%的增加在与这些项目相关的预测中都会产生变革性影响。如果本文设想的想法成为现实,生产力增长可能会比这大得多。↩
  21. 媒体喜欢描绘高地位的精神病患者,但平均的精神病患者可能是一个经济前景不佳、冲动控制能力差的人,最终会在监狱中度过相当长的时间。↩
  22. 我认为这有点类似于我们从可解释性研究中学到的许多结果(可能不是全部)即使我们当前人工神经网络的一些架构细节(如注意力机制)以某种方式被改变或替换,仍然会保持相关性。↩
  23. 我怀疑这有点像一个经典的混沌系统 – 受到必须以大部分分散方式管理的不可约复杂性的困扰。尽管正如我在本节后面所说,可能会有一些较为温和的干预。经济学家Erik Brynjolfsson向我提出的一个反驳观点是,大公司(如沃尔玛或优步)开始拥有足够的集中知识来比任何分散的过程更好地理解消费者,这可能迫使我们修改哈耶克关于谁拥有最佳本地知识的见解。↩
  24. 感谢Kevin Esvelt提出这一点。↩
  25. 例如,手机最初是富人的技术,但很快变得非常便宜,年复一年的改进速度如此之快,以至于消除了购买”奢侈”手机的任何优势,如今大多数人拥有的手机质量相似。↩
  26. 这是兰德公司即将发表的一篇论文的标题,大致描述了我所描述的策略。↩
  27. 当普通人想到公共机构时,他们可能会想到在机动车管理局、国税局、医疗保险或类似机构的经历。使这些经历比现在更积极似乎是对抗不当愤世嫉俗情绪的有力方式。↩
  28. 事实上,在一个由AI驱动的世界里,这种可能的挑战和项目的范围将比今天广阔得多。↩
  29. 我正在打破自己不谈科幻的规则,但我发现很难不至少稍微提及它。事实是,科幻小说是我们为数不多的关于未来的扩展性思想实验的来源之一;我认为它与一个特定的狭窄亚文化如此紧密纠缠在一起说明了一些不好的事情。↩

整篇文章翻译自-Dario AmodeiDario Amodei — Machines of Loving Grace