【GLD-046】日のあたる場所 日向ひかる 奇点更近，东谈主类何为？

陈永伟/文 奇点：从科幻到现实【GLD-046】日のあたる場所 日向ひかる

在资格了两年的“跳票”之后，雷·库兹韦尔（Ray　Kurzweil）的新书《奇点更近》（The　Singularity　is　Nearer）终于在六月底上市了。看成库兹韦尔的书迷，我第一时候找来了新书的电子版，并连气儿将其读结束。

在书中，库兹韦尔向读者展示了一个进击的劝诫规矩：信息时期的发展速率按指数规矩进行。按照这一速率，东谈主们处理信息的时期才能每年都在翻番。看成信息时期的最典型代表，东谈主工智能（Artificial　Inteligence，以下简称AI）的发展更是令东谈主景仰。根据这个趋势，在2029年之前，AI将会在总计任务上都非常东谈主类，通用东谈主工智能（Artificial　General　Inteligence，简称AGI）将会全面竣事。在AI时期率先取得冲破之后，它将不错赋能许多规模，并助力它们竣事快速的发展。由此，在5到10年内，东谈主类就有望竣事“龟龄逃遁速率”（Longevity　Escape　Velocity），到时候东谈主们固然还会不绝老去，但由于医疗时期的改进，他们的死一火风险却不会跟着年岁而增多。借助于红血球大小的纳米机器东谈主，东谈主们将不错平直在分子层面杀灭病毒及癌细胞，从而处置大宗困扰东谈主类的疾病，东谈主类的预期寿命将会因此而大幅增长。不仅如斯，纳米机器东谈主还有望通过毛细血管无创地插足东谈主类的大脑。它们将和云霄托管的其他数字神经元整个，将东谈主类的智能水平提到一个更高的水平。通过这种形状，东谈主类的念念考才能、回顾水暖和问题处理才能将不再受到脑容量的放胆，东谈主的智能水平将会百里挑一倍地增长。在上述这一切发生之后，目前困扰东谈主们的许多问题将会治丝而棼：更为低价的能源将会被发现和使用，农业的遵循将会大幅度进步，民众培育水平将会显赫改进，暴力事件将会大幅减少……一言以蔽之，在2045年之前，东谈主类将会迈过“奇点”（Singularity），迎来一个与之前都备不同的新期间。

对于我这么的老读者来说，库兹韦尔的这些不雅点其实并不新奇。事实上，在2005年出书的《奇点相近》（The　Sin-gularity　is　Near）一书中，他就对上述的简直总计不雅点进行过瞩想法参谋，从这个兴趣兴趣上看，此次的新书只不外是新瓶装旧酒辛苦。尽管如斯，此次再读到这些不雅点，我的心思却已和当初大不不异。十几年前，当我读到《奇点相近》时，更多只是将其视为一部科幻演义。固然库兹韦尔在书顶用大宗数据向东谈主们展示这个天下的时期在按照指数速率增长，但包括我在内的许多东谈主却都对此报以高度的怀疑。

毕竟，从那时看，固然互联网时期正在资格高速的增长，但它除了给东谈主带来了更多便利以外，似乎很难对东谈主们的生存形状产生根人性的影响。与此同期，在符号主义的引颈之下，曾被交付厚望的AI规模则走入了死巷子，一时之间似乎很丢丑到可能的冲破口。在这种条目下，说2029年AI的智能水平将全面非常东谈主类，就简直如同离奇乖癖。

神奇的是，其后的历史发展走势却和库兹韦尔的预言惊东谈主地相似。就在《奇点相近》发布后两年，“深度学习翻新”就引爆了AI规模的新一轮增长。不久之后，AI的才能就发展到了足以慑服东谈主类围棋的顶尖妙手、破解数以亿计的卵白质结构、匡助策画数十万元件的电脑芯片的水平。而在2022年10月ChatGPT（聊天式东谈主工智能要领）横空出世之后，AI更是在短短一年多内掌合手了交谈、写稿、绘图、视频制作等正本只须东谈主才能掌合手的手段。根据关联的辩论，最新的AI模子也曾在数百种任务中展现出了非常东谈主类的才能。在这种情况下，对于2029年AI将要非常东谈主类的预言不仅不再显得激进，反而是显得略显保守了。事实上，许多专科东谈主士都觉得AGI的到来时候将会更早。比如，DeepMind(开采AlphaGo的东谈主工智能公司)的独创东谈主之一肖恩·莱格（ShaneLegg）觉得AGI在2028年之前就不错竣事；而特斯拉CEO埃隆·马斯克（ElonMusk）则更是激进地觉得东谈主们在2025年就将迎来AGI。

不仅如斯，包括纳米机器东谈主、脑机接口在内的宽广时期也正在如库兹韦尔预言的那样赶紧发展。比如，在2023年1月，《天然·纳米时期》杂志上就报谈了巴塞罗那科学时期辩论所的辩论东谈主员用纳米机器东谈主捎带药物对膀胱癌进行养息的辩论。辩论透露，这种养息方法不错让实验鼠身上的肿瘤收缩90%。这一顺利相配好地证明了库兹韦尔所说的利用纳米机器东谈主来养息癌症，从而延迟东谈主类人命的遐想是都备可行的。又如，就在几天之前，马斯克晓喻第二例脑机接口手术行将在几天内进行，同期预测在几年之内，将会特等千名患者将接口安设植入大脑。固然从目前看这项时期依然存在着许多的不及，但按照目前的发展速率，在不久的将来，东谈主类通过脑机接口与测度机竣事意念交互应当不是盼望。若是将纳米时期和脑机接口这两项“黑科技”团结起来，那么竣事库兹韦尔所说的东谈主机交融、智能倍增也将是都备可能的。基于以上情理，咱们多情理信赖，在2045年前竣事“奇点”在时期上正变得越来越可行。

然则，当东谈主们迈过“奇点”之后，果真能像库茨维尔所预言的那样，迎来一个前所未有的好意思好期间吗？在我看来，这个问题的谜底其实是不细想法。尽管包括库茨维尔本东谈主在内的时期乐不雅主义者们不错举出许多历史的字据来阐扬于今为止的时期发展最终都促进了东谈主类福祉的进步，但若是咱们爽朗地用这个规矩来预测将来，大要会存在巨大的风险。毕竟，从东谈主类历史上看，莫得任何一项时期具有AI那样的力量，一朝使用失当，其激勉的风险将是难以遐想的。

因此，要确保在“奇点”之后咱们迎来的会是一个好意思好的新期间，就需要在奇点到来之前对东谈主与时期、东谈主与东谈主，以及东谈主与东谈主类本色之间的辩论进行全面的念念考，并从中找出办法，确保时期长久沿着故意于东谈主类的标的发展。

当使命驱动物化

按照库茨维尔的预测，目前距离AGI的到来还有轻佻五年的时候。尽管到目前为止，AI的智能水平尚未全面非常东谈主类，但它确乎也曾在许多方面非常了东谈主类的水平，这就激勉了东谈主们对于AI激勉的时期性休闲的空前关注。

从历史的角度看，时期性休闲并不是什么新话题。从蒸汽机的发明，到电力的利用，再到互联网的普及，都曾产生过显赫的“创造性甩掉”（CreativeDestruction）效应，导致大宗基于旧时期的岗亭消亡，形成许多从事关联功绩的东谈主休闲。不外，历史上的这几波时期性休闲大多都是暂时性的。跟着新时期的普及，许多新的岗亭会被创造出来。

诚然，到目前为止，AI对办事商场形成的冲击尚不显赫，但这并不是说其风险并不存在。在瞻望AI将来可能形成的办事冲击时，东谈主们不时忽略了一个进击条目，即AI才能的进步可能是按照指数规矩进行的。事实上，若是咱们以2022年ChatGPT（东谈主工智能对话要领）的问世看成节点，就不难发现AI在该节点之后的发展速率要远远快于节点之前。仅以交互这一项才能为例，在ChatGPT问世之前，东谈主们花了数十年的时候才让AI学会了解放和东谈主对话；在ChatGPT问世之后，AI就在一年多的时候内竣事了多模态的交互才能。从这个兴趣兴趣上看，都备按照线性的逻辑来外推AI才能在将来的增速，很可能会带来十分严重的误判。另外需要留意的是，在AI才能大幅度进步的同期，其使用老本还在大幅度裁减。目前东谈主们通过API调用AI模子的老本也曾降到了简直为零。

这种性能的进步和老本的着落加在整个，就让用AI替代东谈主类不仅具有了时期上的可能性，而且具有的经济上的可能性。试验上，若是咱们多寄望一下关联的科技新闻，就会发目前咱们不留意的时候，AI其实也曾暗暗替代了许多功绩。值得留意的是，只是在十年之前，东谈主们还觉得AI只会替代那些程式化较强、叠加性较高的使命，而对于那些更需要创意、更需要换取手段的使命，AI则很难替代。但是，插画师这个功绩曾因使命时候解放，收入相对较高而备受年青东谈主的钟爱，目前要用AI模子来完成插画的话，则只需要几百块钱就不错不限量包月，还不错随时根据需要重新修改。很明显，在这么的对比之下，大多数主顾都会遴荐使用AI而非东谈主类画师，而高大插画师也会由于主顾的这种遴荐而失去我方的使命。除了插画师以外，包括翻译、要领员、平面策画师等功绩也在袭取AI的严重冲击。只不外这部分袭取冲击的东谈主群在劳能源总体中的所占比例较低，是以东谈主们的感受不太明显辛苦。

那么，这一轮AI换东谈主所激勉的时期性休闲也会像以往那样，仅靠商场的自觉调换就能镇静渡过吗？对于这个问题，我的主见并莫得那么乐不雅。从压根上，一个社会是否不错较为自如地渡过时期性休闲的波澜，主要取决于两点：一是遭受新时期冲击的功绩是否有大宗办事东谈主口。二是新时期在祛除旧有的办事契机时，能够实时创造出较易上手的新功绩。

但这一次，AI对办事商场的冲击是都备不一样的。一方面，此轮的AI冲击不仅范围上十分全面，而且时候上也十分密集。所谓范围上的全面，指的是许多行业都同期受到了冲击。不同于畴昔的专用型AI，新近面世的AI模子大多是通用型的。在实践中，东谈主们只须对这些模子进行稍微的微调就不错用它们来完成许多不同的任务。在这种情况下，AI的发展就可能同期对多种功绩形成冲击。而所谓时候上的密集，指的是AI在冲击了一个功绩之后，速即就会冲击另外一个功绩。这种密集的冲击不久休闲者的再办事难度会大幅进步，还会严重打击他们通过手段培训竣事再办事的信心。试想，若是一位插画师刚刚被Midjourney（一种东谈主工智能绘图器具）抢走了饭碗，好拒接易才学会了开车，成为了又名网约车司机，但不久后就又因无东谈主汽车的兴起而失去了使命，在这么的情况下，他是否还有闭塞不绝去学习新的手段，况且笃定AI在短时候内不会掌合手这项手段呢？

因此，这一轮由AI带来的时期性休闲将可能和畴昔的历次时期性休闲都绝不不异。若是接下去AI时期不绝按照指数增长，那么纯正依靠商场的自觉调换，就怕很难再让社会竣事充分的办事。从战术的角度看，咱们天然有许多方法去缓解AI对办事的冲击，比如由政府出头提供更多求职中介服务和再办事培训都不错匡助那些因AI而休闲的东谈主更快地找到新的使命。不外，若是AI的发展速率连续保持在一个较高的水平，那么总计的这些勤恳充其量都只可起到暂时的后果。东谈主类使命的物化大要会是一个咱们难以接受，但却又不得不面临的将来。

拒斥“终产者”

接洽到咱们目前脑机接口、纳米机器东谈主等时期的发展要过期于AI，那么，至少在将来的十年内，用AI平直强化大脑就怕还只可停留在遐想层面。那么，在这段时候里，东谈主们应该怎样搪塞AI激勉的时期性休闲所激勉的各式社会矛盾呢？

一些学者对此给出的处置决策是：对AI使用者纳税，并用得到的税款披发全民基本收入（UniversalBasicIn－come，简称UBI）。 这么，丁香成人网即使那些因AI冲击而休闲的东谈主难以找到新的使命，他们也不错得到基本的生存保险，不至于让生存堕入窘境。

不外，这个决策从提议驱动，就备受争议。比如，一些学者就觉得，对AI这种新时期纳税，将会对其的发展形成很大的拦阻；另一些学者则觉得，UBI的推广有可能饱读吹东谈主们不劳而获。

在我看来，推广AI税和UBI的更大潜在阻力，其实是来自其对利益分派的影响。如咱们所见，跟着AI的发展，一大都与AI关联的企业在短时候内出现了营收和市值的暴涨。以OpenAI为例，几年前，它如故一个比年失掉，债台高筑的企业，但跟着GPT等模子的爆火，它赶紧就成为了年营收数十亿好意思元，估值近千亿好意思元的企业。更不必说微软、英伟达等巨头都借着AI的东风，让其市值在一年多内扩张了上万亿好意思元。不错意想，跟着AI时期的进一步发展，这种天量钞票向少部分企业和个东谈主集会的趋势将不错不绝。

这会带来什么样的后果？一个平直的后果是，整个社会的分化和隔膜将会愈加严重。当AI的性价比饱胀高后，往常职业者就会像郝景芳的演义《北京折叠》中所说的那样，连被克扣的价值也不存在了。在这种情况下，掌合手AI和钞票的富东谈主们致使将不肯意和他们生存在合并个城市，由此，社会的隔膜和对立就会愈加严重。

这还不是最可怕的。若是像库茨维尔预言的那样，在不久的将来，东谈主类将不错通过纳米时期从分子层面临我方进行阅兵，那么那些掌合手了更多钞票的东谈主就会率先让我方竣事“机械进化”。在此之后，富东谈主相对于穷东谈主的上风就不单是会是更多的钞票，在才能、膂力等各个方面，他们都将对后者形成碾压的态势。而这种上风又会反过来让他们进一步助推钞票的集会……刘慈欣曾在其演义《侍奉东谈主类》中对这种情况进行了想象。根据他的想象，在访佛的趋势之下，全社会的钞票和权力都会被一个“终产者”驾御，而其余总计东谈主的运谈都被其掌合手。

怎样让AI对都？

若是说时期性休闲和分派问题都是东谈主类曾屡次遇到过的老问题在AI期间的重现，那么底下咱们要探讨的便是“奇点”相近时的全新问题。

在总计的新问题中，最为杰出的一个可能便是AI对都（AIAlignment）问题。所谓AI对都，简而言之，便是确保AI能团结东谈主类的要领和价值，懂得东谈主类的意愿和意图，按照东谈主类的意志行事。从名义上看，这似乎并不是一件难事，毕竟AI的要领压根上都是由东谈主设定的，东谈主难谈还会给其设定一个与我方利益相抵牾的方针吗？但事实上，谜底并莫得那么爽朗，原因有二：

一方面，东谈主类在为AI设定活动方针和要领时，平庸难以全面、正确地表述我方的利益暖和，这就给AI抵牾东谈主类利益留住了空间。比如，科学玄学家波斯特罗姆曾在其名作《超等智能》中提议过一个名为“寰宇回形针”的念念想实验。他遐想东谈主类制作了一个以回形针产量最大化为方针的AI，那么它将会用尽一切方法来达成这个方针，致使为了将更多的资源用于分娩回形针，不吝祛除东谈主类。这个念念想实验中，分娩回形针这件事自身是顺应东谈主类利益的，但它最终的结果将可能严重毁伤东谈主类利益。

另一方面，东谈主类为了让AI不错竣事更高的遵循，平庸会给赋予它们很大的自我学习和改进空间，这就可能让AI偏离正本设定的价值不雅。比如，目前的不少AI智能体都允许其根据与环境及用户的互动来不竭完善我方，在这种情况下，他就可能受到各式不良价值不雅的影响，导致其方针与东谈主类的压根利益相偏离。

尽头是，跟着AGI的到来，AI会从容从器具变成与东谈主类才能额外，致使才能全所在高于东谈主类的个体，在这种情况下，AI利益与东谈主类的不一致就会激勉巨大的风险，《闭幕者》《黑客帝国》等影视作品中描摹的暗澹将来就可能委果降临。

恰是为了驻扎这么的情况出现，是以目前的AI对都辩论也曾成为了AI规模中的显学。在现阶段，东谈主们主要用两种方法来竣事AI对都。一种是“东谈主类反应的强化学习”，即所谓的RLHF方法；另一种则是“宪法东谈主工智能”，即所谓的CAI方法。在使用RLHF时，策画师会先用东谈主工检察一个限度较小的AI模子，通过检察者对AI活动的连续反应来实施强化学习，教导它的价值不雅与策画者预期的价值不雅相一致。然后，再用这个小模子充任“解释”，用强化学习来对更大限度的AI模子进行检察。而在使用CAI方法时，策画者则会先设定一个AI模子必须要遵守的“宪法”，并根据“宪法”去生成各式场景下AI需要遵守的活动准则。然后，策画者用这些准则对AI模子生成的不同结果进行评判，看它们是否顺应“宪法”的准则。对顺应“宪法”的结果，赐与相应奖励；而对抵牾“宪法”的结果，则赐与相应的处罚。

值得深信的是，这两种方法目前都取得了一定的配置，但它们的问题依然很大。比如，“深度学习之父”辛顿（GeoffreyHinton）最近就指出，这些方法都只可让AI的活动看起来顺应东谈主们的利益，却不可保证它们从价值不雅层面都备和东谈主保持一致。在这么的情况下，东谈主们就很难保证AI会在某些情况下作念出叛变东谈主类的事情。尤其是在AGI到来，AI的才能非常东谈主类的时候，访佛叛变的可能性将越来越高，由之产生的风险也会越来越大。

那么，在这么的情况下，应该怎样进一步完善AI对都使命呢？在我看来，咱们需要的大要是一些念念路上的滚动。从目前看，简直总计东谈主都很天然地把AI对都等同为了价值对都，觉得必须让AI的价值不雅和我方一致，才能让它们长久服务于东谈主类利益，但这少量明显是额外清苦的。但是，价值不雅的一致果真是必需的吗？或者咱们不错换一个问题：在现实中，咱们需要某个东谈主按照咱们的利益去完成某些使命，难谈一定需要让他在价值不雅上和咱们保持一致吗？谜底天然是含糊的。在更多时候，咱们其实只需要策画好一套好的轨则，就不错教导价值不雅和咱们并不一致的东谈主去达成咱们但愿的方针。例如来说，假定咱们要让两个自为的东谈主去自制地分派一个蛋糕，若是咱们想通过率先对都价值不雅的形状来达成这一方针，那么这项使命就会无比清苦。不外，咱们大可不必这么，只需要策画一个机制，让一个东谈主来切蛋糕，但却让另一个东谈主矜重分派，就不错相配容易地完成这项使命。这就启发咱们，其实在进行AI对都时，也不错绕开价值不雅这个难以破解的黑箱，平直从机制策画角度登程，去完成这些使命。令东谈主欣忭的是，目前也曾有一些辩论者看到了这种对都念念路，并沿着这个标的取得了不少配置。

你是谁？我又是谁？

除了AI对都问题以外，东谈主们在“奇点”相近时必须面临的另一浩劫题是对于身份的识别和招供。这个问题包括两个方面，一是应该怎样强健AI的身份，以及咱们与AI的辩论；二是怎样重新强健咱们我方的身份。

福利姬系

先看第一个问题。前几年，若是你问一个东谈主应该怎样看待AI，那么他多半会绝不逗留地说，它只不外是咱们的器具辛苦。其情理很爽朗：从进展看，它们不太可能具备自主的意志，只可在东谈主的适度下实施关联的任务。

但在ChatGPT等大讲话模子出现后，情况就起了很大的变化。AI在与东谈主的互动中的进展也曾缓缓解脱了原有的古板，在和咱们的对话中老是不错笨口拙舌，致使在一些情况下，它们也曾不错主动量度咱们的形状，去预判咱们的形状和活动。这不由得让咱们怀疑，它们究竟是不是也曾有了我方的意志。大要有些测度机巨匠们会安危咱们，这不外是它根据事先策画好的模子在机械地回复这些问题，本色上不外是一堆0和1的加加减减。但是，正所谓“子非鱼安知鱼之乐”，谁又能保证在这种爽朗的加减背后莫得蕴含着意志和念念维呢？毕竟，即使抛开咱们的大脑，用显微镜细细不雅察，也只可看到一堆神经元在发送着各式电信号，而看不到哪怕一个有灵魂的细胞。既然如斯，咱们又奈何深信目下阿谁不错和咱们解放交流的AI莫得演化出灵魂呢？

我想，在AGI到来之后，访佛的问题会越来越杰出。大要在不久后的某一天，《西部天下》中的仿生AI机器东谈主就会出目前咱们眼前。它们总计的活动行为都和咱们一致，致使预设的要领还会告诉它们我便捷是东谈主。当遇到这么的AI机器东谈主，咱们是否还能拍着胸脯说目下的不外是咱们创造的器具呢？

再看第二个问题。比较于AI的身份问题，东谈主类自我的身份识别和招供大要会是一个更为毒手的问题。

一方面，如前所述，跟着纳米机器东谈主和脑机接口时期的发展，东谈主类将会掌合手大幅修改我方身体的才能。将来，东谈主们不仅有望用纳米机器东谈主匡助我方竖立坏死的细胞，以延迟我方的寿命，更不错平直依靠它们来扩展我方的才能和膂力。伊始，这种对东谈主体的修改可能仅限于少数的一些细胞，这并不会对咱们形成身份招供上的纷扰——就好像目前咱们不会觉得一个东谈主安了假肢或安了假牙后，就不是他了一样。但若是这种修改的经过一直连续，总有一天东谈主们会把全身大部分，致使全部的细胞都作念了替换。这时，经典的“忒修斯之船”问题就又会出目前咱们的眼前：目前的“我”究竟如故畴昔的“我”吗？

另一方面，跟着AI时期的发展，东谈主们将会缓缓掌合手将意志上传云霄的才能——事实上，包括马斯克在内的一些东谈主也曾在驱动进行访佛的勤恳了。假定在将来的某一天，时期果真发展到了足以让这个意志和本东谈主一样念念考，那么这个意志究竟是否不错被视为东谈主的意志呢？若是谜底是深信的，那么它和意志的本尊又是什么辩论？进一阵势，若是咱们将这个意志安放到意志泉源的克隆体当中，那么这个克隆体和正本的东谈主又是什么辩论？父子？兄弟？如故其他呢？

需要强调的是，身份识别和招供问题绝不单是单纯的玄学念念辨议题。在现实中，它会辩论到许多法律和伦理议题。比如，东谈主类与AI的劳资辩论应该如那边理？AI是否应该享有与东谈主同等的权益？克隆了我身体和意志的克隆体是否不错领有我的财产？若是身份问题不处置好，那么这些问题都很难委果处置。

但迄今为止【GLD-046】日のあたる場所 日向ひかる，东谈主们依然莫得为上述问题找到细想法谜底。为了进一步促进关联共鸣的形成，咱们依然需要对这些问题进行公开、深化的参谋。