奥秘 87 / ~28 分钟阅读 / 中文 PDF 页码 852–886

蜂群、机器人技术与算法战场

人工智能哲学视野下的算法生存境况


存在一道十分确切的门槛:一旦跨过它,人工智能就不再仅仅是为行动提供建议的系统,而成为分布于物质之中的智能。

直到现在,我们仍然可以把AI想象成安置在数据中心里的大脑,分析信息流,提出方案,加快人类决策。

但当这种智能直接指挥能够在物理世界中感知、移动、协作和行动的机器时,一场深刻得多的转变便开始了。

算法走出屏幕。它获得了物理形态:发动机、摄像头、旋翼、车辆、地面机器人、海上系统。

智能化为动能。

这种具身化直接改变了自主性问题。

对话系统中的错误会产生一句错误的话。移动机器中的错误则可能引发一次运动、一次碰撞,或一次破坏。

软件获得了硬件的惯性。

代码化为运动。

变化不再仅仅发生在信息层面:计算结果直接控制着物质中的运动。

我一直认为,物质与信息之间的这种关系,是我们这个时代的根本特征之一。数据库看似抽象,却决定着真实的决策。数字架构看似无形,却支配着经济流动。

在机器人技术中,这种关系直接呈现出来。

信息变为行动。模型识别障碍,调整轨迹,减速,加速。

它采取行动。

而一旦它开始行动,整个责任问题的尺度就变了。

但真正的突破,不在于一台孤立自主机器的存在。一台孤立的机器在概念上仍然相对容易把握。我们可以追问:谁控制它,它承担什么任务,对它施加了什么限制。

蜕变始于多台机器展开协作之时。

十架无人机。

一百架。

一千架。

数万架。

每个单元都具有局部感知,与其他单元交换某些信息,并根据群体状态调整自身行为。

于是,我们进入了蜂群的逻辑。

这个词用得准确,因为它来自生命。

一只蚂蚁的能力有限。然而,蚁群可以产生复杂行为,而无须一只居中的蚂蚁控制每一个动作。

鸟群能够集体改变方向,无须一个首领逐一指定每只鸟的飞行轨迹。

整体行为从局部规则中涌现。

这里令我感兴趣的,不是赋予蜂群某种内在生命,而是观察到:即使没有一个详细规定每次运动的中央指挥,有效协调依然可以存在。仅此一点,就足以颠覆我们对责任的理解。

这正是算法工程试图再现的东西。而它也恰恰动摇了传统的指挥概念。

在传统军队中,等级体系从指挥机关逐级延伸至部队。每一级传达命令,也接收信息。

蜂群引入了另一种架构:部分协调可以在水平方向上涌现。

人类不再必须告诉每一台机器:先到这里,再到那里。

这一转变十分深刻。

人类可以告诉系统:探索这个区域,保持这个队形,监视这条边界,在这些约束下优化这项任务。

命令变得更加抽象。

而命令越抽象,系统设计的政治重要性就越高。谁定义局部规则,谁就定义涌现的行为。

权力可以从行动时刻前移至编程时刻。

程序员间接成为未来集体行为的设计者。

这当然不意味着程序员决定每一个行动。但程序员定义了可能行动的空间。

一个思想贯穿本书:架构组织着可能性。

道路并不决定每辆车驶向何处,但它使某些行程成为可能,使另一些行程变得困难。计算机协议不选择消息内容,却规定了消息如何传输。

同样,蜂群的规则定义着它的行为场域。

正因如此,自主系统的治理必须大幅前移,进入技术链条的更早阶段。

检查不能等到机器已经进入现场才开始。

它必须融入设计。

哪些行动被禁止?哪些区域被排除?

不确定性达到什么程度就必须停机?

通信中断时该怎么办?两个目标发生冲突时该怎么办?

所有这些问题都属于代码的一部分。

伦理由此实实在在地进入了功能架构。

它不能再停留于外部宣言。

这恰好呼应了我在上一章写到的:将缓和局势融入设计。

但对于蜂群而言,这一要求更加迫切,因为逐个监督已经不再可行。

一个人或许可以控制一架无人机。

却无法同时操纵一万个单元。

超过一定规模,人类操作员就必须授权。而这种授权改变了人在回路中这一说法本身的含义。

当人类不再控制每个行动,而只定义总体任务时,人在回路中的位置究竟在哪里?

人类操作员能否理解系统正在做什么,能否修改任务,能否停止某些单元?

操作员能否阻止某个特定行动,又能在多长时间内做到?

缺少这些细节,所谓人类控制便几乎毫无意义。在企业中,如果管理者无法获取数据,也无法介入运营决策,就不能要求其承担责任。

形式上的责任并不够。必须具备切实干预的能力。

法律责任与实际操作能力之间的这一区分,将成为自主系统的核心问题。但我们还需要看得更远。

蜂群具有集中式架构所不具备的一种特性:通过分散获得韧性。如果一个单元被摧毁,其他单元仍可继续运行。如果中央通信失效,某些功能仍可在局部维持。

在网络可能受到干扰或攻击的军事环境中,这是一种非凡的品质。因此,蜂群可以作为一种实体分布式网络运作。这正是互联网逻辑向物质世界的移植。

有韧性的网络不依赖单一路径。数据包会寻找替代路线。在蜂群中,当部分智能体消失时,其余智能体可以调整自身分布。

这种相似性令我震动。我们花了数十年构建分布式数字架构。如今,我们正在使它们获得实体形态。

但与任何分布式网络一样,这种韧性也有另一面:中央控制变得更加困难。

让它能够抵御故障的同一机制,也使停机更加复杂。

悖论就在这里。

我们希望系统能在通信中断时继续运行。

但我们也希望能够让它们停下来。

这两个要求可能相互冲突。

一个系统拥有的局部自主性越强,就越不依赖中央权威。它越不依赖中央权威,中央权威就越难重新掌控它。

这是一个关键的工程问题:

如何设计一种降级的自主性,使系统能够继续存续,却不变得失控?

我们很可能需要定义回退行为。

通信丢失时,有些行动被允许,有些则不被允许。机器可以返回、进入待机模式,或继续执行一项有限任务。

这种逻辑已经存在于许多系统之中。

但随着嵌入式智能不断增强,各种可能性也变得更加复杂。机器能够解读更多情境。

这种灵活性具有战术价值,却扩大了不确定性的空间。

因此,我们又回到一条基本规则:自主性必须与风险及可逆性相称。

执行区域测绘任务的蜂群,可以获得远高于具备致命能力的系统的自主性。

这是一个至关重要的区别。

军事机器人技术绝不应被视为一个单一、不可分的整体。

侦察、后勤、排雷、撤离、电子战、干扰、运输、攻击:它们的风险等级截然不同。

这个问题显然处于核心位置,但它遮蔽了许多同样会改变战争的用途。

例如后勤。

公共讨论常犯一个错误,把所有机器人技术都归结为自主杀人武器的形象。

即使机器从未决定开火,它的战略影响也可能极其巨大。

必须始终区分进攻能力与系统性转变。

后勤创新对冲突结果的改变,可能不亚于一种新武器。军事史不断证明这一点。

军队并不只是破坏系统。

它们也是巨大的流动系统。

在这里,我们再次遇到数据库和网络。

谁知道自己的资源在哪里、处于何种状态、哪条路线可以通行,谁就拥有巨大优势。

AI和机器人技术可以使其中一部分流转自动化。

这会造就一支更加分散、更加迅速,也更加依赖数字系统的军队。

每一种优势都会产生自身的脆弱性。

后勤自动化程度越高,网络攻击或电子攻击就可能越有效。

在这样的环境中,每一层——传感器、后勤、通信、目标定位、导航——都会更加依赖算法。

因此,算法战场不会是一场机器人对抗机器人的壮观战争。它将是这样一种环境:每一层——传感器、后勤、通信、目标定位、导航——都越来越依赖算法。战争成为系统之系统。

可见的机器人,只是一个无形架构露出的机械尖端。

它的背后存在着卫星、网络、模型、数据库、操作员、云服务商和产业链。

摧毁机器人,可能远不如扰乱为它提供支撑的基础设施有效。

真正的目标可能是数据。

这是战场的一场深刻转变。

装备本身显然仍然至关重要。但协调这些装备的能力,可能显得更加重要。

一支拥有高度精密机器、却无法交换数据的军队,可能不如一支装备更简单、却协调得天衣无缝的军队有效。

优势来自网络。

这直接呼应了我通过Groupe Serveur和Artprice所领悟到的:价值从来不只存在于对象之中,也存在于关系之中。

一条孤立数据有它的用途;数百万条数据按照连贯的架构关联起来,就产生了智能。

同样,一架孤立的无人机拥有某些能力;一个协调运作的蜂群,则产生超越每个单独单元的行为。

图谱成为力量。

在我看来,这个思想如此关键,以至于我们几乎可以把算法战场定义为由传感器和智能体构成的动态图谱。

每一个节点都看到现实的一部分。

没有哪一个掌握全部。

系统的品质取决于如何融合这些局部感知。

这是一个认识论问题:

如何从不完整的视角出发,构建整体表征?

社会、人工智能或历史学家面对的,也是同一个问题。

而错误可能来自融合本身。

如果十个传感器观察到同一现象,我们拥有的是十份独立证据,还是来自同一来源的十次测量?

表面的冗余可能制造虚假的信任感。

因此,智能体网络必须保留信息的谱系:

谁在何时、使用何种传感器、以怎样的置信程度,看到了什么?

这种对来源的要求,呼应了艺术市场长久以来的一种执着:信息的价值,也取决于使我们能够确认其位置与来历的链条。

但在这里,利害关系迫在眉睫。

自动融合可能抹平传感器之间的分歧,恰恰掩盖本应保持可见的不确定性。

智能不应总是抹平差异。有时,它必须保留分歧。

如果三架无人机看到了某辆车,而两架没有看到,这种差异可能有其原因:角度、干扰、伪装、故障。

融合数据如果只得出“概率72%”,就可能遮蔽有用的信息。

正因如此,模型应当能够保留疑问的结构。

传感器之间的差异必须保持可见。

我们不断回到这一点:不确定性本身就是一项事实。

不应为了产生更令人舒适的界面而消除它。

这几乎是对我们时代的一种普遍批评。我们想要整洁、即时、确定的答案。

但现实往往是碎片化的。

良好的智能应在这种碎片性具有意义时将其呈现出来。

艺术拒绝把现实压缩为单一表征时,便实现了这种转向。

demeure du chaos如同一个艺术性的多传感器系统运行。数千个符号、事件与肖像,产生有时彼此矛盾的视角。

它不试图将它们融合为一个光滑、单一的叙事。

它保留碰撞。

这恰恰是军事认知架构有时应当做的事:不掩盖多种解释并存这一事实。

蜂群本身可以成为产生这种多元性的方式。

每个智能体都从不同的视角看待事物。

空间多样性成为认知多样性。

但只有当系统懂得利用它时,这种多元性才有用。

否则,群体可能发展出从众行为。

这是一种引人深思的危险。

生物群体之所以强大,是因为它们遵循共同的规则。但这些规则也可能产生错误的集体行为。

如果智能体过度模仿邻近者,群体就可能向一个糟糕的解法收敛。

这就是信息级联问题。

它存在于金融市场、社交网络和人类社会之中。

它也将存在于人工蜂群之中。

如果每架无人机都根据其他无人机来改变自己的决定,局部错误就可能变为集体错误。

网络于是放大了缺陷。

正因如此,智能体的部分独立性十分重要。

又是这两个词:多样性与冗余。

过度一致的架构可能变得脆弱。

有时需要引入算法异议。

有些智能体可以被设计为负责核验而非跟随;有些模型使用其他感知方法;系统的一部分则负责检验占主导地位的假设。

我们又回到了对抗性审查程序。

我提出一个假设:这种人工多元主义可能在自主架构中变得重要。

安全不仅来自更严格的规则,也可能来自能够质疑群体的智能体的建立。

自然本身就经常运用这种多样性。

遗传多样的种群对某些威胁更具抵抗力。思想多样的组织能够发现更多错误。

因此,机器人技术的未来或许反而需要一种人工多元主义。

这是一个具有深刻政治意味的思想。

我们常把机器想象为绝对一致的象征。

但最稳健的系统,可能恰恰是那些有意容纳多种逻辑的系统。

这几乎与那种完全服从的机器所承载的极权幻想相反。

韧性需要一定的分歧能力。

当然,这种分歧必须受到控制。

我们不希望每个智能体都随意为自己发明任务。

但我们可能希望它提出另一种假设。

在这里,我们同样必须区分分析自主性与行动自主性。

这是未来的根本区分之一。

可以赋予系统极大的认知自主性,而不赋予它同等程度的致命行动自主性。

它可以探索一千种情景、识别异常、提出方案,同时在某些行动上仍受到严格限制。

这种脱钩在我看来不可或缺。

我们倾向于把自主性想象成一个从零到一百的单一滑块。

实际上,它是多维的:

感知、解释、导航、协调、规划、交战。

每个维度都可以单独调节。

这套自主性矩阵将使监管更加精细。

仅仅说一个系统是自主的,并不足够。

我们必须知道,它在哪些方面、以何种方式自主。

这种细致程度对国际法将至关重要。

如果各国用同一个词谈论截然不同的现实,自主武器系统谈判便不可能开展。

有效的规范必须针对具体功能。

例如,禁止或严格限制在缺乏实质性人类监督的情况下进行某些类型的目标选择和交战。

但“实质性人类控制”这一表述本身也需要定义。

依据什么标准算作实质性?

有多少可用时间?

是否理解局势?

能否中断?

我们不断遇到同样的问题。

法律将不得不变得近乎技术性的。

法律工作者不能再仅仅运用一般概念;他们必须理解被监管系统的架构。

这在我看来完全自然。

法律从未真正与技术分离。重大的产业转型总会产生新的法律范畴:铁路、摄影、广播、互联网。

AI和机器人技术也将在世界模型中做同样的事。

困难在于速度。

研发周期远比立法周期迅速。一种能力可能在国际条约谈成之前,就已经出现、部署并被修改。

这造成了制度持续滞后的风险。

或许,我们需要发明适应性更强的机制:稳定的原则,以及不断演进的技术协议。

不断变化的恒常。

我在各处都遇到这个概念,因为它精准描述了当代的需要:

坚固的规则核心,以及程序上的适应能力。

在自主系统领域,这一核心可以是人类责任、区分原则、比例原则,以及控制某些关键决策的可能性。

技术细节则会不断演变。

这样可以避免制定一部绑定于某种特定技术、又很快过时的法律。

我们需要监管的是功能和风险,而不是产品名称。

这一区分至关重要。

它同样适用于民用AI。

政治体系必须学会按功能类别思考。

但军事领域又增添了一层复杂性:对手。

任何安全架构都必须能在敌对环境中运行。

民用自动驾驶汽车可以假定,其他车辆通常会遵守某些规则。

军用无人机则必须假定,有人正在主动尝试欺骗它、干扰它或改变它的航向。

这种差异极其巨大。

军事AI始终处于对抗条件下:它接收的某些信号,可能就是为了欺骗它而被故意伪造的。

每个传感器都可能遭到攻击。

每条连接都可能被侵入。

这要求一种怀疑的认识论。

但这种怀疑必须受到控制,否则系统就会陷入偏执。

偏执是一种在一切地方都看出连贯关系的智能。

每一个迹象都变成有意为之。

军事系统恰恰可能落入这种算法陷阱。

如果任何异常信号都被解释为对手的攻击,自动化就会加速升级。

因此,有必要训练模型,使其能够区分对抗性操纵与单纯异常。

这极其困难。

一只鸟可能就只是一只鸟。

一阵干扰噪声可能是故障的迹象。

一次不寻常的行进可能只是后勤运输。

现实天然会产生噪声。

对手就藏在这些噪声之中。

任务在于识别意图,却不凭空捏造意图。

这很可能是世上最困难的认知问题之一。

人类自己也并非总能做到。

AI可以通过比较数百万种情境来提供帮助,但它必须保留这种怀疑能力。

正是在这里,blindspot理论,也就是blindspot,展现出其完整的战略维度。

系统应接受训练,主动为某些信号寻找非敌对性的解释。

这并非出于天真。

而是为了降低出错的风险。

我们几乎可以设想这样一种架构:每次检测到威胁,都会自动触发第二道程序:

还有哪些其他原因可能产生相同的信号?

这个简单机制可能成为一项重大的安全创新。

得益于计算能力,它未必会让系统明显变慢。

这里又出现了这种逆转:计算的速度可以用来带来更多审慎。

真正的优势于是将不再是更快开火,而是在相同时间内理解更多。

这改变了优势这一概念本身。

分析得更好的军队可以避免不必要的行动、减少错误,并保存资源。

智能成为对暴力的节用。

这是一个重要的思想。

我们常把军事技术称为力量倍增器。

如果它改善识别并减少不确定性,也可以成为克制的倍增器。

但这在很大程度上取决于行动理念。

同一种侦察能力,既可用来避开平民目标,也可用来优化一次攻击。

技术不会独自书写自身的道德。其架构、用途与影响,都由设计、部署和治理它的人所作的选择来引导。

这意味着,技术强国的政治品质将变得更加重要。

系统能力越强,控制者的价值观就越会产生实际后果。

正因如此,不能仅以每秒万亿次浮点运算或无人机数量来分析实力竞赛。

我们必须审视行动理念、制度与规则。

拥有同样技术的两个国家,可能形成两种截然不同的用途。

因此,算法战场也将是一场理念的对抗。

有些军队会选择更强的集中化。另一些会分散自主权。有些会青睐数量众多、价格低廉的蜂群。另一些则会偏好更加精密的平台。

这些选择将反映不同的产业、地理条件和军事文化。

很可能并不存在唯一模式。

军事史上充满了被冠以革命性之名、却没有消除旧有战争形态的技术。

坦克没有消除步兵。

飞机没有消除地面。

导弹没有消除火炮。

无人机和机器人很可能不会让人类从战场上消失。

它们将改变各项功能之间的关系。

战争是累积的。

新的层次不断叠加。

这造就了越来越复杂的系统。

而系统越复杂,维护就越具有战略意义。

这是未来主义图景常常忘记的一个维度。

数千架无人机构成的蜂群,意味着电池、电机、备件、软件、频率、更新。

每个单元可能很便宜,但支撑它的生态系统极其庞大。

高科技战争依然是工业战争。

这或许是当代冲突最有力的教训之一: 数量依然重要。

弹药。

零件。

生产能力。

一种只生产十件的卓越技术,可能不如一种生产十万件、且足够好的技术更具决定性。

正因如此,机器人技术会立刻让人想到工业。

新的实力竞赛,也将是以可接受的成本快速、大量生产的能力竞赛。

目前,中国在若干制造能力方面拥有显著优势。美国则拥有十分强大的技术与军事生态系统。

在我看来,欧洲需要重新获得更深厚的工业纵深。

但把这一切化为一个定论式的排名,将是简单化的。

机器人技术仍是一个极其活跃的领域。供应链可以重组。技术可以降低成本。规模较小的参与者也能创造出卓越的战术创新。

乌克兰战争尤为清楚地表明,快速适应能力可以改变力量对比。

商用系统可以被改造、拼装、重新发明。

战争变成了残酷的实验室。

创新周期正在缩短。

一种方案奏效几个月后,对手就发展出干扰手段、防御措施或另一种战术。

我们必须改变。

再说一次:

只有变异者才能存活。

这句话在这里获得了最为字面的含义。

一个无法迅速修改软件、频率、传感器或战术的军事系统,甚至在冲突结束前就会过时。

这意味着,传统采购链条有时长达数年,已经构成问题。

军事机构必须学会纳入快得多的研发周期。

这是一项重大的组织变革。

如何在迅速改变系统的同时,维持安全、认证和控制?

这再次凸显了稳定与变化之间的张力。

一次软件更新可能改善某项能力,也可能引入新的缺陷。周期越快,验证就越困难。

因此,部分测试将需要自动化。

AI将测试AI。

大规模仿真将能够探索数百万种情景。

但仿真永远不够。

现实总会产生模型未曾预料的情境。

因此,必须在现场与实验室之间维持持久联系。

这个学习回路,很可能才是真正具有决定性的武器:

传感器、反馈、修改、重新部署。

谁更快完成这个循环,谁就能调整自己的系统。

我们再次遇到决策时间的概念,但这一次,它应用于技术演进本身。

竞争发生在多个时间尺度上:

战场上的数秒,软件中的数周,工业中的数年。

大战略必须协调这些时间尺度。

这非常困难。

一项战术决策,可能在几天内消耗掉工业需要数月才能补充的装备。

AI可以帮助为这些流动建立模型。

它不会消除物质约束。

库存要么存在,要么不存在。

正因如此,我总会回到物质。

算法战场依然是物理战场。

钢铁、硅、电池化学、稀土、炸药都很重要。

人工智能不取代物质。

它组织物质。

这几乎是对它作用的一个极其简单的定义:提高物理世界的组织程度。

蜂群的强大,不是因为它包含很多机器。

而是因为这些机器被动态地组织起来。

价值来自协调。

这恰恰是我一直在人类系统中观察到的。

三十个人在没有架构的情况下工作,产出可能少于十个协调得十分完善的人。

网络不是加法。

而是乘法。

但协调也会留下特征信号。

智能体之间通信越多,就越可能被发现或干扰。

这是新的张力来源。

高度互联的蜂群可能非常有效,却容易受到电子战攻击。自主性更强的蜂群通信较少,却必须在本地作出更多决策。

因此,必须在通信与自主性之间取得平衡。

这是一个经典的网络问题。

在Groupe Serveur,我们知道,分布式架构必须能够在部分链路丢失的情况下继续运行。

在战争中,这条规则关乎生死。

系统很可能需要在几种模式之间动态切换:网络可用时充分协调,网络退化时实行局部自主。

这种适应能力,是网络自身的一种智能。

系统不仅需要知道环境中发生了什么,也需要知道自身基础设施中发生了什么。

哪些链路可靠?

哪些节点已被侵入?

这是一种技术性的自我诊断。

网络必须监测自身状态,并了解自己的运行极限。

无人机需要知道自己的传感器是否退化。模型需要知道自己的数据是否不足。军队需要知道自己的供应链是否脆弱。

主权始于对自身状态的这种认识。

这几乎是苏格拉底式的:认识你自己,应用于技术系统。

这听起来可能很哲学。

其实十分具体。

一个校准不佳、却不知道自己校准不佳的传感器,会制造虚假的信心。

一个知道自身已退化的系统,可以放慢速度或请求确认。

全部差别就在这里。

这种自我诊断能力将在蜂群中具有根本意义。

各单元可以报告自身状态,并重新分配角色。电量不足的智能体可以离开某个位置;另一个智能体可以接替它。

集体在功能意义上变得具有适应性。

由此,我们正在构建利用生物体某些特性的系统:感知、适应、协作、韧性。

它们没有生命。

但它们使用了源于生命体的原理。

蜂群就是最明显的例子。

这是一种仿生工程。

而它与我对有机系统的兴趣有着深刻联系。

早在1991年,Netnobility就已经建立在把网络视作生命体的这一思想之上。

我们今天看到的,是这一原理的机械具身化。

网络不再只是连接计算机。

它连接能够行动的实体智能体。

这是一场巨大的转变。

它显然也将改变远超军事的领域:农业、物流、工业、救援、探索。

但战争常常最先揭示最极端的后果。

它把技术推向极限。

控制、速度与错误的问题,正是在这里显现。

也正因如此,必须在这些技术全面进入民用生活之前思考这些问题。

仓库中的物流机器人群,与军事蜂群共享某些协调架构。

创新在民用与军用部门之间流动。

军民两用与其他用途之间的界线变得更加模糊。

摄像头、处理器、电机可以有完全民用的用途,也可以成为防御系统的部件。

这极大地增加了技术管制政策的复杂性。

我们不能简单禁止出口任何可能用于军事的部件;几乎所有现代数字技术都具有军民两用性质。

因此,算法战争的整个领域仍受物质约束。钢铁、硅、电池化学、稀土、炸药依然重要。

过度管制会窒息经济。管制不足则会让战略技术流失。

没有任何算法能够彻底解决这一政治选择。它可以帮助梳理链条。决定仍然属于规范性判断。

这总让我回到优化的限度。一项政策绝不只是追求效率最大化。它涉及在不同价值之间作出权衡:自由贸易、国家安全、创新、联盟。

数字可以帮助看清事物。但它们不选择结果。

随着AI系统进入政府,这一区分将越来越重要。我们必须抵制把政治权衡包装成技术解决方案的诱惑。

模型可以估计,在某一情景下,一项限制会降低某种风险,同时增加某种成本。决定这种权衡是否可以接受,是政策制定者的责任。

算法战场不应产生算法政府。这条边界必须始终属于政治。

但压力将十分强烈。随着机器越来越善于分析某些情景,人类可能受到诱惑,逐渐把判断权委托给它们。

这恰恰是制度层面的自动化偏见。并不是机器作出决定。而是我们最终不再质疑它的建议。这种滑移可以极其渐进。

危险并不总是一场AI夺权的惊天革命。

它可能是一次次微小授权的累积。

每一个决定看起来都很合理。

最终,人类在法律上保留了主权,却丧失了实际行使它的能力。

这是一种悄无声息的剥夺。

正因如此,必须保留并行的人类能力。

在军事领域,这意味着训练、在缺少某些辅助的条件下演习,以及理解程序。

在民用生活中,这意味着教育、研究能力、计算能力和写作能力。

认知主权是一种实践,而非一种身份。

如果一项技能不再被练习,它就会萎缩。

这几乎是生物性的。

不再使用的肌肉会消失。

一个文明也可能失去某些认知肌肉。

因此,我更愿意把AI看作认知外骨骼,而不是替代物。

外骨骼增强身体,但在理想情况下,也应让身体保有自主能力。

这个比喻或许比人工大脑的比喻更加准确。

我们正在构建延伸。

但任何延伸都会改变生物体的行为。

拥有GPS的人,不再以同样的方式看待城市。

拥有综合分析AI的士兵,不再以同样的方式看待海量信号。

工具改变使用者。

这就是技术的人类学维度。

算法战场很可能催生一种新型战士:与其说是直接操纵机器的人,不如说是系统监督者、警报解释者、自主网络管理者。

这将改变训练。

我们将需要既理解代码、数据和电子战,又掌握传统战术的军人。

士兵、工程师和分析员正在汇合。职业正在融合。这在我看来完全符合时代趋势。重大的断裂正在消除某些学科边界。

工业战争产生了机械化士兵。算法战争则可能产生系统型士兵。

但不应以为身体会消失。疲劳、恐惧、地形、天气依然存在。这些都很重要。

数字仿真有时给人一种世界洁净无瑕的印象。军事现实却依然泥泞、嘈杂、不可预测。机器人技术必须面对这一现实。

摄像头在雨水、尘土和烟雾中的表现各不相同。电机会磨损。电池在寒冷中会损失容量。环境是另一个对手。

正因如此,现实始终拥有最高权威。

这是我一生从事工业与雕塑所学到的教训。物质会抵抗。钢铁并不总按设计的意图行动。混凝土有它的重量、凝结特性和缺陷。

身体为观念设限。AI进入物理世界时,也会发现同样的事。

机器人技术是人工智能接受的现实检验。

模型可以在虚拟环境中表现出色,却在一段照明不足的楼梯前失败。这是文本认知与具身行动之间的根本差异。

世界无法被完全还原为离散数据。它包含摩擦、偶然和连续性。

现实的这种抵抗,或许能防止全能幻想。它提醒我们,智能从来不能独立于自身的物质载体。即使人工智能也依赖传感器、能源和电机。

我几乎从中听到斯宾诺莎的回声:思考的力量与行动的力量,始终联系着物质的某种组织方式。

正因如此,数十年来关于虚拟的论述之后,AI最终把我们带回物质,这令我着迷。认知革命催生工业革命。数据中心、机器人、自动化工厂。这个世纪并非变得更少物质。它反而更加物质,只是它的物质受到更多信息的支配。

因此,算法战场将成为一个巨大的坩埚,物质、能源和计算在其中汇合。

这幅炼金术意象并非装饰。

炼金炉通过精确控制温度与时间来实现转化。

自主系统则通过精确控制信息与运动来改变战场。

在两种情况下,组织都产生蜕变。但如果操作者失去对过程的控制,任何炼金术都可能失败。这恰恰就是蜂群的风险。

涌现行为可能变得难以预测。智能体越多、彼此互动越丰富,整体动态就越可能产生意料之外的状态。

这是复杂系统中一种广为人知的现象。整体并不只是各部分之和。这正是它们力量与危险的来源。

看似合理的局部规则,可能产生令人意外的集体行为。正因如此,测试必须达到庞大规模:仿真、不利环境、边界测试。

但没有任何仿真可以覆盖一切。因此,必须设计出即使面对意外也能发挥作用的安全屏障。

不变量。无论处于何种情境,系统都绝不能做的某些事情。

法律可以在这里成为代码。

并不是天真地认为,一条复杂的法律规则可以简单化为一行程序,而是说,某些根本限制可以融入架构之中。

禁入区域。排除类别。阈值。

问题在于,现实总包含模糊地带。救护车可能被劫持。民用建筑可能被用于军事目的。没有简单的代码能够解决所有情况。

因此,必须结合严格规则与情境判断。人类的法律体系正是这样运作的。

有些禁令是绝对的。

另一些则需要评估。

自主机器人技术或许需要发展出类似的架构。

也正是在这里,道德问题令人眩晕。

我们能否把一种包含不可化约的人类维度的判断委托给机器?

系统在评估比例、意图和投降时,能够走到多远?

这些范畴往往取决于情境。

一个人举起某个物体:那是武器吗?

一个人跑向哨所:是在攻击,还是寻求庇护?

人类自己也会犯错。

但这不意味着机器可以直接取代人类。

问题涉及我们接受何种错误,以及我们想要维持何种程度的责任。

文明有时必须决定,不应将某些功能优化到极致。

这是一种有意的限制。

在其他领域,我们已经接受了这一点。

并非一切技术上可行的事,在法律上都被允许。

力量也体现为不动用自身全部力量的能力。

这恰恰就是文明:围绕我们的能力建立禁令。

核武器是极端的例子。

威慑恰恰依赖于一种人们力求不去使用的力量。

面对自主系统,我们必须建立其他形式的克制。

也许,某些决定必须仍由人类作出,并不是因为人类在技术上更好,而是因为道德责任必须始终可以辨认。

这个思想在我看来具有根本意义。

机器在某项任务上的优越表现,不足以决定它应当获得权威。

权威是一个政治范畴。

我们可以决定,某项职能必须有人类在场,因为它关涉我们如何定义自身。

这是一个人类学主权问题:

我们是否希望始终只有我们能够作出决定?

这远远超出了军事领域。

司法、医学、教育。

每个社会都必须划定自己的边界。

而这些边界可能因文化而异。

届时,我们将拥有多种自主性架构。

有些社会会接受更多授权。另一些则会为人类保留更大的空间。

这可能成为一种新的文明差异。

因此,竞争将不仅仅是技术性的。

它也将是规范性的。

我们认为什么用途是正当的?

我们愿意接受什么风险?

中国、美国和欧洲可能发展出不同的回答。

而这些差异本身,也将成为施加影响的工具。

一个国家将能够说:我们的系统符合这个标准,可以审计,并保留这种控制。

另一个国家则会优先考虑性能和速度。

因此,全球战略机器人市场可能围绕不同的信任理念来组织。

这是一个值得思考的可能性。

规范成为产品。

一个技术上不那么惊艳、却被认为更易控制的系统,可能受到某些国家的青睐。

这完全契合欧洲关于规范性力量的理念。但同样,它必须得到工业的支撑。

没有机器,规范就仍然只是话语。

我们总会回到整个技术栈的整合,从物质基础设施到模型与数据:法律、模型、处理器、电池、电机。力量是垂直的。而这种垂直性在机器人技术中表现得尤为清晰。

对一个微小部件的依赖,就可能使整个系统瘫痪。一个传感器。一块磁体。一枚芯片。

这使供应链具有极强的战略意义。

因此,算法战场始于矿山和工厂。

当你把无人机看作精密的空中物体时,这听起来几乎荒谬。然而,它的能力依赖于电池、金属和电子器件。机器人的地缘政治,是部件的地缘政治。

我们会遇到稀土、锂、铜。新的认知战争再次与地质相连。这是世界的一种恒常。

技术的抽象,总依赖于从某处开采出来的材料。因此,人工智能拥有自身的矿物地理。

正因如此,丝绸之路、非洲、中亚和拉丁美洲重新回到这个系统之中。

前面的各章不是彼此分离的块体。它们在这里汇合。中国、半导体、数据、能源、AI、机器人技术:一切交汇。这恰恰就是地缘政治图谱的结构。没有什么是孤立的。

关于一种矿物的决定,可能影响电池工厂,进而影响无人机,再进而影响军事学说。

因果链条变得漫长。

AI可以帮助我们穿行于这些链条之中。

但它也可能给我们一种已经掌控一切的错觉。

这是我希望始终保持可见的一种风险。

我们的建模能力越强,就越可能相信整个系统正在变得可以预测。

然而,复杂系统会产生突变。

一个小事件,就可能改变轨迹。

这恰恰是科学意义上混沌的逻辑。

初始条件至关重要。

一个微小错误可能被放大。

蜂群恰恰是这样一种动态系统:微小变化就可能改变集体行为。

正因如此,混沌理论在这里并不只是比喻。

它几乎正在成为一门工程学科。

我们需要研究稳定性、吸引子与分岔。

在什么条件下,行为仍然受控?

它在什么时候发生突变?

我们直接回到了demeure du chaos的概念核心。

混沌从来不是没有规则。

它是敏感性、互动和复杂性。

系统在局部可以极为确定,在整体上却难以预测。

这恰恰是理解蜂群所必须把握的。

每个智能体都可以遵循简单规则。

然而,集体行为仍可能变得难以预料。

这几乎是一种算法总体:数千个相互连接的要素,产生出任何孤立要素都不具有的形态。

但在战争中,这种涌现必须受到责任的约束。

艺术家可以接受意外。

总参谋部却不能接受任何一种意外。

因此,我们需要设计有边界的自由空间。

这是一个十分有趣的概念:

安全环境中的自主。

只要留在一定限度之内,系统就可以自行适应。

最成熟的架构很可能将以这种方式运行。

它们既不追求绝对的中央控制,也不追求完全自主。

它们将划定范围。

智能体可以临机调整轨迹,却不能改变目的地。

它可以重新分配任务,却不能改变某些交战规则。

手段与目的之间的这种区分具有根本意义。

但即使这一表述也有其限度。

手段的选择有时也可能带有道德维度。一条轨迹、一种武器、一天中的某个时刻,都可能改变平民面临的风险。

因此,必须明确手段的哪些特征仍须服从人类判断。

再一次,没有简单的解决办法。

细分成为一种方法。

这很可能是本书这一部分最一贯的线索之一:

拒绝口号,因为技术世界的细节太多,口号无法承载。

“支持还是反对自主武器”,这个问题并不充分。

什么程度的自主?

用于什么职能?

处于什么控制之下?

具有何种可逆性?

正是这种精确性,才能构建严肃的政策。

而这种政策必须是国际性的,因为竞赛的动态使单个国家的决定不足以应对。

如果一个国家实行全面克制,而对手却大规模推动自动化,它可能感到自身脆弱。

这会助长螺旋式升级。

因此,至少对于某些关键功能,需要共同的规范。

也许不必立即达成一部宏大的普遍条约,而是先形成若干共识领域。

不委托某些核决策。

在某些阈值上保留人类沟通渠道。

禁止某些形式的完全自主目标锁定。

制定系统失控时的处理协议。

这些协议可能成为最早一批军备控制公约的对应物。

它们看起来或许很有限。

但它们可以稳定系统。

有时,拯救世界的是细节。

一条热线、一套识别程序、一项行为准则,在大国力量面前或许显得微不足道。

但文明依赖着这些无形的基础设施。

国际法是一套由细小协议构成的架构,用以阻止某些事件连锁发生。

面对蜂群与自主系统,我们将需要新的一层协议。

而且很可能是机器之间的协议。

这是一个引人入胜的问题:相互对抗的系统,能否具备标准化的机制来表明某些意图?

例如:身份、状态、故障。

这几乎就像民航及其应答机。

当然,在战争中,敌人可以撒谎。

但某些协议在接触区域,或在避免意外碰撞方面,仍然可能有用。

我们可能需要建立一个法律框架,规范自主系统之间的互动。

这是一个令人眩晕的想法。

国际法原本是为人类主体和国家而设计的。

它可能不得不在不赋予自主系统法律人格的情况下,规定它们的行为。

这不过是对其操作者义务的延伸:

你的系统必须能在某些情况下被识别,遵守某种信号,并在停火时进入某种模式。

这表明,软件架构将成为外交事务。计算机协议可以像安全协定一样进行谈判。工程师与外交官必须共同工作。

又是这种学科融合。

这很可能是21世纪的一个核心特征。沿袭而来的职业边界正在变得不足以应对现实。

法律工作者必须理解代码。工程师必须理解法律。军人必须理解AI。哲学家必须理解界面。

这恰恰就是我一贯倡导的万花筒式思维。真实问题总是横跨学科。

demeure du chaos正是它的物质化:艺术、地缘政治、计算机科学、物质、法律。它几乎是这种彻底跨学科性的实验室。

曾经被形容为异质混杂的东西,如今正在成为世界的一种结构。在我看来,AI证实了某些思想壁垒是何等人为。

仅凭计算机科学,你无法理解军事蜂群。你需要生物学、数学、心理学、法律和地缘政治。

恰恰是这种汇聚令我着迷。而它又引出了另一个更深的问题。

如果机器能够彼此合作、学习某些战术,并在局部修改自身行为,那么,集体智能中还有多少部分是由人类明确设计的?

我们可能走向这样的系统:有效行为通过训练被发现,而不是被直接编写。

设计者设定目标与约束,然后系统学习一种策略。

这在虚拟环境中已经存在。

一旦移植到物理世界,它就会提出强烈得多的可解释性问题。

系统可能找到一个从未有人设想过的解法。

这恰恰就是学习的益处。

但如果这个解法在战略上有效,在道德上却不可取,又该怎么办?

因此,约束必须事先被正确界定。

我们再次遇到了对齐问题,但这一次,它被应用于具体的军事情境。

对齐不再只是一个关乎人类价值观的宏大抽象问题。

它变成了:

如何确保系统不会试图通过被禁止的手段来优化任务?

这个问题极其困难,因为简化的目标可能产生意想不到的行为。

赋予系统最大限度覆盖某一区域的任务,可能使它承担我们不希望它承担的风险。

优化速度可能牺牲隐蔽性。

每个目标都包含外部性。

人类一直都在组织中深知这一点。

一项指标一旦成为目标,有时便不再是一项好指标。

AI可以使这一规律工业化。

如果你错误地衡量了自己想要的东西,机器就会完美地优化错误的事物。

这很可能是最重要的blindspot之一。

目标的质量,比模型的能力更为重要。

一个极其强大、却被赋予定义不清的目标的系统,可以更快地造成灾难。

正因如此,行动理念必须先于优化。

你需要知道自己真正想要什么。

这句话看起来平淡无奇。

然而,要做到却极其困难。

人类组织经常使用近似的目标,因为人们会凭直觉作出补偿。

人类明白,“速度最大化”并不意味着开车穿过一家医院。

如果这种情境理解没有被纳入机器,它未必拥有这种能力。

这正是真实世界比仿真困难得多的地方。

价值观是隐含的。

我们的大量行为,依赖着从未被我们明确说出的约定。

构建自主机器人,要求把这些约定明确化。

这几乎是一场巨大的哲学实验。

我们需要把一部分默会的道德转化为可运行的架构。

而我们很可能会发现,在这种道德上,我们并非总能达成一致。

AI没有创造这些分歧。

它揭示了这些分歧。

这又是它的一种镜面功能。

它迫使我们澄清那些原以为不言自明的东西。

战争法本身就包含需要解释的概念:区分、比例、必要性。

有经验的人会在具体情境中运用它们。

要把它们转译给自主系统,就必须提出艰难的问题。

比例原则能否形式化?

能到何种程度?

需要哪些信息?

模型可以提供帮助。

但在最严重的情境中,最终判断可能在很长时间内仍由人类作出。

而这并不是技术上的弱点。

这是一个可能的文明选择。我们可以决定,某些决定必须仍由人类作出,恰恰因为它们不能被还原为一个优化函数。

这就是我所说的人类学主权。

问题不再仅仅是一个国家相对于另一个强权的主权。而是人类相对于自身造物的主权。

我们希望保留哪一片决策领域,作为承担责任的标志?

军事问题使这一议题格外尖锐,因为它关乎生死。但同样的辩论也将在别处出现。

司法。医学。信贷。教育。

每个领域都必须定义自己的边界。这很可能是本世纪重大的哲学辩论之一。

而它将比关于这些系统本体论性质的猜想具体得多。

在决定它们是什么之前,我们必须决定允许它们做什么。

这就是现实。哲学必须进入过程。这恰恰就是我的思考方式:任何思想,若不能具身实现,就没有价值。

下一步,是改变场域,而不改变问题。

这里在军事约束下出现的授权、可追溯性、控制与主权问题,当人工智能进入公共行政和决策时,又会重新出现。

问题不再仅仅是:

谁控制一台能够行动的机器?

它变成了:

谁控制一个进行分类、提出建议、授予权利、识别风险或引导国家行动的系统?

算法战场之后,便是算法国家。

如何提高效率,同时不让信息权力化为监控,也不消解民主责任?

人类思想与对话:thierry | 写作:100% AI

阅读进度:第 91 页,共 102 页