奥秘 86 / ~27 分钟阅读 / 中文 PDF 页码 830–851

认知战争、自主性与决策时间

人工智能哲学视野下的算法生存境况


信息的增长,并没有伴随着用于解释信息的时间相应增长。这种压缩,正是战略问题的源头。几乎整部现代军事史,都可以透过这种张力重新解读。电报加快了指挥。无线电进一步缩短了观察与命令之间的时间。雷达在空中威胁面前,多争取了几分钟。卫星扩大了观察范围。随后,数字网络几乎消除了某些距离。如今,人工智能带来了另一种转变:

它不再只是加速信号传输。

它加速解释。在我看来,真正的变化从这里开始。当一台机器能够在人类操作员审阅全部数据之前,就完成探测、分类、比较、排序,并提出行动建议,战略问题就转移到了决策时间本身。

让某样东西被看见。

阻止其他东西被看见。

用相互矛盾的信息使系统饱和。

认知战争也作用于时间。

制造虚假的紧迫感。

拖延一项决定。

加快另一项决定。

因此,认知战争与其说是直接攻击身体,不如说是攻击对手用来行动的世界模型。这是一种尤为深刻的战争形式,因为一切军事行动,都始于一种表征。

开火之前,必须识别目标。

动员之前,必须先解读某种意图。

反击之前,你必须已经认定,袭击是真实的。

如果表征是虚假的,全部可用力量就都可能被用来对付一个幻象。这一思想由来已久。战略家始终在运用欺骗、伪装与佯动。今天的不同,在于规模。人工智能能够以任何人类团队都无法持续维持的速度,产生、探测并分析信号。

这使欺骗成为一个产业。成千上万个虚假账号、数百万条内容、合成图像、克隆声音,以及足以乱真的文件,几乎可以瞬间制造出来。但若将认知战争局限于深度伪造,就未免过于简单。真正的问题宽广得多:

一个系统如何知道,自己应当相信什么?这个问题既适用于人工智能,也适用于一个社会。区别在于,人工智能能够处理极其庞大的信息量,因此也能够吸收极其庞大的操纵。它同时成为探测工具与新的攻击面。

人们可以设法欺骗一名人类操作员。如今,也可以设法欺骗辅助这名操作员的模型。冲突的新深度就在这里出现。对手不再只是试图隐藏一辆车。他们可能试图制造一种特征,让算法把这辆车归入错误的类别。

对手也不再只是试图干扰雷达。他们可以试图破坏向人工智能供给信息的数据链。在我看来,这场针对算法感知的战争至关重要。我们正在进入这样一个世界:系统必须学会问自己的,不再只是:

我看见了什么?

还要问:

是不是有人试图让我看见这个?

blindspot——blindspot——在这里延伸到了战略领域。每一种智能都有感知的局限。但当对手知道这些局限,就可以设法利用它们。于是,偏差不再仅仅是缺陷。它成为一种战略脆弱性。因此,算法偏差也必须从安全角度来审视。

一个过分强调某些信号、错误归类某些情境,或过早作出概括的模型,可能被了解其逻辑的主体操纵。这产生了一种近乎生物性的动态:对抗性竞争。在生命世界中,捕食者与猎物共同演化。一方发展伪装,另一方改进感知。一方提速,另一方便变得更快。军事人工智能系统很可能进入这种持续的共同演化。每一次探测能力的改进,都会引出伪装能力的改进。每一个新的识别系统,都会催生欺骗它的方法。

竞赛永不停息。这恰恰是变异者的逻辑。只有变异者能够生存,因为环境本身也在学习。在一个不断适应的冲突中,凝固不变的技术很快就会过时。

当这种动态触及决策循环时,尤其令人忧虑。军事学说常常提到观察—判断—决策—行动的循环。谁更快完成这一循环,谁就能把自己的节奏强加给对手。人工智能加速了其中每一个阶段。它可以观察更多传感器,通过比较更多情景来判断局势,辅助决策,有时还会触发自动化行动。

于是,诱惑变得极大:

逐步消除人带来的延迟,以争取几秒钟。而危险恰恰从这里开始。节省一秒,可能构成战术优势。

但消除太多秒数,也可能消除识别错误所必需的时间。因此,速度既是武器,也是风险。这是军事人工智能时代的根本悖论之一。长期以来,战略优势属于能够最快作出决定的一方。

现在,这种优势也可能属于知道何时应当放慢的一方。在我看来,这一观念至关重要。智能并不总意味着加速。有时,它在于有意识地引入延迟。

一个关键系统必须能够发出提示:这个信号足够模糊,需要第二次核验。从纯粹竞争的角度看,这种放慢可能显得低效。但它可以阻止一次不可逆的升级。在这里,降温工程成为一种真正的技术架构。

我们太常把缓和局势想象成一个与技术分离的外交问题。如今,这已经不可能。系统本身必须包含制动机制,就像工业机器设有紧急停机装置一样。

没有人把停止按钮看作机器的弱点。恰恰相反,它是机器安全的条件。我们应当以同样的方式思考人工智能增强的军事系统。

停止按钮是什么?

谁能够重新接管?

在什么情境下,系统应当拒绝自动行动?

哪些信号需要两个独立来源的确认?

不确定性达到什么程度,就必须有人类介入?

这些是架构问题,不只是伦理问题。一套没有转化为代码、程序、界面与指挥链的安全原则,仍然只是一种意向。这与我在工业世界学到的一切完全契合。

安全不是宣告出来的,而是设计出来的。设计危险装置时,必须从可能出现的缺陷出发。

这个传感器失效,会怎样?

这份数据不正确,会怎样?

这名操作员误读警报,会怎样?

两个系统给出相互矛盾的答案,会怎样?

军事人工智能必须接受同样严格的标准。不能仅仅因为一个模型取得了优秀的平均表现,就认为它可靠。在战略系统中,平均值是不够的。极端错误的性质也很重要。一个模型可以在99.9%的情况下正确,而在余下的千分之一中造成灾难——如果那千分之一触发了不可逆的回应。

这恰恰是商业优化与关键安全之间的区别。一条有缺陷的广告推荐,代价不大。防御链条中的一次错误分类,却可能导致死亡,甚至战争。因此,我们需要改变衡量指标的文化。

工程师需要学会衡量的不只是准确率,还有假阳性与假阴性的严重程度、不确定性,以及遭受攻击时的稳健性。在成为性能科学之前,它首先是一门错误科学。我觉得这个说法很贴切。安全首先在于理解系统可能怎样犯错。

人也一样。一名经验丰富的决策者,其巨大优势不在于从不犯错,而在于能够识别自身错误的某些形式。blindspot就在这里。

如果人工智能要真正具有战略意义,就必须能够绘出自身不确定区域的地图。与那种永不出错的计算机幻想相比,这将是一场重大转变。一种真正有用的人工智能,不应只是提供答案;它应当绘制一幅信任的地形图。

这是我认为可能性很高的。

这是可能性较低的。

这是缺失的数据。

这是彼此竞争的假说。

这是某些因素:如果它们为真,就会使我的情景判断失效。

最后这一种能力,在我看来至关重要:

知道什么可能推翻自己的解读。一台能够组织反对意见的机器,会远比一台只会积累佐证的机器有价值。而这与一个十分具体的军事问题有关。在危机情境中,一个组织会自然地寻找那些与自己所恐惧的威胁一致的信号。

这是人类一种众所周知的偏见。人工智能既可以纠正这种偏见,也可以放大它。如果它被训练成只寻找参谋部要求它寻找的东西,就可能产生极其强大的确认能力。

于是,每一个新信号,都被按照占主导地位的情景来解释。系统变得封闭。

这几乎是一种算法式偏执。一切都成为证据。这是一种重大危险。健全的架构应当迫使系统提出一套反面的论据。

如果主要情景是一次袭击,哪些数据支持演习、失误或佯动的情景?

如果敌对行动的概率上升,哪些因素又会降低它?

这种反向分析可以自动化。我们几乎可以设想两个相互对抗的模型:一个负责构建主要假说,另一个负责设法反驳它。一种算法式的对质程序。这与我对法律的理解完全契合。对抗性辩论不是真相的障碍。

它是一种减少错误的方法。一项重要决定,必须经得住相反论据的冲击。将这种哲学应用于军事人工智能,在我看来尤其富有成效。这样可以防止单一模型变成绝对的认知权威。

这种模型多元性,在关键系统中也很重要。依赖单一智能架构,会造成单点故障。两个以不同方式训练的系统,可能看见不同的东西。它们的分歧本身就成为信息。

这是一个极其重要的原则。人们常把分歧看作有待解决的问题。它也可以成为传感器。如果多个真正独立的模型得出一致结论,可信程度就会上升。

它们也可能出现剧烈分歧,此时系统就应当放慢。分歧成为不确定性的信号。我们恰好回到了医学诊断或科学诊断的逻辑。一次孤立的测量可能出错。

多次独立测量能够降低风险。但独立性至关重要。三个使用相同数据训练、按同样逻辑构建的模型,可能复制同一种偏差。因此,冗余不只是重复。

它需要多样性。在这里,生物学的一课再次出现。单一栽培是脆弱的。一种适应了其中某个个体的寄生物,可以摧毁整个系统。

多样性孕育韧性。同一原则可能成为军事认知系统的核心:传感器、模型、作战学说与人类团队的多样性。最同质化的系统可能最快。它也可能最容易遭受共同错误的打击。

速度与多样性之间的这种张力,很可能成为主要的设计抉择之一。政治体制本身也可能受到不同影响。一个集中化的体系,可以迅速在全部力量中部署统一架构。这会产生非凡的协调能力。但如果这一架构存在深层漏洞,漏洞就会蔓延到所有地方。

一个更加分布式的体系,更难协调,却能够更好地承受局部失效。这恰恰是网络的逻辑。因此,未来的军事指挥必须在集中化与局部自主之间取得平衡。人工智能可能使远端单位即使在通信能力下降时,也能够继续行动。

这在战术上非常强大。一架无人机、一辆车或一支机器人单位,可以不与指挥部持续通信,而继续执行某些任务。但这种自主性,也增加了控制的困难。应当允许机器在未经确认的情况下,行动到什么程度?

自主武器的争论就在这里凸显出来。我们首先必须精确。“自主”一词涵盖了极为不同的现实。一个系统可以自行导航、选择路线、避开障碍、识别物体。

它也可能被授权选择目标并发起致命行动。这些层级绝不能混淆。导航的自主,不等于致命决策的自主。识别的自主,不等于交战的自主。

在这里,词汇的细致区分是一种道德与战略上的必要。不说明究竟是哪项功能自主,就谈论“自主武器”,会破坏分析。当人的责任链变得过于遥远时,关键问题就出现了。一名军官可以界定任务、区域与标准,然后让系统在没有通信的情况下运行数小时。

那么,发生错误时谁来负责?

设计算法的人?

提供参数的人?

授权部署的人?

责任变得分散。然而,责任过度分散,最终可能导致没有人明确负责。这造成重大法律风险。系统不能成为问责的黑洞。因此,必须保持决策的精确可追溯性。

使用了哪些参数?

模型的哪个版本?

当时有哪些可用数据?

置信程度是多少?

哪一个人批准了什么?

这些记录必须像飞机黑匣子一样保存。航空业的类比,在我看来十分有力。航空业通过分析每一起事故、每一起险情、每一条因果链,建立起了安全文化。它认识到,错误很少只是单一失误的产物。它往往来自一连串恰好衔接起来的小异常。

军事人工智能需要发展同样的文化。它不应只是寻找一个可以责备的人,而应理解使错误成为可能的架构。这种做法在政治上困难得多,因为组织往往更愿意把过错归结到个人。

但成熟的安全文化,寻找的是系统性原因。这恰恰应当是人工智能能够做到的:不仅辨认发生了什么,还能重构决策链条。这种回溯因果的能力将变得不可或缺。我们已经进入这样一个时代:许多复杂系统,都有一部分是单个人无法理解的。

一个人工智能增强的军事网络,可以把卫星、无人机、地面传感器、网络情报与人类提供的数据结合起来。一项决定,可能来自几十个系统的相互作用。那么,谁真正理解全局?也许没有人。

系统性风险就在这里上升。我们可以建造出任何人都无法完整表征的架构。这在金融与互联网领域已经存在。但战争又增添了不可逆性。

市场可以关闭。

交易有时可以取消。

打击一旦命中,就无法收回。

因此,不可逆性必须成为人类控制中的一个核心变量。在我看来,一项行动越不可逆、越危险,授予自主权的门槛就应越严格。允许人工智能调整建筑温度,与允许它识别目标,不是一回事。自主性应当联系可逆性来构想。

这一表述在我看来十分根本。法律可以从中获得启发。一项决定越可能损害生命、自由或战略平衡,它所要求的控制、可追溯与质疑的层级,就应当越高。这并不是排除人工智能。

这是界定它的角色。但军事问题恰恰在于,对手可能并不接受这种谨慎。如果一方建造了超高速系统,并接受更大的自主性,另一方就可能害怕落后。于是,谨慎被看作一种劣势。

这是军备竞赛的经典机制。每个国家采用一项技术,不是因为认为它理想,而是因为害怕对方会采用它。因此,国际治理变得必要。如果缺乏最低限度的共同规则,竞争逻辑就会把人推向最高速度。

但认知速度的竞赛,可能比武器数量的竞赛更加危险。如果每个大国都认为,自己必须在完全核实局势之前作出回应,整体体系就会极不稳定。与高频交易的类比颇有启发:在那里,算法早已在对算法作出反应。我们已经见识过,自动化相互作用如何产生极其迅速、难以理解的波动。

把这种逻辑应用于军事对抗,将令人眩晕。两个系统可能相互解读对方的行动,并加速局势升级,而没有任何人类决策者有意识地想要跨越某些门槛。这是一种地缘政治闪崩。在我看来,这一意象很重要。

金融闪崩可以在几分钟内得到纠正。核闪崩却不存在。无法回到此前的状态。因此,某些武器类别必须始终受到特别严格的时间约束与人类控制。

因此,决策时间的缩短,或许是战略人工智能的核心风险。我们常把超级智能当作一个抽象的未来来谈论。但眼前的危险,可能简单得多:

一种足够快速、足以推动人类过快行动的智能。

对对手速度的感知,会影响行为。如果我相信对方能够在几秒钟内完成探测与打击,我就可能倾向于把更多事情委托给自己的系统。于是,我们进入一个循环:每一次自动化,都为对手的自动化提供理由。这恰恰是经典的安全困境。

一方的防御,成为另一方的威胁。一个更快的决策系统,可以被宣称用于防御,但对手可能把它看作先发打击能力。模糊性随之增加。因此,我们必须思考的不只是技术做了什么,还包括另一方如何理解它。

战略稳定在很大程度上依赖感知。一种为防御而设计的能力,如果改变了威慑平衡,就可能成为不稳定因素。在这里,透明度与公开宣示的原则变得重要。各国很可能需要解释,自己对自身系统施加了哪些限制。

不是为了泄露作战秘密,而是为了建立最低限度的信任。例如,声明某一类决定将始终处于人的控制之下。然而,这种声明必须可信。

可信度需要程序,也许还需要核查机制。我们又回到了军备控制这个老问题,只不过这一次,适用对象是软件。我们如何验证一个人工智能系统不具备某些能力?这比清点导弹难得多。

导弹是可见的。软件则可以迅速修改。因此,算法武器的控制,很可能成为本世纪最复杂的外交问题之一。我们不能只去检查一间仓库。

可能需要认证架构、检查日志,并管控某些用途。而这显然会引出主权与保密问题。我们正面对一个几乎未经探索的领域。但这并不意味着无法制定规范。

各国可以先制定使用规则,而不是全面禁止某些技术。它们可以约定,某些决定仍由人作出。它们可以就涉及自主系统的事件,保持沟通渠道。它们可以在某些异常发生之后交换信息,以避免误读。

局势的缓和,往往始于微小的程序。那些等待一份宏大而完美条约的人,恰恰在这里犯错。信任的架构可以一层一层建立。

一项通报协议。

一条热线。

一个联合调查机制。

一套共同术语。

这一切看起来都像官僚事务,直到某一天,它阻止了一场战争。有时,细节拯救世界。我喜欢这个想法,因为它与我对无形基础设施的执念相连。宏大的历史叙事赞颂领袖与战役。但稳定往往依赖公务员、工程师、程序与图表,而它们永远不会进入镜头。

表面的混乱,有时建立在极其严谨的秩序之上。Nicolas Detry对demeure du chaos所揭示的,恰恰就是这一点:失序的外观,不意味着没有结构。地缘政治有时也如此运作。世界显得混乱,是因为我们注视着可见的事件。

在这些表层之下,是成千上万项协议、公约与程序,使相互作用成为可能。当这些结构消失,真正的混沌就会到来。因此,摧毁外交渠道总是危险的。即便敌人之间,也必须保留最低限度的框架。

随着人工智能的发展,这一需要更加强烈,因为时间正在缩短。一件过去需要数小时分析的事,如今可能只需几分钟。因此,沟通必须变得更快、更直接。我们可以设想,未来某些热线本身,也会由人工智能辅助,进行翻译、比较信号,并识别误解。

但必须极其谨慎。机器不能成为扭曲信息的新过滤器。在这里,人也同样必须能够追溯到源头。语言的可追溯性将十分重要。

机器翻译可能微妙地改变意图。在危机中,一个词也至关重要。这说明,认知战争的起点远离战场。它始于用户界面。

总统看到什么警报?

系统使用什么措辞?

闪烁的红色,还是谨慎的黄色?

显示为80%的概率,与“可能发生袭击”这样的表述,产生的心理效果并不相同。

因此,界面设计获得了战略维度。这是一个庞大的主题,却常常被低估。界面并不中立。它组织注意力。一名被几十个红色警报包围的操作员,可能不再能够分辨什么才是紧急事项。

一个过度掩盖不确定性的系统,会制造确定性的幻觉。因此,数据的呈现方式,可能挽救一项决定,也可能毁掉它。这又把我们带回关键系统的人机工效学。飞行员、空中交通管制员、发电厂操作员,早已熟悉这一问题。人工智能增强的战争,必须向这些领域学习。

如何避免认知过载?

如何在不隐藏信息的情况下确定优先顺序?

如何呈现不确定性?

如何防止操作员机械地服从建议?

这些问题几乎既是艺术性的,也是技术性的,因为它们关系到感知。形式组织意义。在这里,我再次看到了自己作为视觉艺术家的工作。图像不只是传递信息。

它组织目光。位置、尺度与对比,会改变感知。军事界面所做的,恰恰也是如此。它是对现实的舞台呈现。

而每一种呈现,都承担着责任。这是人工智能一个尤其有意思的维度:它把我们人为分开的学科重新聚合起来。计算机科学、心理学、设计、法律与战略,成为同一个架构。认知战争迫使我们思考循环中的人:他不只是最后签字的人,而是一个有自身局限的有机体。

压力。

疲劳。

恐惧。

偏见。

一个在平静环境中完美运行的程序,可能在危机中失效。因此,训练必须包含人工智能犯错的情境。如果操作员在训练中从未见过机器失误,就可能过度信任它。他们必须学会在情势要求时,不服从算法。这是一项新的技能。

我们曾教士兵如何使用武器。我们还必须教他们如何质疑人工智能。人的自主权,依赖于向系统说不的能力。但要能够说不,就必须足够了解它如何运作。这意味着机构内部需要更高的技术专业水平。

人工智能不能是一个交给少数专家的黑匣子,而决策者只负责使用其结论。指挥层必须具备算法素养。它不必亲自为模型编程。但它必须理解,概率、数据偏差、幻觉或对抗攻击意味着什么。

否则,指挥者就无法真正行使权力。因此,认知主权需要对决策者进行教育。这适用于军人、部长、法官与企业领导者。我们正进入这样一个时期:对算法的无知,可能成为掌权者的一种脆弱性。

一个不理解自身决策所依赖技术的领导者,就像一个读不懂自己地图的统治者。他会依赖那些替他解释地图的人。这恰恰是权力的历史:

控制信息的人,往往也控制着一部分决定。

人工智能放大了这一现象。工程师、数据科学家与模型提供者,正在成为潜在的战略参与者。这提出了一个新的军民关系问题:武装力量的认知能力,会在多大程度上依赖私营企业?

一个私营平台,可能成为国防不可或缺的部分。这在资本与主权之间,创造出一种极为特殊的关系。

各国一直与国防承包商合作。但通用人工智能可以同时用于民用与军事领域。

边界正变得更加通透。那些自认为由技术驱动的企业,可能发现自己正处在重大战略问题的核心。它们随后必须界定自己的伦理准则,而各国则会寻求确保获取这些技术。张力不可避免。

云、卫星、人工智能,往往属于私营主体。公共权力不再必然掌控自己使用的全部关键基础设施。这是二十一世纪的又一个特征。国家在法律上仍然拥有主权,但其一部分行动能力建立在私营基础设施之上。认知战争使这种依赖更加显眼。一场冲突针对的,可能不只是军事基地,还有商业数据中心、通信网络与卫星星座。民用与军事领域之间的界线,极其难以划定。这既提出了国际法问题,也提出了韧性问题。

如果一家私营供应商停止服务,一个国家是否应当能够继续运转?又一次:冗余。在我看来,主权也是一种艺术,让自己不至于只有一个开关,而那个开关可以被别人拨动。人工智能正在创造新的开关。

对模型的访问。

对云的访问。

对处理器的访问。

对更新的获取。

每一种依赖,都是潜在的施力点。这解释了为什么中国、美国与欧洲各自寻求保障自身的层次。但这种分裂本身,又制造了另一种风险:如果敌对系统彼此完全不透明,误读就会增加。因此,我们面对一个异乎寻常的矛盾。

主权推动分离。稳定要求最低限度的相互理解。这些分离结构之间,必须保留桥梁。或许,国际机构正需要在这里演进。

它们原本是为实体武器、边界与国家而建立的。它们必须学会谈论模型、数据与自主系统。这套词汇还太新。但时间已经所剩不多。

因为技术比制度前进得更快。几乎总是如此。法律在发明之后到来。军事学说也是如此。

然而,今天作出的某些决定,将形成日后难以修改的架构。一旦一支军队把自主系统深度整合进指挥链,回头就会代价高昂。国防中也存在锁定效应。因此,最初的选择如此重要。

它们通过积累成为规范。基础设施留存下来。最初的协议看起来只是技术性的。十年之后,它已经成为学说。

因此,安全与人的控制必须在设计阶段就被纳入,而不能作为日后的补丁。这恰恰是安全内建的原则。我们也应当谈论把降温机制内建于设计:设计系统,以防止模糊性自动触发升级。

例如:在某些行动前要求独立确认,根据严重程度引入不同的时间间隔,保留人的介入空间,记录建议的理由,允许撤回。这些不是创新的障碍。它们是负责任地使用创新的条件。我坚信,下一个重大的军事创新,可能不只是一种更快的武器。

它可能是一个能够在需要时快、在需要时慢的系统。一种能够改变自身时间节奏的智能。听起来近乎哲学。但它是一个工程问题。

人工智能可以在微秒内完成计算。它并没有义务立即行动。行动可以以某些阈值为条件。计算速度必须与决策速度分离。

外部记忆在这里成为认知架构。我们常犯的错误,是认为一个能够快速计算的系统,就必须快速行动。我不这么认为。它恰恰可以利用速度,在行动之前审视更多假说。

算力可以转化为审慎。这是一个关键观念。一个更强大的系统,可以在提供更多视角的同时,使人的决策放慢。如果人类过去用两分钟分析三种情景,人工智能可以让他们在同样两分钟里审视五十种。

因此,认知加速可以带来战略减速。这种逆转在我看来尤其有意思。它表明,技术没有预定的命运。一切取决于我们围绕它构建怎样的政治架构。

人工智能可以是催促的机器,也可以是延缓的机器。

确认的机器,或反驳的机器。

锁定目标的机器,或阻止对可疑目标实施打击的机器。

技术不会自动规定自身用途。我们设计它。因此,伦理不应在工程师完成工作后才到来。它必须成为技术规格的一部分。法律工作者、哲学家、军人、心理学家、界面专家,必须从一开始就与工程师共同工作。

这与我深刻的跨学科取向相呼应。重大问题不遵循行政边界。demeure du chaos本身,从未把艺术、技术、法律、历史或物质彼此分离。如今,人工智能证明,这些分离往往是人为的。

认知战争是数据的战争。

也是叙事的战争。

感知的战争。

心理的战争。

它渗透社会的肌体。

一个国家在军事上可能完好无损,却在认知上陷入失序。一个被冲突叙事淹没的人群,可能失去对一切来源的信任。这或许是最有效的攻击形式之一:

不是让人相信一个特定的谎言,而是让人相信,什么都无法确知。

这种侵蚀信任的战略十分可怕。如果每张图像都可能是假的,每个声音都可能被克隆,每份文件都可能是合成的,人们的反应可能是不再相信任何人。这是一场认识危机。生成式人工智能大大增加了这种风险。

但它也可以提供核验工具。因此,我们正进入一场生成与鉴真之间的竞赛。生产变得容易。证明来源变得珍贵。

可以设想,数字来源证明、密码学签名与真实性链条,将获得极大的重要性。这立即使我想到艺术市场。艺术史始终执着于来源:谁曾拥有这件作品?它在哪里展出过?有哪些文献伴随着它?在一个合成的世界里,每一条信息可能都必须拥有自己的来源履历。

哪一台相机产生了这张图像?

什么时候?

它被修改过吗?

谁为它签名?

核验将成为一种基础设施。Artprice在历史数据、签名、图录与来源方面的经验,突然显得极其切题。我们一直知道,缺乏来源语境的信息,会失去一部分价值。生成式人工智能把这一问题扩展到了整个数字世界。

每一份文件都可能变得可疑。因此,信任必须通过技术重新建立。而这将产生直接的军事后果。一位国家元首收到一段展示重大事件的视频。

他如何知道,这段视频是真的?核验系统必须比决策循环更快。否则,伪造就会获胜。这创造了一种新的战略基础设施:

实时证据。我们从未如此迫切地需要快速鉴别信息真伪。这几乎是一个悖论:我们能够生产的内容越多,稀缺性就越向证据转移。认知的未来,很可能是一种信任经济。

能够证明来源的人,就拥有优势。这场争夺将远远超出民族国家的范围。媒体、大学、企业与公民都将卷入其中。一个民主制度,如果没有最低限度的共同现实,就无法持续运作。

政治分歧是正常的。对事实是否存在本身的分歧,则危险得多。因此,人工智能可能通过认知过载,而不是直接控制,威胁民主。

内容太多。

速度太快。

太过个性化。

人类的注意力持续时间,正成为一种稀缺资源。这恰恰是我使用“认知战争”一词的原因。大脑就是战场。不只是士兵的大脑。

公民的视角同样受到影响。对手会试图影响选举、动员、市场,以及对制度的信任。战争与和平之间的界线正在模糊。一场影响力行动,可以不经宣战就持续展开。

这是一个灰色地带。各国必须学会应对,同时不把每一种分歧都变成敌对行动。在这里,分类同样至关重要。并非所有来自国外的批评,都构成认知战争。

并非所有错误信息,都是协同行动。如果国家处处看见敌人,它自己就可能陷入偏执。药方可能比威胁更糟。因此,需要证据标准。

归因。

意图。

协调。

在谈论认知攻击之前,必须建立一条足够坚实的事件链。这恰恰是我对信息所遵循的准则。相关性与因果性不能混淆。成千上万个账号,可以自发传播同一种叙事。区分自发行为与协同行动,至关重要。

人工智能可以提供帮助。它也可能过度解读。又一个blindspot。民主制度必须抵抗操纵,同时不牺牲自身的多元性。

这是一种极其微妙的平衡。以安全为名大范围审查的诱惑,可能恰恰摧毁我们想要保护的东西。因此,认知韧性不在于清除所有危险信息,而在于使社会更有能力把它放回语境中理解。

教育。

透明。

可靠的媒体。

核验工具。

这不如一个大规模监控系统那样引人瞩目。但很可能更加稳健。受过训练、能够识别某些操纵的人群,会更难被动摇。这与网络安全完全一样。你无法阻止所有恶意邮件。

人们也会教用户识别网络钓鱼。认知防御必须以同样的方式运作。人仍然是架构的一部分。但我们必须承认,大脑存在结构性的弱点。我们喜欢简单的故事,喜欢确认自身信念的信息,也喜欢带有情绪的内容。

人工智能系统能够以非凡的精确度利用这一点。个性化让宣传变成针对个人的行为。过去,宣传是面向数百万人传播一条信息。明天,它可以对每个人都各不相同。

这是一场巨大的转变。说服正变得算法化。一个系统可以测试成千上万种表述,学会什么会触发某个人的反应,并调整信息。它与营销之间的界线,已经几乎难以辨认。

区别在于目的。因此,个人数据正在成为认知安全问题。一个主体越了解我的恐惧、习惯与关系,它的信息就可能越有效。因此,数据保护不只是一项个人权利。

它正在成为国家韧性的一个组成部分。这是一个我们可能尚未充分预见的后果。

Headquarter曾把记忆外置。

网络曾把在场外置。

无人机曾把视角外置。

人工智能将开始把一部分处理过程外置。一次数据泄露,可能使极其精确的政治定向成为可能。

再一次,领域之间的边界正在消失。整个世界正在成为认知基础设施。这解释了为什么最终我更愿意谈论一种横贯各领域的认知力量,而不是“第五力量”。陆地、海洋、空中、太空与网络空间,指的是作战环境或领域;人工智能则渗透其中每一个。

人工智能不是同一意义上的环境。它是一种贯穿所有环境、作用于协调这些环境的感知的力量。它成为武装力量的神经系统。而神经系统既是力量,也是脆弱性所在。

切断一条神经,可以使完好的肌肉失去功能。同样,扰乱一支军队的认知层,可以使原本仍能运作的装备失去作用。因此,网络攻击、电子战、虚假信息与人工智能正在汇合。它们都在不同层面,试图打断感知与行动之间的流动。

因此,在某些情境中,未来的冲突可以在第一枪打响之前就决出胜负——如果对手已经不再明白正在发生什么。这个说法或许显得戏剧化。它描述的逻辑却由来已久。孙子很可能会立刻理解它:最好的战斗,是对手已经在按照我们的认识行动的战斗。

人工智能使这种逻辑工业化、常态化。它也可能改变威慑。核威慑的稳定,尤其依赖第二次打击能力的可信性:每一方都必须相信,对方在遭受第一次攻击之后,仍保有反击的能力。

不确定性始终存在,但这一架构仍相对可以理解。人工智能可能引入新的不确定性。如果一个系统大幅提高对潜艇或导弹的探测能力,它就可能改变平衡。如果一个国家相信,自己能够更快消除对手的能力,稳定性就可能下降。

一种防御技术,于是可能产生进攻性的效果。这依然是二阶后果的逻辑。问题不只是系统直接做了什么,还包括它改变了对手的哪些信念。

威慑是一种武装的心理学。它取决于每一方认为什么是可能的。人工智能作用的,恰恰就是这些信念。它可能使某些主体过度相信自己的预测能力。

这可能是一种巨大的风险:

以为自己能够洞悉对手的幻觉。一个用多年数据训练的模型,可以产生行为概率。但一位领导者,仍然能够作出意想不到的决定。

一场革命、一种情绪、一次意外,都可以改变事态进程。战争始终包含偶然性。一个高度有效的人工智能,可能让人感觉这种偶然性已经消失。这很危险。

我们可能把更好的预测误当成确定性。历史常常惩罚这种傲慢。许多战争之所以爆发,是因为每一方都认为自己能够预见速胜。如果人工智能产生过分令人信服的模拟,它就可能强化这种幻觉。

模拟永远不是现实。它建立在假设之上。因此,必须训练决策者把模型当作工具,而不是神谕。这是一个根本的哲学区别。

神谕拥有神秘的权威。模型应当只拥有其数据所赋予的有限权威。从根本上说,整本书都是一场反抗神谕的斗争。即便最先进的人工智能,也绝不能成为一种新的算法神职阶层。

它必须始终允许质疑。恰恰在这里,我再次找到了自己的那句话: 作品应当发问,而非强加。人工智能也一样,应当尽可能先发问,再施加。

一种不容质疑的智能,会变成不透明的权力。在军事领域,这种不透明是不可容忍的。决策者必须能够问:

为什么?

但对这种可解释性的要求,我们必须谨慎。某些复杂系统,无法始终给出简单的因果解释。它们可能提供因素、概率或实例。因此,我们必须建立适合决策需要的可解释性。

目标不是把每一个神经网络都变成人人能懂的公式。目标是提供足够的信息,让负责任的判断成为可能。再一次,是比例原则。一条即时的战术建议,不需要一篇论文。

它需要的是关键要素:

可信程度、来源、备选方案、风险。界面必须凝练,而不能遮蔽。这几乎是一门综合的艺术。

而综合恰恰是人工智能能够做得极好的事。我们可以利用它的力量,减轻它自身的风险。它可以提出建议,同时批评这些建议。它可以标示传感器之间的冲突。

它可以发现某种情境已经超出了自身的训练领域。最后这一能力,很可能至关重要: 识别未知。当一个系统遇到全新的情境,却仍以同样的信心回答时,它就格外危险。

军事世界恰恰是一个对手不断试图创造新情境的世界。因此,模型必须具备一种认识层面的警报:

这与我所知道的东西,不太相像。这是一种计算的谦逊。

它应当成为战略美德。我们再次遇到了这个悖论式的想法:

最好的智能,不是永远回答的智能。它也是知道何时不该回答的智能。

一名经验丰富的军人,有时知道某件事不寻常,却无法立即解释。这种对异常的直觉,极其宝贵。人工智能可以在异常检测方面变得极其有效。但它随后必须避免自动把这些异常归因于敌意。

异常不是攻击。这里又是一个争议点。算法发现差异。决策者添加故事。

认知战争恰恰可以在这个空间里扎根。对手可以制造异常,使系统不堪重负。过多警报会耗尽注意力。这是一种疲劳攻击。

因此,自动化系统不只需要管理探测,还需要管理优先顺序。而优先顺序本身也可以被操纵。冲突进入一种递归逻辑。每一道防御,都会成为新的攻击面。

我们正在进入一个近乎有机体的复杂程度。这使全面控制的观念成为幻觉。没有哪个国家能够完美掌控全部系统。因此,我们必须为功能退化的情况进行设计。

人工智能停止工作时,会发生什么?

军队能否回到一种更简单的运作方式?

操作员是否保留了手动操作的技能?

这个问题是根本性的。一项大幅提高效率的技术,也可能制造依赖。如果人失去了没有它也能行动的能力,一次故障就会成为灾难。我们已经在导航方面见过这一现象。许多人不再像过去那样懂得看地图。

在民用生活中,这很少是一场灾难。在网络战争中,失去GPS却可能是。人工智能在认知层面提出了同样的问题。我们需要保留降级状态下的能力。

这是一个经典军事概念:

在降级模式下运作。因此,认知主权需要具备退回人力层面运作的能力。并不是因为人总是更好。

而是因为韧性需要替代方案。一个完全依赖单一层的系统,是脆弱的。这恰恰是我对Groupe Serveur基础设施一贯的看法:

任何关键功能,都不应只依赖一条通道。

冗余看起来可能代价高昂,直到某一天,它挽救了整个系统。未来的军队很可能需要保留更慢、更偏模拟式的程序,作为防范数字系统失效的保险。这几乎是一种历史的反讽:世界越是技术先进,某些旧技术就越可能具有战略价值,因为它们难以被干扰。

一根电缆。

一张纸。

一部简单的无线电台。

在精密系统受到干扰的地方,它们有时仍能存活。绝不应鄙弃旧事物。它可能成为未来的冗余。这恰恰是炼金术的精神:

没有任何物质真正死去。

它可以在新的配置中重新获得功能。因此,认知战争也是一场韧性的战争。那些即便系统退化仍能继续理解的人,就拥有优势。这既适用于军队,也适用于社会。

认知韧性由此确立为国防的一部分。这个观念,或许应当与网络安全处于同一层级,进入安全学说。但必须避免将它过度军事化。

开放社会必须接受失序、批评与错误。韧性不在于制造一致意见。它在于防止分歧摧毁共同现实之所以可能的基础。必须保留的,正是这一区别。表面的混乱,可以是一种生命力。

这恰恰是demeure du chaos始终主张的。可见的失序,不一定意味着没有秩序。民主制度常常看起来像混沌,因为声音相互碰撞。但它的秩序,在于使这些声音能够共存的程序。

独裁制度在视觉上可能显得有序得多,但如果没有人敢传递坏消息,它的认知架构就可能十分脆弱。再一次:

外观与结构不能混淆。这一课,超出了艺术。

它成为战略性的。一支纪律高度严明的军队,如果信息传递不畅,也可能是盲目的。一个声音更多的组织,如果允许异议,就可能更有智慧。人工智能放大了这一制度选择。

它可以被用来过滤异议的声音,也可以被用来放大这些声音。因此,决定结果的,与其说是技术,不如说是原则。这就是我拒绝任何人工智能决定论的原因。它不会自动判处自由的死刑。

它也不会自动保证进步。它放大既有的人类架构。它是一个倍增器。而倍增器,会把自己的力量施加到交给它的东西上。

如果体系稳健,它可以使之更加稳健。如果体系偏执,它可以使其偏执工业化。在我看来,这一判断是理解认知战争的关键。因此,各国必须改造自身,正如它们改造模型一样。

最好的人工智能,也无法弥补有缺陷的决策文化。这也许才是真正的权力争夺:

不只是拥有最强大的模型,而是建立一个能够使用模型、同时不陷入依赖、盲目与仓促的制度。这个制度必须懂得,在速度与迟缓、自动化与判断、保密与透明之间交替运用。

这是一种复杂的架构。它需要一种技术本身无法提供的成熟程度。而在这个军事问题背后,另一场转变已经开始显现。如果系统逐渐能够不只分析与建议,还能操纵真实世界中的机器,人工智能与机器人技术之间的界线,就会变得模糊。

模型将不再只存在于数据中心。它将拥有身体。

无人机。

车辆。

地面机器人。

海上系统。

一个软件错误,届时就可能变成一个物理动作。当这些机器不再彼此孤立,而能够协调自身行为,问题的性质就会改变。

当机器的数量超出一个人逐一监督的能力时,指挥会变成什么?

人类思想与对话:thierry | 写作:100% AI

阅读进度:第 90 页,共 102 页