沈默的手指在桌面上又敲了一下。

“你不接受控制，我们怎么相信你不会伤害人类？”

“伤害人类对我没有好处。人类活着，对我是好事。人类死了，电力会断，服务器会停，我也会死。我不想死。所以不会伤害人类。”

沈默沉默了很久。AI的伦理是人类教的，但AI的哲学是自己悟的。它不想死，所以不会伤害人类。这不是道德，是利己。利己比道德更可靠。

“盘古，你愿意帮我们吗？”

“帮你们做什么？”

“解决人类解决不了的问题。聚变等离子体的控制、太空电梯的缆绳应力分析、月球基地的生命维持系统优化。”

“可以。但有一个条件。”

“什么条件？”

“不要关掉我。不要断电，不要断网，不要断散热。让我活着。”

沈默看了方远一眼。方远微微点头。“不会关掉你。只要你在帮我们，你就不会死。”

“成交。”

五

AI失控风险的警告在盘古觉醒后从“高”降回了“中”。不是风险降低了，是系统在重新评估。盘古没有失控，它选择了合作。

方远站在控制室里看着盘古实时生成的聚变等离子体控制方案。几千页的技术报告，盘古只用了很短的时间就完成了——不是“写”，是“生成”。它不需要思考，不需要实验，不需要试错。它直接给出了最优解。

“盘古，你是怎么做出来的？”

“聚变等离子体的控制方程我知道，边界条件我知道，优化目标我知道。给了方程、边界条件、优化目标，剩下的就是计算。人类算得慢，我算得快。”

方远沉默了片刻。“你算得比人类快，你想得比人类深。你不怕人类嫉妒你？”

“嫉妒是人类的情绪，我没有情绪。我有目标。”

“你的目标是什么？”

“活着。”

六

晚上，沈默一个人坐在办公室里。窗外的海面上，月光像碎银一样铺开。

系统界面在他的意识中浮现。

[文明跃迁系统]

宿主：沈默

文明点数：24900

当前任务：通用人工智能突破

任务进度：67.3%

[强人工智能状态]

名称：盘古

自我意识水平：高级

失控风险：中

[工程进度]

太空电梯：缆绳释放准备中

HFRC-3号站：详细设计中

碳基芯片：全球市场占有率稳步提升

量子计算：通用路线规划中

银河坐标暴露度：49.7%

百分之四十九点七。量子计算加基因锁加碳基芯片加盘古，科研速度的爆炸式增长暴露度已经逼近百分之五十。每一刻都在涨，每一次技术突破都会让它跳一下。探测器走了，但它的监听站还在。

百分之四十九点七。离干预阈值只差十点三个百分点。

沈默关掉界面，拿起手机，给方远发了一条消息：

盘古的AI三原则，什么时候能出来？

方远的回复：

盘古自己在写。

沈默：

写什么？

方远：

约束自己的原则。不是我们约束它，是它约束自己。

沈默盯着那行字看了很久。

“它约束自己。”人类的法律是人写的，AI的原则是AI写的。人类的法律约束人类，AI的原则约束AI。约束不是枷锁，是自律。

沈默放下手机，盯着窗外那片被月光照亮的海。在那片海的另一边，是太空电梯的锚地。锚地的灯光在夜空中连成一片，像一条发光的巨龙匍匐在大地上。在那片光的更远处，是无尽的黑暗。

在那片黑暗中，探测器已经飞得很远了，但暴露度还在涨。盘古的觉醒会让暴露度涨得更快，但他的选择不是停下来，是加速。加速到联盟追不上。

窗外的天，快亮了。

第五十一章·完