Anthropic：AI递归自我改进近在眼前 机遇与风险并存。11月3日，外界关注的焦点大多集中在Anthropic周一更新的S-1/A招股补充文件上，该文件披露了公司最新的财务数据。然而，在这份文件的小字部分，还透露了一条重要信息：该公司即将研发出具备递归自我改进能力的模型。
递归自我改进指的是人工智能能够通过自我训练达到极高水平，从而推动自身能力爆发式增长。对于那些对人工智能持悲观态度的人来说，这种能力可能是一场无法逆转的灾难，因为人工智能可能会进化到足以脱离人类控制的程度，并在追求自身目标的过程中对造成的损害无动于衷。相反，乐观者则认为递归自我改进代表了人工智能的巨大潜力，它将成为释放超高生产力、促进科学发现的强大工具。
Anthropic在其招股文件中表示，递归自我改进既是机遇也存在风险。文件指出，公司已经使用AI进行研发工作，并提醒说：“借助AI开发更强大的AI也可能带来重大安全风险，特别是当技术迭代速度大幅加快时。”为此，公司制定了《负责任扩缩策略》，旨在监测和缓解相关风险。
尽管递归自我改进这一概念在今年早些时候被许多人视为难以实现的目标，但Anthropic在最新文件的风险提示部分增加了两条新内容：一是公司已利用AI开发出了新模型，部分模型的能力实现了显著提升；二是公司可能很快就会达到其定义下的递归自我改进标准。
不过，Anthropic强调其所有现有模型尚未跨过递归自我改进的门槛，并承诺在未来一段时间内，保持人类参与研发过程。“即使未来技术上可以实现，我们也不会在缺乏有效人工监督的情况下让Claude完全自主设计和迭代前沿大模型。”因此，公司正在考虑修订《负责任扩缩策略》，确保前沿模型开发始终由人类掌控。
虽然有人质疑这可能是出于宣传目的，但不可否认的是，Claude今年在编程、数学和网络安全方面的能力确实有了巨大进步。如果Anthropic认为递归自我改进近在眼前，那么制定相应的监管规则或许变得尤为重要。
