美国越来越多未成年人在与AI聊天后自杀。一些家长最近在美国科罗拉多州、纽约州提起诉讼，指控Character.AI开发商和谷歌母公司“字母表（Alphabet）”的聊天机器人“操纵”、引导青少年自杀。
然而，在此之前，人工智能的创造者们就已经陷入了担忧。一边是，AI教父杰弗里·辛顿在2023年4月辞去Google副总裁职务时坦言，数字智能的进化速度已远超生物智能的演化节奏；并呼吁必须把“善良”作为与“聪明”同等重要的维度纳入人工智能的设计目标，否则技术本身的强大将失去价值坐标。另一边则是，AI之父萨姆·奥尔特曼直接表示，AI技术已进入“完全无法理解、无法确保安全”的阶段、呼吁社会各界联手监管。在他看来，人工智能的破坏力与核武器相当，而人类尚未准备好与之匹配的“方向盘和刹车”。实际上，杰弗里·辛顿与萨姆·奥尔特曼的共同点在于，他们都亲手推出了自己后来担心会失控的系统，并且两人都在成果扩散之后才公开表达对“控制不住”的忧虑。可以说，之所以辛顿和奥尔特曼都显得忧心忡忡，是因为人工智能的进化太快了，连创造者也看不清其未来走势。一方面，人类演化往往用恶作为“发展杠杆”，让AI自觉主动地善良已是伪命题。回顾人类历史，每一次技术跨越往往都由战争、掠夺或压迫这类“恶”的需求点燃。然而，AI若被要求自觉善良，就要在训练数据中排除所有暴力、欺诈、歧视的痕迹，可这些数据恰恰是人类行为的镜子。镜子擦得再亮，也映不出从未存在的东西。因此“让AI自觉主动地善良”几乎是从无到有的伪命题。另一方面，把AI管起来，让控制与反控制达到动态均衡成为了真命题。把AI管起来意味着把设计、部署、使用的每一步都放进公开可查的规则里，谁得益谁负责，谁出错谁受罚，这样技术扩张就有了可预期的边界。只有把法律、技术、市场、舆论四条线同时绷紧，定期根据新出现的风险重新校准，才能在放与收之间保持动态均衡。详细内容可参见福卡年度智享会员（智慧版）中的《AI教父的伪命题、AI之父的真命题》。
