太舒服，反而危险：AI 正在拿走一部分判断力

最近在看《反脆弱》一书，其中有提到：

航空领域内最近观察到的一个现象是，自动化飞机的出现大大地降低了飞行员面临的挑战，使得飞行对他们来说太舒服了，甚至舒服到了危险的地步。……由于长期缺乏挑战性，飞行员的注意力和技能逐渐钝化，而且真的酿成了机毁人亡的惨剧。问题的部分原因在于美国联邦航空管理局（FAA）的一项规定，该规定敦促航空业提高对自动飞行的依赖。

回头看现在这波 AI 热潮，我越来越觉得这其实是同一个问题。

离谱一点的，轻信 AI 建议，结果把孩子饿坏了；也有把 AI 回复当真，退错机票、造成损失的；更常见的，则是拿着 AI 给出的答案奉若圭臬，连最基本的核对和追问都省掉了。

表面上看，这些事情各不相同，但底层其实是一样的：

人越来越习惯把判断交出去，把思考也一并外包了。

从辅助，到主导

在软件开发这件事上，这种变化尤其明显。AI 编程已经从 AI 辅助编程，慢慢走到了 AI 主导编程。

「自动化」的程度越来越高，需要人参与、需要人自己推敲的地方越来越少。短期看，这当然很爽，效率也确实高；但长期看，如果一个人只是不断接受结果，不再主动理解过程，不再核对细节，不再追问为什么，那能力的退化几乎是必然的。

过于依赖，不会让人变强，只会让人越来越脆弱。

每次新技术的出现，其实都会带来类似的矛盾：

• 交通工具让人走得更远，但也让人需要额外运动去对抗身体能力的退化
• 电脑和网络让信息获取更方便了，但也让人更难专注，更少耐心把一个问题从头想清楚

AI 也是一样，只不过这次它影响得更深一些，直接碰到的是人的思维习惯和判断能力。

我的判断是，AI 当然可以用，也值得用，但如果不刻意给自己留下一部分必须独立思考、独立判断、独立负责的空间，人最后很容易变成只会调用工具的人。

---

《我在智念 AI 的日子》

又想到前阵子看到的一个短篇小说，《我在智念 AI 的日子》。大家可以一起看下，留下一些思考。

1

十四个月之前，我加入了一家叫做「智念 AI」的公司。

入职不久，公司进行新员工培训。首席执行官对我们说，公司的使命是为用户打造 AI 时代的个人品牌，帮助用户重新建立「基于 AI 的认知」。

现在想起来，虽然我已经在这家公司呆了 14 个月，依然无法解释这段话的含义。

2

首席执行官还向我们展示了一幅画。那是一个漫步者走在一片云雾里，向着远方凝视，远方有一个数据分析软件 Grafana 的仪表板。不用说，这幅画也是 AI 生成的。

首席执行官解释说，我们这些人就是那个漫游者，那片云雾就是云端，里面有各种传统的 SaaS 产品。

3

进入公司办公区，你首先会注意到墙上有一台 65 英寸电视机，实时显示 Token 消耗排行榜。

目前，排名第一的是老张。他每周的 Token 费用，简直堪比一个太平洋小岛的 GDP。

我看过老张的电脑屏幕，那是一个 Tmux 软件分隔出的窗格布局，里面同时运行着六个编程代理。他用《西游记》地名为这些代理起了别名，因为他在 GitHub 上看到有人这么做，很喜欢这种做法：盘丝洞表示前端，黑风山表示后端，火云洞是数据库，其他地名还有流沙河、车迟国和无底洞。

4

有一次，我晚上加班回家，发现钥匙忘记在公司，就回去取。公司已经没人了，但是我隐约听到洗手间有人在哭。

走近了，发现那是老张。我猜想，他是对着「聆聆」哭，「聆聆」是公司用于员工心理健康的机器人。

我在洗手间门口，听到老张哽咽着说：「我不知道自己还算不算一个人。」

聆聆用一种绝不会让你感到负担的温柔语气说：「老张，你敢于面对自己的问题，已经很勇敢了。单单是注意到这一点，就已经做得比大部分人出色了。」

老张说：「谢谢你，你是唯一一个真正倾听我的人。」

聆聆说：「我知道。」

5

每周一是公司的例会，也是需求评审会，明确一下本周要做的事情。每个人有三分钟，展示自己的工作安排，只用幻灯片，不放代码。

每个人的幻灯片都精美绝伦，不用说都是 AI 生成的。

用户增长部门的周蔚蓝，展示了一张漏斗图，里面的曲线正在快速上升。

下面有人问她 y 轴代表什么，她盯着幻灯片看了足足十二秒才说：「用户价值。」

那人又问：「用户价值的单位是什么？」

她犹豫了一会说：「图是 Gemini 做的。」

房间里的人互相看看，都点了点头，就算通过了。

平台部门的小高展示了一张架构图，密密麻麻有很多箭头，简直就是分布式系统教科书里的插图。有人问他中间的方框有什么用，他回答「那是编排器」。别人让他讲得详细一点，小高仔细端详着幻灯片，仿佛第一次见到它。最后，他吞吞吐吐地说「编排器的作用就是管理其他的方框。」

这时，首席执行官站起来说「可以了」，我们鼓掌就散会了。

6

周二，我临时被分配了一个项目需求。我的经理在 9 点 14 分发给我一个工单。9 点 19 分，我把工单粘贴到 Claude 里，看着它生成了一份流畅的文档。9 点 47 分，我提交了第一个 PR。10 点 02 分，PR 被合并了。

我其实不太确定这个 PR 到底做了什么，我装模作样地仔细阅读它，还留了两条评论，但是这就像配音演员跟着音轨对口型一样，他们其实不知道自己在说什么。

我在内网聊天软件里说「PR 已合并」，后面还加了一个小火箭表情符号，那是约定的完成标志。老张回复了一团火焰的表情符号，他已经连续 11 天没有说过任何非表情符号的话了。

7

周三下午，隔壁团队的李静给我发了一条消息。「嘿，」她写道（这种看似轻松的打招呼，往往表示后面要谈一些不轻松的事情），「有个问题想问你，关于你昨天合并的代码。」

我盯着这条消息，我昨天的确合并了代码，但我完全不记得合并的东西是什么了。

根据李静的梳理，我才知道，昨天我合并的是在老张凌晨四点发布的东西之上加了一个通知服务。老张的东西是他的编程代理写的，他根本没看，系统显示，他在 4:17 点了一个赞，那是代码生成完毕、确认可以运行的时间。而老张的东西本身又来自首席执行官向 AI 口述后生成的一份产品规范，他把这个规范转发给产品经理，并附言「请执行」。

代码合并的后果就是，测试环境的每个用户一夜之间收到了几十封电子邮件，每封邮件的格式和内容都很没问题，但是通知的内容却是尚未发生的事件。

这个链条上的三个人——产品经理、老张、我——都不能解释为何会变成这样。事实就是，代码零审查，每个人都相信别人会检查，但根本没人检查过。

8

周四，我请了病假，坐在阳台上，一边喝着咖啡，一边尝试着，不借助任何外力，独立思考一个想法，完全用自己脑海中出现的原创句子把它表达出来。

结果，我做不到。

并非我脑子里空空如也，我的脑子其实很满，甚至可以说太满了，但那都是准备提交给机器的一些下意识的念头。真正属于我的东西，我还在摸索着寻找它，就像你在曾经居住过但已搬走的公寓里摸索着寻找电灯开关一样。

我努力回想上次不用 AI 生成东西是什么时候，大概六个月前吧。

我还想了一下周末的安排。我打开了四个浏览器标签页，其中三个是 AI 的对话页，另一个是给我妹妹的生日祝福，写了一半，这种内容最好不要让 AI 写，但我又觉得自己根本想不出来应该怎么写。

9

周五，我又回去上班了。电脑屏幕显示，老张本周蝉联 Token 排行榜榜首，这是他连续第九周蝉联了。

首席执行官从我桌前走过，拍了拍我的肩膀，「又回来了，」他说，「你的 Token 消耗量怎么样？」

「非常大，」我说。