本文来自微信公众号： HavenlonLabs ，作者：HavenlonLabs
一、从一个很小的现象说起
如果你最近用AI写过东西，大概率经历过这样一个循环。
你让一个AI写一篇文章，觉得还不错，于是让另一个AI来评价。第二个AI几乎一定能找出问题：论证不够扎实、结构有些松散、观点缺少支撑。你老老实实改完，再交给第三个AI，它依然能继续指出缺陷。更让人困惑的是，即便是同一个AI，换一套提示词，也可能对同一篇文章给出完全相反的意见——一会儿说不够深入，一会儿说过于复杂；一会儿嫌观点不够鲜明，一会儿又批评表述过于绝对；缺少案例是问题，案例太多冲淡主线也是问题；太像技术文章不行，不够专业也不行。
很多人把这归结为AI不稳定、不可靠。但如果只停留在这个解释上，就错过了一个重要得多的信号。
这个现象揭示的是一个长期被忽略的事实：评价系统并不是在寻找一个最终正确的答案，而是在不断切换观察角度。一篇文章在\"深度\"这个角度下有一种缺陷，在\"传播\"这个角度下有另一种缺陷，在\"严谨\"这个角度下还有第三种缺陷。这些角度彼此冲突，永远无法被同时满足。
只要观察角度可以无限增加，缺陷就永远不会被彻底消灭。
过去这件事之所以不明显，是因为审查是昂贵的。请一位编辑、一位专家、一位律师来挑毛病，都需要时间和金钱，所以任何作品、方案、系统，实际上只经受过有限次数、有限角度的审查。所谓\"挑不出毛病\"，从来不是因为毛病不存在，而是因为挑毛病的人不够多、角度不够刁钻。
而AI把审查的成本压到了接近于零。于是一个残酷的事实浮出水面：不是AI让文章变得有缺陷了，而是AI让\"无限审查\"第一次变得可行——而没有任何复杂产物经得起无限审查。
文章只是最容易被看见的入口。同样的逻辑，正在向企业治理、产品设计和安全工程蔓延。
二、企业正在进入\"无限评价时代\"
过去，一个产品方案、一套管理制度或者一个技术架构，通常只会经过有限的人评审：几轮会议、几位专家、一次合规检查。评审的角度是有限的，遗漏是默认存在的，大家心照不宣。一个方案\"通过评审\"，本质上只是说它通过了这一小群人、在这一小段时间里、从这几个角度进行的检查。
今天，AI可以低成本地扮演几乎所有角色。同一份方案，你可以让它以客户的身份挑体验问题，以法务的身份挑责任边界，以投资人的身份挑商业逻辑，以安全工程师的身份挑攻击面，以财务负责人的身份挑成本结构，以监管者的身份挑合规漏洞，甚至以竞争对手和恶意攻击者的身份，专门寻找可以利用的入口。过去组建这样一个\"全角色评审团\"需要巨大的组织成本，现在只需要换几个提示词。
结果几乎是注定的：不同角色会给出不同甚至完全冲突的结论。安全部门会说权限太宽，业务部门会说限制太多；财务会说成本太高，产品会说体验太差；法务会说责任边界不清晰；而攻击者，则会找到所有人都没有想到的那个入口。
这不是评审质量变差了。恰恰相反，是评审能力被无限放大了——放大之后，任何方案都会显得千疮百孔。
不妨做一个简单的实验：把你们公司最引以为傲的那份制度文件，交给AI，让它分别扮演十个不同的角色来审查。你会发现，没有一份文件能全身而退。这不说明制度写得差，而说明\"经得起所有角度的审查\"这个标准，本身就是不可能达成的。过去我们从未意识到这一点，只是因为从来没有人真的用十个角度审过同一份文件。
这意味着企业决策的前提正在发生变化。过去的隐含目标是\"设计出一个通过评审的方案\"，因为评审是有限的，这个目标是可以达成的。而当评审变得无限，这个目标在逻辑上就不再成立。企业今后面对的不是\"能否设计出一个无人反对的系统\"，而是一个更艰难、也更诚实的问题：
如何在永远存在反对意见、剩余风险和未知缺陷的前提下，仍然做出决策。
那些不理解这个转变的组织，会陷入两种典型的失败姿态：要么被无穷的反对意见拖入决策瘫痪，什么都不敢上线；要么干脆对所有批评脱敏，退回到\"评审只是走流程\"的老路。两者都错了。正确的姿态是第三种——接受缺陷永远存在，然后把注意力从\"缺陷有没有\"转移到\"缺陷发生后会怎样\"。
三、\"总能挑出问题\"不是失败，而是复杂性的必然结果
有人会问：这是不是说明我们的系统做得还不够好？只要继续打磨，总有一天能拿出一个挑不出毛病的版本？
不会有那一天。这不是悲观，而是复杂系统的基本性质。
一个系统越简单，越容易被完整描述，也就越接近\"可以被证明正确\"。一百行代码可以被逐行审查，一条数学定理可以被严格证明。但企业系统从来不是这样的对象。它同时包含人、软件、数据、权限、激励、流程和外部环境，而且这些要素之间的关系还在持续变化。人会流动，软件会升级，数据会积累，权限会漂移，激励会扭曲，外部环境会突变。
所以企业面对的根本不是一道存在标准答案的数学题，而是一个不断移动的目标。今天正确的制度，明天可能因为业务变化而失效；今天安全的接口，接入AI Agent之后可能出现全新的攻击面；今天合理的权限设计，组织规模扩大一倍之后就可能变成单点风险；今天表现良好的模型，换一个场景就可能产生完全不同的行为。
这类故事在每一家上了规模的公司里都发生过。某个沿用多年的报销流程，在公司只有两百人时运转良好，到两千人时成了效率黑洞；某套为网页端设计的风控规则，在开放API之后被脚本轻松绕过。没有人做错什么，只是环境变了，而系统还停在为旧环境优化的版本上。
在静止的世界里，缺陷是可以被逐个消灭的存量；在变化的世界里，缺陷是随着环境不断生成的流量。你消灭的速度，永远赶不上它生成的速度。
完美系统不是暂时还没有被造出来，而是在多数复杂环境中，它本来就不存在。
承认这一点并不丢人。真正危险的是不肯承认这一点的组织——它们会把资源持续投入到\"再改一版就完美了\"的幻觉中，却从来没有为\"缺陷一定会出现\"这个必然事件做过任何结构上的准备。当缺陷真的出现时，前者损失的是一次迭代，后者损失的可能是整个业务。
四、安全行业尤其容易陷入\"完美幻想\"
在所有行业里，安全行业对\"完美\"的执念最深，也最危险。
安全领域长期存在一种隐含的追求：只要身份验证足够强、权限设计足够细、模型判断足够准、审计记录足够完整，系统最终就会安全。每一次安全事故之后，行业的反应几乎都是同一个方向——再加一层验证、再细一层权限、再多一份日志。防线越垒越高，预算越花越多，而事故并没有消失。
这背后有一个朴素的期待：安全是一门工程，工程问题总有工程解。加人、加钱、加流程，问题就会收敛。但安全和其他工程有一个根本不同——它的对手是活的。桥梁工程师不需要担心重力会学习新的攻击方式，而安全工程师的每一道新防线，都会立刻成为对手研究的新题目。
因为现实反复证明：攻击者并不需要击败整个系统，他只需要找到一个系统设计者没有覆盖的组合。而在这个组合里，每一个单独的步骤都可能是完全合法的——用户身份是真的，权限审批通过了，接口调用符合格式，Payload校验成功，签名也是真实的。每一环都对，结果仍然是错的：资金被转走了，数据被导出了，系统被接管了。
这和AI评价文章的现象惊人地相似。一篇文章的每一句话都可以没有语法错误，整体却可能完全失去方向；一次执行中的每一个步骤都可以通过校验，最终结果却违背了所有人的真实意图。
局部正确，从来不自动等于整体正确。
换个角度看，安全体系的每一层防护，本质上都是一个\"观察角度\"：认证看的是\"你是谁\"，权限看的是\"你能做什么\"，校验看的是\"格式对不对\"，审计看的是\"发生过什么\"。攻击者做的事情，就是寻找一条所有角度都看不到的路径。角度是有限的，可能的路径却是组合爆炸的——这就是为什么\"把每一层都做到极致\"永远推导不出\"系统是安全的\"。
更麻烦的是，AI正在把攻击者的这种能力平民化。过去，找到那个\"没人想到的组合\"需要顶尖的经验和漫长的探索；现在，生成攻击假设、构造异常输入、批量测试边界条件的成本，和生成一篇文章的成本一样，正在趋近于零。防守方面对的不再是少数聪明的对手，而是一台可以无限出题的机器。
五、真正成熟的安全，不再追求\"证明系统不会出错\"
如果承认不存在完美系统，安全设计的目标就必须发生一次根本性的转向。
不再是：如何确保错误永远不会发生。而是：当错误不可避免地发生时，它最多能够走多远。
这个转向听起来只是措辞的变化，实际上会引出一组完全不同的企业问题。一个错误的判断，是否可以不经任何拦截直接进入执行？一个管理员，是否可以单独造成不可逆的结果？一个AI Agent，是否拥有完整的行动权？一个被攻破的SaaS服务，是否能够顺势控制本地的关键系统？一次错误的配置，是否会扩散到全部业务？一个在形式上完全合法的请求，是否仍然可以在最终的执行边界上被拒绝？
注意这些问题的共同点：没有一个是在问\"错误会不会发生\"，全部是在问\"错误发生之后会怎样\"。这就是从\"消灭缺陷\"转向\"限制灾难半径\"。
可靠系统的标志，不是它从不犯错，而是任何一次错误都不能自动获得无限权力。
在这个框架下，很多传统上被视为\"冗余\"甚至\"低效\"的设计，突然有了新的价值。双人复核不是不信任员工，而是不让任何单点判断直接变成现实结果；金额和频率的硬限制不是束缚业务，而是为最坏情况画出止损线；执行边界上那道独立的、不信任任何上游的最终校验，不是重复建设，而是在认证、审批、模型全部被欺骗之后，系统保留的最后一次说\"不\"的机会。
评价一套安全体系，与其问\"它挡住了多少次攻击\"，不如问一个更尖锐的问题：假设你的模型判断错了、你的管理员被钓鱼了、你的上游服务被攻破了——同时发生——损失会在哪里停下来？答不出这个问题的体系，无论用了多先进的技术，都还停留在完美幻想里。
六、企业真正需要的是\"有边界的不完美\"
自然界从来没有进化出完美的生物。一个物种能够存活亿万年，不是因为它没有弱点，而是因为它的弱点没有在环境变化中导致整个种群同时毁灭。冗余、分散、隔离——生命对抗不确定性的方式，从来不是消灭缺陷，而是限制任何单一缺陷的杀伤范围。
对企业来说，这个类比比听起来更严肃。生物从不试图预测每一种病毒，它选择的是另一条路：免疫系统、细胞隔离、组织再生——一整套\"感染之后如何不死\"的机制。数亿年的演化压力最终选择的生存策略，不是无懈可击，而是可以受伤。这对花费重金追求\"零事故\"的企业，是一个值得反复咀嚼的提示。
企业也是一样。好的组织不可能消除所有错误判断，但它会刻意避免几种致命结构：一个人控制全部系统，一个决策不可撤销，一次失败波及所有业务，一个模型直接决定现实结果，一条错误指令可以不受阻拦地穿透整个执行链。
因此，未来企业需要设计的目标，不是完美，而是有边界的不完美（Bounded Imperfection）。它包含三个基本原则。
第一，错误可以发生，但不能无限扩散。一个模型可以判断错误，一个员工可以决策失误，但任何单一的错误判断都不应该自动获得完整的执行权。判断和执行之间，必须存在结构性的隔离——不是靠\"下次更小心\"，而是靠架构本身。
第二，系统可以失效，但不能同时失去所有拒绝机制。上游服务可能被攻破，审批流程可能被绕过，管理员甚至Owner本人都可能犯错或被欺骗。这些都允许发生，但最终执行的位置上，必须保留一道不依赖任何上游的独立约束。所有防线可以逐一失守，唯独不能设计成\"一荣俱荣、一损俱损\"。
第三，风险无法清零，但必须被限制在可承受范围内。企业真正需要计算的从来不是\"有没有风险\"——答案永远是有——而是\"最坏情况下，损失到哪里停止\"。能明确说出止损位置的企业，才有资格谈激进创新；说不出的企业，每一次冒险都是在赌命。
企业要回答的不是\"会不会出错\"，而是\"出错之后，损失在哪里停止\"。
值得注意的是，这三条原则考验的都不是技术能力，而是组织的诚实程度。承认自己的模型会错、自己的管理员会被骗、自己的流程会被绕过，在很多公司的文化里近乎\"唱衰自己\"。但恰恰是这种诚实，决定了一家企业是在为真实世界设计系统，还是在为PPT里的理想世界设计系统。真实世界里，欺骗会发生，故障会发生，误操作会发生——系统的价值，就体现在这些事情发生的那一刻。
七、AI会把这个问题推到极致
有人可能会问：这些原则听起来并不新鲜，为什么现在突然变得如此紧迫？
因为过去有一道我们从未意识到的天然防线：人的速度。
一个员工判断失误、越权操作、甚至蓄意作恶，他的破坏力都受制于人类的执行速度。他再快，也不可能在一秒之内修改十万个账户、调用数百万次接口、同时影响全球所有业务。很多企业的安全体系之所以看起来\"够用\"，不是因为设计得好，而是因为错误的执行速度足够慢——慢到总有人来得及发现、来得及阻止、来得及回滚。
AI Agent彻底摧毁了这道隐形防线。它不仅可能判断错误，还可以高速、并发、持续地执行错误。人犯错是一次一次地犯，机器犯错是一批一批地犯。过去一个错误决策需要几天才能造成的损失，现在可能在几秒钟内完成，并且在任何人察觉之前已经不可逆。
想象一个再普通不过的场景：一个负责客户运营的Agent，被授权读写CRM和发送邮件。某天它被一封精心构造的邮件注入了错误指令，于是开始\"勤奋地\"向全部客户批量发送带有错误报价的合同。整个过程中没有任何一步是越权的——它本来就有这些权限。区别只在于：有边界的系统会在第一百封邮件时触发频率限制，没有边界的系统会在十分钟内发完十万封。
AI时代最危险的，不是一次错误的判断，而是一个没有边界的错误，获得了机器级的执行速度。
在这个前提下，再去纠结\"能不能让AI更准确一点\"已经远远不够。无论准确率多高，只要不是百分之百，剩余的错误就必须被结构性地控制。即使准确率达到99.99%，在百万级的执行量中，错误仍然会出现上百次。真正决定后果的，不是那99.99%的正确，而是那0.01%的错误发生时，系统有没有最后一道边界。
可以这样概括：准确率决定错误出现的频率，架构决定错误造成的后果。前者是模型厂商的问题，后者是每一家企业自己的问题——而且没有任何模型升级可以替你解决。
八、竞争的分水岭：谁的系统在失控边缘仍然稳得住
把视线拉回商业本身。
AI让创造的成本下降，这已经是共识。但同样重要、却远未被充分讨论的是：它也让评价、攻击、测试和反驳的成本同步下降。未来，任何企业方案都能被快速找到缺陷，任何产品都能被生成新的反例，任何安全体系都会遇到设计时从未想象过的场景。这不是某个行业的特殊风险，而是所有把AI接入业务的企业共同面对的新常态。
这会改变企业竞争的重心。过去比的是谁的系统更强大——功能更多、性能更好、防线更厚。未来比的是谁的系统在不完美、被误用和被攻击时，仍然不会失控。前者决定你能跑多快，后者决定你会不会在某个深夜突然归零。
过去比的是谁的系统更强大，未来比的是谁的系统在被误用和被攻击时，仍然不会失控。
那些率先放弃完美幻想的企业，反而会获得一种新的竞争力。它们不再把资源浪费在\"证明自己不会出错\"上，而是把架构建立在\"假设自己一定会出错\"之上：判断与执行分离，权力有边界，失败有隔舱，最坏情况有明确的止损位。它们的系统未必更聪明，但一定更难被任何一次错误摧毁。而这种\"难以被摧毁\"，会在一次次行业事故中，转化为客户信任、监管信任和资本信任——这是AI时代最稀缺的资产。
对决策者来说，这意味着一组新的追问要进入每一次架构评审和每一次AI项目立项：这个Agent最坏能做什么？它的判断和执行之间隔着什么？当它出错时，谁有能力、有权限、有时间按下停止键？如果这些问题的答案是\"不知道\"或者\"应该不会出错\"，那么无论演示效果多惊艳，这个项目都还没有准备好进入生产环境。
AI时代最成熟的企业，不是相信自己已经找到了完美答案，而是从一开始就假设答案可能是错的，并且为此做好了结构上的准备。
我们无法建造一个永远正确的系统，但可以建造一个即使犯错，也无法轻易造成灾难的系统。
这句话，值得每一个正在把AI接入核心业务的决策者，写在架构评审的第一页。
本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 tougao@huxiu.com。
本文来自虎嗅，原文链接：https://www.huxiu.com/article/4875308.html?f=wyxwapp
汇盈策略提示：文章来自网络，不代表本站观点。
