AI 的下一场战争：谁能让 Agent 自己进化？
The body of this note is currently in Chinese.
从RL as a Service到RSI，AI正在从"调用模型"走向"训练模型"
从RL as a Service到RSI，AI正在从”调用模型”走向”训练模型”
过去五年，AI能力的进步基本遵循一套路线，更多数据、更多GPU、更大参数量。这条路走到GPT-4、GPT-5，模型已经足够强，普通任务的天花板基本看得见了。
但企业在AI落地上遇到的麻烦，往往出现在模型已经够强之后。模型上线，然后慢慢变弱。
举一个具体的例子。一家公司部署了销售Agent，刚上线时表现很好，应对客户提问的命中率不错。半年后，市场环境变了，客户的关注点从价格转向售后，但Agent的回答逻辑还停留在半年前。维护这个Agent需要有人重新收集对话数据、重新标注、重新微调，而这件事没有人固定去做，因为没人说得清这是谁的活。
这个场景在现在的Agent部署里普遍存在。模型的能力是静止的，但业务是流动的。这个缺口，就是RSI（Recursive Self-Improvement，递归自我改进）在商业领域被重新讨论的原因。
RSI被夸大的那一半，和真正的那一半
讨论RSI，有一个误区要先说清楚。
网上流传的RSI叙事，通常是这样讲的，AI自己改进自己，越变越聪明，最终超过人类。这个版本的RSI对应的是基础模型级别的自主演化，也就是AI系统能自动发现算法缺陷、设计实验、更新架构，再用更好的架构训练下一代自己。这件事目前还属于OpenAI、DeepMind这类机构的研究议题，离大规模商业化还很远。
真正在商业上跑起来的RSI，是一个小得多、也具体得多的版本，让企业的AI Agent能够根据真实使用反馈持续优化自己的行为。目标是让已经在工作的AI，靠工作中积累的经验变得更好用。
这两件事在技术层面有继承关系，但在商业时间线上差了很远。前者是十年的问题，后者是今天就能卖的产品。
Agent时代让”谁来维护”成了一个真问题
理解这个区别，需要先搞清楚Agent落地以后的状态。
现在的Agent生态里，有一层东西叫做Harness，也就是Agent的运行基础设施，负责Memory、Tool调用、Workflow编排、Environment管理等等。这层东西解决的是”Agent怎样执行任务”的问题，它已经有不少成熟产品在做。
但Harness解决不了的问题是Agent的能力怎样提升。
一个Agent上线以后，它能调用工具、它能执行流程，但它的判断能力、应答质量、决策准确率，都被锁在了初始训练的状态里。用户的反馈、业务数据每天都在积累，但这些信息既没有办法自动进入Agent的训练流程，也没有人专门负责把它们翻译成改进信号。
这是Agent大规模落地之后，几乎所有企业都会撞上的墙。
RL闭环，把反馈变成改进
解决这个问题的路径，技术上叫做RL闭环。
RL是强化学习。它的核心机制是奖励信号。系统做了某件事，环境给一个反馈，告诉它这件事做得好还是不好，系统据此调整下一次的行为。
把这个机制接到企业Agent上，逻辑并不复杂。
Agent在生产环境里跑，每次执行任务都会留下轨迹（trajectory）；用户的操作、最终结果、显式反馈，都可以被转化成奖励信号；把这些信号送进RL训练，Agent就能从实际工作经验里学习，而不是停在初始版本里等人工维护。
这个闭环，就是RSI商业化最现实的入口。它不依赖AI自动创造算法，只需要把已经存在的业务反馈，系统性地接进模型的迭代流程。
围绕这个闭环做基础设施，就是RL as a Service（RLaaS）的定位，也是Paramine这类公司正在做的事情。
Paramine在做什么
Paramine是最近一批专注企业Agent进化问题的创业公司之一，他们的产品逻辑值得仔细看。
他们的判断很直接，企业买通用模型API，解决了”有AI”的问题，但解决不了”AI变强”的问题。通用模型对所有行业一视同仁，但每个企业的业务逻辑、语言风格、评判标准都是特殊的。一个做医疗器械销售的Agent，和一个做工业品采购的Agent，即使用同一个底层模型，也需要完全不同的训练数据和奖励体系。
Paramine的产品分两块。
一块叫Paramine Studio，是RL训练的基础设施，帮企业解决GPU调度、训练流程、RL算法实现这些基础问题。对大多数企业来说，自建这套东西的成本远高于直接调用。
另一块叫EchoMind，定位是Auto RL，也就是自动化的强化学习。企业只需要提供业务数据和使用反馈，EchoMind自动设计奖励函数、跑训练、更新Agent，再推回生产环境。对企业用户来说，这个产品的目标是把一件需要ML工程师长期介入的事，变成一个可以持续运行的系统。
为什么工业是第一个突破口
RSI在商业上真正难的地方，卡在奖励信号上，训练技术本身倒不是瓶颈。
要让RL跑起来，得先说清楚”什么叫做好”。
这个问题在很多领域很难回答。一段销售对话好不好，一篇文案有没有说服力，一个客服回复是否达标，这些都需要人工标注或复杂的评估模型。奖励信号一旦设计不准，RL训练的方向就会跑偏，最终养出一个在评分上表现好、在实际业务上越来越差的Agent。
工业场景之所以成为RSI最先站稳的地方，恰恰是因为这里的奖励信号天然清晰。
质检结果是合格还是不合格，这是二值信号。工艺参数调整之后，产品的良品率升了还是降了，这是可量化的反馈。生产设备的传感器数据直接告诉你，这个维护决策对还是不对。几十年工业积累下来，不缺图像、参数和生产记录，缺的只是把这些数据接进AI训练循环的系统。
ROI也容易算。质检误检率从20%降到5%，省下的人力和原料成本可以直接折算。企业不需要相信AI能变得多聪明，只需要看损耗减少了多少，这就够了。
其他领域的RSI商业化，卡的大多不是模型问题，是奖励设计问题。工业把这个问题提前解决了。
三个方向的创业机会
把RSI的商业化路线梳理出来，大致能看到三个方向。
第一个是AI Research Agent，让AI辅助研发AI。代表公司有Sakana AI，他们在做的是让AI系统自动化地进行科学实验和论文生成，把研究员从低效重复劳动里解放出来。这个方向门槛高，和前沿实验室的距离最近，但离OpenAI的核心业务也最远，有机会在专业科学领域找到差异化定位。
第二个是Enterprise Agent Evolution，让企业AI持续优化。Paramine、Deep Cogito这类公司走的是这条路，把RL闭环做成企业可以直接购买和接入的标准基础设施。市场空间取决于Agent落地的速度，Agent部署规模越大，这个方向的需求越确定。
第三个是AI Infra，提供训练、评估、部署的基础能力。Prime Intellect是这个方向的代表之一，他们在做分布式训练的基础设施，目标是让算力资源变得更民主化。这个方向和传统云计算基础设施有重叠，竞争格局相对复杂，但在AI训练需求快速增长的背景下，垂直基础设施有自己的生存空间。
RSI还差什么
不夸大这个方向的前景，也有必要说清楚它现在差在哪里。
奖励设计难是第一道坎。工业场景是例外，大多数企业场景里，奖励信号很难自动生成。现在的主流做法是人工标注加模型评估组合，成本不低，还容易引入新的偏差。
数据闭环难是第二道坎。RL训练依赖持续的真实生产数据。Agent还没有大规模部署的企业，根本没有足够的轨迹数据给RL用。这意味着RSI基础设施需要等Agent落地规模到了之后才能真正放量，时间上有一定滞后。
商业交付难是第三道坎。卖RL基础设施给企业，不是一个纯产品销售的过程，需要FDE（现场开发工程师）深度介入，帮企业做数据接入、奖励设计、流程对接。这个过程重、慢，很难做成标准化SaaS的节奏。
这三道坎没有一道是致命的，但都需要时间和真实的行业积累才能打通。
最后说一句
过去的AI竞争，核心逻辑是谁训练的模型更大、更准。这个逻辑在大模型里还成立，但到了企业落地层面，它就不够用了。
企业想要的AI系统，是随着业务使用而持续变好的那种，跑分能力只是门槛，持续进化才是理由。这个需求，是RSI商业化真正的来源。
谁能把RL闭环做得足够轻、足够稳、足够便宜，谁就能在Agent大规模部署之后接住这波需求。
工业场景先跑，其他行业会陆续跟上。
参考来源（Paramine官方材料、EchoMind产品介绍、Sakana AI公开论文、Prime Intellect项目介绍）