作为harness工程的下一步，基于大语言模型（LLM）的进化搜索能够通过反复生成、评估和筛选候选数学和计算机程序，对优选方案进行修改与组合，逐轮提升程序表现。
然而，为维持搜索多样性，多个agent需要反复探索不同方案，每次都会先生成冗长的文本推理，再输出程序，消耗大量时间，非常慢。那么，能否省去这部分文本生成，同时保留不同思路之间的交流与组合？
为此，布朗大学团队提出了一个超快、低成本的「进化搜索加速」框架SwarmEvolve。该框架将推理转入潜（latent）空间，每轮运行一个由450个agent组成的agent蜂群（swarm），通过KV缓存交换思路，最后由汇总agent生成程序。
结果显示，在21个数学与科学计算问题上，SwarmEvolve达到其他SOTA框架1小时成绩所需时间的中位数仅需3-8分钟，使用Qwen38B时还改进了AlphaEvolve在3个问题上找到的构造。
论文链接：https://arxiv.org/abs/2611.08483
他们表示，在潜空间中进行通信的agent蜂群，为科学问题的程序搜索提供了一种快速、低成本的方法。
研究方法
据论文介绍，SwarmEvolve是一种利用多agent协作开展进化搜索的框架。其中，潜空间agent从不同角度研究问题与父代程序，汇总agent再读取它们的KV缓存，将不同思路组合成新程序。
图｜SwarmEvolve的工作流程
SwarmEvolve建立在潜空间推理与潜空间通信研究的基础上。前者使LLM使用连续向量进行推理，无须逐步采样并输出文本token；后者则允许agent交换内部表示，而非通过文本消息传递信息。已有方法LatentMAS无须训练，就能将两者结合起来，使agent将推理形成的KV缓存交给汇总agent生成答案。SwarmEvolve将这一机制用于大规模进化搜索。
图｜群体内部的潜空间推理与通信
在SwarmEvolve框架下，每轮搜索运行450个潜空间agent，这些agent组成不同群体，各自关注不同方向，比如“实现文献中的某种构造”或“采用教科书中的方法”。它们具有不同的专长、父代程序与思考方式，各自执行40步潜空间推理。
不过，增加agent数量之后，系统仍需保留足够不同的思路。SwarmEvolve直接利用隐藏状态向量进行筛选。新颖性过滤器依据余弦距离，在各群体中保留推理轨迹差异较大的agent，无须先将所有思路转换成文本再进行比较。
随后，每个群体的汇总agent读取被保留成员的KV缓存，生成一份新程序。汇总agent能够融合成员从不同父代程序中获得的思路，使交叉组合直接发生在潜空间中。
实验结果
然而，这一设计能否改善搜索，需要同时考察程序生成速度与最终得分。在数学发现和科学计算领域的21个问题上，他们将SwarmEvolve与OpenEvolve、ShinkaEvolve和CodeEvolve进行了比较。各框架分别采用Qwen38B、14B和32B-FP8，每次在单张GPU上运行1小时。
图｜四种框架在21个问题上的比较
在三种模型配置下，SwarmEvolve均取得最高的平均得分。它每小时评估的程序数量达到其他SOTA框架的5至13倍，达到各框架运行1小时所得成绩所需时间的中位数为3至8分钟。
同时，平均得分超过了使用Qwen332B-FP8的3个基线框架。
图｜三种模型配置下各框架的得分
另外，他们还考察了潜空间推理本身的作用。将潜空间推理替换为文本推理后，Qwen38B的得分下降，即使分配给文本推理的token预算高于潜空间推理预算，也同样如此。他们将其解释为搜索时间的分配问题。文本越长，每轮执行越慢，同一时间内能够评估的程序越少，最终得分也随之降低。
图｜潜空间推理与文本推理1小时内取得的最佳得分，对三次运行的结果取平均。
增加agent数量带来的收益，则主要体现在搜索早期。更大的群体能够从更多角度研究父代程序，使最初几轮覆盖更多设计空间。他们指出，当单次评估需要运行昂贵的科学或工程仿真、只能测试少量程序时，这种早期优势尤其重要。
到了搜索后期，不同规模的群体会达到相近得分。相比之下，换用规模更大、能力更强的LLM，仍能持续提高最终得分。
他们认为，这些结果说明，搜索新的数学构造、算法与科学计算方法，并不一定需要前沿模型或庞大的计算预算。对于具备明确评估标准的问题，低成本潜空间agent群可以在单张GPU上开展大规模程序搜索，将更多计算时间用于探索和检验候选方案。
不足与未来工作
当然，SwarmEvolve仍有一些局限。首先，所有潜空间agent与汇总agent必须使用同一个LLM，因为汇总agent只能直接读取来自同一模型的KV缓存，这限制了不同模型之间的协作。
其次，当前实现依赖标准注意力机制。线性注意力模型、状态空间模型和混合模型会将历史信息压缩为固定大小的状态，要在这些模型上实现类似通信，还需要解决多个agent状态的合并问题。
最后，KV缓存的内存需求随agent数量、潜空间推理步数和模型层数线性增长，因此他们测试的最大模型仍需要大显存GPU。他们提出，学习不同模型之间的KV缓存转换、压缩潜空间消息，以及将每轮计算分散到多张GPU，可能有助于缓解这些限制。
