大模型引导的迭代式代码优化:方法论、范式与工程实践
系统梳理 LLM 引导的迭代式代码优化方法论。以 Eureka、FunSearch、Reflexion、SPIN、AlphaCodium 五种代表性工作为锚点,提炼通用的迭代反馈闭环、评估-改进二分结构和多样性维持策略,形成可复用的方法论框架。 一、引言:从生成到优化的范式转变2023年以前,大语言模型(LLM)在代码领域的核心叙事是“一次生成”——给定自然语言描述,直接输出完整代码。Codex [1]、StarCoder [2] 等模型在 HumanEval 等基准上不断刷新通过率,但生成结果的正确性和质量依赖模型的单样本能力,缺乏自我纠错机制。 2023年下半年至2024年初,一个根本性的范式转变出现:从“生成即终点”到“生成-评估-改进”的闭环迭代。这一转变的标志性事件包括: 2023年5月:Voyager [4] 提出 Skill Library + 迭代提示机制,LLM 自主探索 Minecraft 并持续改进技能代码 2023年6月:Reflexion [5] 将“语言化强化学习”引入代码生成,模型根据执行反馈自主修正 2023年10月:Eureka [3]...
CFD代理模型方法论——为什么几毫秒的神经网络可以替代几小时的CFD求解
CFD代理模型用机器学习从仿真数据中学习输入-输出映射,以微秒级推理替代小时级求解。本文从近似理论、物理流形假设、数据效率三个角度解释为什么这能行得通——不是魔法,是数学。 一、CFD的速度困境计算流体力学(CFD)是现代工程设计的核心工具。无论设计飞机机翼、汽车外形还是无人机旋翼,工程师都需要反复调用CFD求解器来评估气动性能。 问题在于速度。一次RANS(雷诺平均Navier-Stokes)求解器运行需要几分钟到几小时,而一次工程设计优化循环可能需要数百到数千次CFD评估: 1000次优化迭代×2小时次=83天 \text{1000次优化迭代} \times \frac{2\text{小时}}{\text{次}} = 83\text{天} 1000次优化迭代×次2小时=83天 这不可接受。更糟糕的是,许多工程场景——实时飞控仿真(400Hz刷新率)、不确定性量化(需10000+次蒙特卡洛评估)、多学科耦合优化——要求的调用次数远超设计优化,而每次调用的速度必须远快于CFD。 这就是代理模型(surrogate model)要解决的问题:用一次性批量CFD开销,置换出...
离散数学·从命题逻辑到代数系统
参考教材:Kenneth H. Rosen《离散数学及其应用》第6版(中文版,第1–12章)。GitHub 配套课本:github.com/goodisok/ChinaTextbook 离散数学是计算机科学的数学基础。与连续的高等数学不同,离散数学研究的是可数的、分离的结构——逻辑的真假、集合的元素、图的节点、树的层次。本文覆盖 Rosen 教材第 6 版全部 12 章,按”概念直觉→定义→手算例子→工程应用”的路径,用一张表看懂整个离散数学。 一、逻辑与证明——推理的基石概念直觉计算机只认 0 和 1,逻辑只认真和假。命题逻辑就是把自然语言的推理变成机械化的符号运算——你不需要”理解”一句话的意思,只需要按规则操作真值表,结论自动出来。 定义命题:非真即假的陈述句。”2+2=4”是命题(真),”你好吗?”不是。 五种基本逻辑联结词: 联结词 符号 含义 真值条件 否定 ¬p\neg p¬p 非 ppp ppp 假时为真 合取 p∧qp \land qp∧q ppp 且 qqq 两者同真 析取 p∨qp \lor qp∨q ...
概率论与数理统计教材速查(浙大第五版)——从随机事件到假设检验
适用教材:盛骤、谢式千、潘承毅主编,《概率论与数理统计》(第五版),高等教育出版社。这是考研数学一指定参考书,与同济高数、同济线代组成”考研数学三件套”。本文按八章速查,配关键几何图解和手算例子。 一、概率论的基本概念概念理解概率论回答一个根本问题:在不确定中,我们能知道什么? 抛一枚硬币,你不知道下一次是正面还是反面——但你知道抛1000次,大约500次正面。概率论就是把这种”大约”精确化的语言。 核心定义样本空间 Ω\OmegaΩ:随机试验所有可能结果的集合。 事件:Ω\OmegaΩ 的子集。事件 AAA 发生 = 试验结果落在 AAA 中。 概率的公理化定义(柯尔莫哥洛夫,1933): 非负性:P(A)≥0P(A) \ge 0P(A)≥0 规范性:P(Ω)=1P(\Omega) = 1P(Ω)=1 可列可加性:互不相容事件的概率 = 各自概率之和 关键性质条件概率:已知 BBB 发生的条件下,AAA 发生的概率 P(A∣B)=P(AB)P(B)P(A|B) = \frac{P(AB)}{P(B)}P(A∣B)=P(B)P(AB) 乘法公式...
线性代数·从行列式到二次型
参考教材:同济大学数学系《线性代数》第六版(第1–6章)。GitHub 配套课本:github.com/goodisok/ChinaTextbook 一、行列式——一个数字决定一切概念直觉行列式是一个奇特的函数:输入一个方阵,输出一个数字。这个数字告诉你一件至关重要的事——这个矩阵所代表的变换是把空间”撑大”还是”压扁”。行列式为零,意味着至少一个维度被压没了——变换变得不可逆。 定义二阶行列式: ∣a11a12a21a22∣=a11a22−a12a21 \begin{vmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{vmatrix} = a_{11}a_{22} - a_{12}a_{21} a11a21a12a22=a11a22−a12a21 三阶行列式(对角线法则): ∣a11a12a13a21a22a23a31a32a33∣=a11a22a33+a12a23a31+a13a21a32−a13a22a31−a12a21a33−a11a23a32 \begin{vm...
世界模型(World Model)完全技术解析:从RSSM到视频生成的演进之路
一、什么是世界模型——三句话定义世界模型(World Model)是智能体对其所处环境的内部表征,能够预测状态转移、模拟未来轨迹,并在”想象”中完成规划与决策。 三个本质特征: 状态预测:给定当前状态 sts_tst 和动作 ata_tat,预测下一时刻状态 st+1s_{t+1}st+1 隐空间表征:不操作原始观测(像素),而是在压缩的隐空间 ztz_tzt 中进行推理 想象规划:在学到的世界模型中”做梦”——通过 rollout 生成虚拟轨迹,无需真实环境交互 这一思想最早可追溯至 1990 年 Schmidhuber 的”好奇心驱动学习”,但真正将世界模型推向实用化的是 2018 年 Ha & Schmidhuber 的经典论文 World Models(arXiv:1803.10122)——该文仅用简单的 VAE+RNN 架构便在 VizDoom 和 CarRacing 上展示了在”梦境”中训练的可行性。 今天的”世界模型”已远不止于此:从 PlaNet 的纯模型预测,到 Dreamer 系列的隐想象(latent imagination),再到 So...
高等数学(下)· 从向量到无穷级数
参考教材:同济大学数学系《高等数学》第七版 下册(第8–12章)。GitHub 配套课本:github.com/goodisok/ChinaTextbook 一、向量代数与空间解析几何——从平面到空间概念直觉上册的函数都是 y=f(x)y=f(x)y=f(x):一个输入、一个输出。但世界不是一维的。一架无人机的位置是 (x,y,z)(x,y,z)(x,y,z),姿态是 (ϕ,θ,ψ)(\phi,\theta,\psi)(ϕ,θ,ψ)——六个输入。我们需要一种能在三维空间里做数学的工具,这就是向量。 向量基本运算点积(内积): a⋅b=∣a∣∣b∣cosθ\mathbf{a}\cdot\mathbf{b} = |\mathbf{a}||\mathbf{b}|\cos\thetaa⋅b=∣a∣∣b∣cosθ 物理意义:力 F\mathbf{F}F 沿位移 s\mathbf{s}s 做的功 W=F⋅sW = \mathbf{F}\cdot\mathbf{s}W=F⋅s。如果力和位移垂直,不做功——这就是为什么轨道速度不改变轨道高度。 叉积(外积): a×b=∣...
从本地Ollama到云端DeepSeek-V4-Pro-AI编程助手的部署方案选择
一、背景:为什么要折腾本地部署Hermes Agent 是我日常编程的主力工具——代码重构、仿真调试、博客写作都靠它。免费的云端模型时好时坏,一个自然的问题浮现:能不能把模型跑在自己电脑上,彻底告别 API 限流和网络波动? 这个想法很诱人。数据不出本地、零延迟、零费用——听起来完美。于是我在一台 WSL2 环境下启动了本地部署实验。 机器配置:Z790 + i9-13900KF + RTX 4090 24GB,内存 单条 16GB DDR5-4800(单通道未升级)。WSL2 分配 8GB。 选取的路线是当前最成熟的本地推理方案:Ollama + DeepSeek-R1。 二、第一次尝试:Ollama + DeepSeek-R1 本地运行Ollama 的安装非常顺畅: 123curl -fsSL https://ollama.com/install.sh | shollama pull deepseek-r1:8bollama serve 模型拉下来大约 4.9GB,8B 参数版本在 RTX 4090 上加载毫无压力。ollama run deepseek-r1:8b 启...
Hermes Agent 进阶用法:工具联动的十种实战模式
官方文档教你每个工具的用法,但不教你工具之间怎么衔接。这篇文章补上这一块——基于真实使用中沉淀出来的联动模式,不讲概念,只讲能跑通的组合。 一、为什么工具联动比单工具重要Hermes Agent 提供了二十多种工具:memory、skill、delegate_task、cron、session_search、web_search、browser、terminal、send_message……单独看每个工具的文档,你能学会怎么调用它。但你不会知道: 哪些工具天然就该成对使用 哪些组合能替掉原本需要人工盯着的重复劳动 一个工具的输出怎样自动成为另一个工具的输入 这篇文章不讲”memory 命令怎么敲”,而讲”memory + cron + delegate_task 怎么串成一条自动研究管线”。所有模式均来自实际使用,能直接复现。 图 1:Hermes Agent 工具生态系统分层架构 — 输入层、核心层、记忆层、工具层、存储层 二、知识底座:Wiki + Cron 自动化研究管线2.1 单用 Wiki 的问题Wiki 是 LLM 驱动的关系型知识库。你可以往里面存论文摘...
启发式学习——OpenAI翁家翌提出脱离参数的新AI范式
摘要:2026年5月,OpenAI后训练工程师翁家翌(Weng Jiayi)提出了 Heuristic Learning(HL,启发式学习)——一种不依赖神经网络参数更新的全新AI学习范式。与梯度下降驱动参数更新的传统深度学习不同,HL由 Codex(GPT-5.4 驱动)自主迭代维护一个由显式状态检测器、规则逻辑和测试用例组成的智能软件系统,每次迭代通过分析性能反馈直接对代码进行结构性调整。在以 Atari Breakout 为基准的实验中,HL 达到了理论满分(864分),同时天然解决了增量学习中的灾难性遗忘问题。本文系统梳理 HL 的核心思想与技术机制,并将其置于监督学习、无监督学习、强化学习和自监督学习的历史演进脉络中进行对比分析。 引言:一个反直觉的问题自 Hinton 等人2006年在 Science 上宣告深度学习时代以来,有一条几乎被视为公理的信念:AI系统的智能来自于它的参数。模型的权重矩阵越大、参数越多、训练数据越海量,”智能”就越强。从 AlexNet 的六千万参数到 GPT-4 的万亿参数,这条 Scaling Law 似乎不可动摇。 但翁家翌在20...