●MAX大郭的判断局

WORKLOG

工作周报｜11.2—11.8：从反馈溯源到学习信号

记录这一周的代码、实验、研究判断与公开交付。

2026 / 11 / 08

这周的工作，主要围绕反馈怎样进入系统、怎样影响学习，以及哪些证据足以支持继续更新。

有代码正式合并，也有实验没有支持最初的设想；另一些工作完成了工具和运行准备，还没有进入真实模型实验。下面继续按项目记录： 原项目做什么、我具体做了什么，以及目前到了哪一步。

统计时间为北京时间 11 月 2 日至 11 月 8 日。以前完成、本周才合并的工作单独说明；同一个研究里的多个实验阶段不重复计算成多个项目。

01本周先看这四项

原则

01微软 SkillOpt：修改有来源

让 AI 技能修改能追溯到具体任务和会话，代码已合并。

02BuilderBench：实验记录更可靠

修补机器人搭积木实验中的状态残留、结果覆盖与历史对齐，三个 PR 待审。

03多智能体学习：任务奖励怎样分

从 NVIDIA NeMo-RL 的公开问题出发，推进合成实验，检查反馈缺失与有限复核预算。

04个人 PMD 项目：完成复核，也做出停止决定

当前数据不足以支持原延伸方案，保留原有成果，停止继续扩大拟合。

其他进展包括 CJE、Tapestry 的旧贡献合并，搜索与工具反馈分析，运行器修补，以及个人网站更新。

一、开源代码与工程贡献

这一部分记录本周提交或合并的改动。括号内标明原项目组织；仅能核实 GitHub 维护账号时，直接标注账号，不推断高校或公司归属。

021. AI 技能为什么这样改？——SkillOpt（微软）的修改来源追踪项目背景

原项目由微软的 microsoft GitHub 组织发布，关注 AI Agent 技能的持续改进。

SkillOpt 尝试从历史会话中提炼任务和技能，再提出后续修改。它需要回答一个很实际的问题：这次修改究竟参考了哪些任务、哪些会话？

一段理由即使写着“根据之前的任务”，也不等于系统已经保存了可以核查的来源关系。没有结构化记录，之后很难判断修改基于哪些证据，也不方便做独立回放。

我具体做了什么

在此前偏好范围与证据保留测试的基础上，补充每个拟议修改的任务 ID 和会话 ID，并把它们传到暂存报告中。正常反思与回退路径都按实际进入该路径的证据携带来源，避免把没有看过的任务也列进去。

报告同时显示被接受、被拒绝和未匹配修改的来源，方便后续检查。

本周提交的逐修改来源记录 PR 已合并。

本周交付

支持：本周提交的逐修改来源记录 PR 已合并。

为 EditRecord 增加任务与会话来源，并在暂存报告中保留。

PR 于 11 月 7 日合并。

边界：只增加来源记录，不改变修改准入和接受行为

当前阶段：已进入上游。来源 ID 说明的是修改看到的证据背景，不能直接当成因果归因，也没有因此证明技能更新更有效。

代码与 PR #365

032. AI 机器人搭积木，实验记录也要可靠——BuilderBench（RajGhugare19 维护）项目背景

原项目位于 RajGhugare19 的公开仓库，是机器人搭建任务的研究基准；本报告不把维护账号直接等同于某所高校。

BuilderBench 让 AI 控制模拟机器人搭建积木结构，用来研究探索、规划和反思。仓库包含普通推理、Chain-of-Thought 与 Reflexion 等 Agent 实现。

这类实验中，Agent 上一次试次的状态有没有清空、运行结果有没有被覆盖、摘要有没有漏掉动作，都会影响后续比较。我的工作集中在这些运行与记录环节。

我具体做了什么

试次隔离：新一轮试验开始时，清空应当清空的临时缓冲内容，同时保留需要归档的反思。

结果保存：隔离重复运行的输出目录，按种子选择最新可用记录，并在必要时回退，减少覆盖和误读。

历史对齐：修正 Reflexion、Naive、CoT 的观察—动作对应关系，补充消息角色安全检查，避免摘要漏掉关键动作。

本周交付

支持：〈未声明 claim_id〉

三项修复分别提交为独立 PR，针对性验证分别为 8、56、18 项，便于逐项审阅。

边界：三个 PR 待审；测试不代表机器人任务成绩提升

此外，整理任务目录、结构特征与公开榜单快照，复核部分困难任务的目标约束、辅助积木和夹爪支撑条件。对照发现，个别历史进度值的分母与当前有效目标数不一致，需要进一步追溯；静态审查没有据此认定任务不可完成，也没有代替物理模拟中的稳定性检验。这部分是已有任务与记录的分析，不是新增模型评测。

验证边界

这些验证针对状态、记录和提示构造，不是一次新的榜单评测。

“记录可用”也不自动等于“运行完整结束”：当前输出格式仍缺少明确的结束标记。

当前阶段：三个 PR 均已提交，仍待上游审阅；没有进行真实模型 API 评测，也没有声称提升搭建成功率。

试次隔离 #1 · 输出隔离 #2 · 历史对齐 #3

043. 人工只检查部分回答，会影响模型比较吗？——CJE（cimo-labs）实验合并项目背景

原项目由 cimo-labs 开源，研究如何用自动评分和有限的人工标签进行模型评估。

CJE 结合自动评分和少量人工标签来比较模型。当人更倾向检查失败、争议或被标记的回答时，得到的标签就不是随机样本。这种选择会不会改变模型比较，是我此前 notebook 检查的问题。

本周进展

此前完成的固定预算敏感性实验，于北京时间 11 月 2 日合并。实验包含六类条件、600 条结果记录和 18 行汇总，并经历维护者独立复算及 review。

本周新增的是上游合并，不是又运行了一套相同规模的新实验。这项交付是可复现的实验与诊断 notebook，也没有把现有方法包装成新估计器。

已合并 PR #88

054. 分数过线，但证据还不够怎么办？——Tapestry（AI Alliance）策略合并项目背景

原项目由IBM的 AI Alliance（人工智能开源联盟）维护，关注 AI 系统的评测与治理。

Tapestry 提供评测与治理工具。假设门槛是某个分数，点估计过线，但不确定性区间横跨门槛，此时“确定通过”和“证据还不够”并不是同一种状态。

本周进展

此前提交的可选区间决策策略，于北京时间 11 月 3 日合并。它使用运行器提供的上下界判断，证据不足时阻止直接放行；默认仍保留原来的单分数策略。

当前阶段：实现已合并。它不负责估计区间，也不验证外部区间是否校准；不能把一个区间门槛理解成部署安全保证。

已合并 PR #318

二、学习信号与统计方法实验

下面是本周实际推进的离线分析和合成实验。原项目链接用于交代背景，不表示这些本地分析已被原团队采纳。

065. AI 团队完成任务后，功劳怎么分？——参考 NVIDIA NeMo-RL 的独立实验项目背景

NeMo-RL 是 NVIDIA（英伟达）的强化学习工具链。本节是受其公开问题启发的独立实验，并非 NVIDIA 委托或上游贡献。

NeMo-RL（NVIDIA） 的多智能体训练讨论涉及父 Agent 与子 Agent 共享策略、共享任务奖励。一个最终任务得分，可能被用于多个参与者的动作；但各个参与者对结果的贡献并不相同。

这里的“信用分配”，就是把团队的最终结果对应到不同参与者的行为；“反馈缺失”，是有些行为或结果没有被记录、检查或打分。

我围绕这个问题搭建了独立的 CPU 合成实验，先检查计算方法，再观察简化学习过程，最后推进到反馈缺失与有限复核预算。

我具体做了什么

  1. 检查信用分配估计器

    ：用可枚举的小环境核对梯度，再与有限差分结果对照；比较普通奖励、独立样本基线和条件基线。

  2. 加入学习过程与带噪奖励

    ：比较不同基线下的简化学习曲线，并训练小型条件 critic，检查它与知道环境机制的理想参照之间的差距。

  3. 加入选择性缺失

    ：比较逆概率加权与双重稳健估计，检查观测概率或结果模型设错、低观测概率和权重截断的影响。

  4. 推进到复核预算分配

    ：比较均匀抽查、按总体方差分配和按候选更新方向分配，检查误差、区间与是否接受更新。

本周交付

支持：〈未声明 claim_id〉

形成估计器核对、简化学习、缺失反馈和复核预算分配的一组脚本与结果记录。

这些是同一条研究的不同阶段，不按阶段数量计算成果。

边界：独立方法预试，未进行真实大模型训练或上游集成

这一轮留下了什么判断

可以把“基线”理解为计算奖惩时减去的参照值：参照选得合适，可能减少更新中的随机波动，但不等于学到了更正确的因果归属。

条件基线的价值主要是降低方差，不能据此说共享任务奖励必然导致有偏估计。更复杂的 critic 在简单且设定正确的环境里可以接近理想参照，但收益仍依赖交互结构和奖励噪声。

后续复核实验也没有得到一种始终占优的分配方法。靠近更新边界时，小的估计变化就可能改变接受或暂缓决定，因此需要同时检查错误更新和拒绝更新的代价。

实验注记 · 阶段范围

本期记录到周内已有的近边界复核实验。

没有运行 NeMo-RL 的真实模型训练，也没有形成已合并的 NeMo-RL 方法实现。

当前阶段：已形成脚本、逐重复结果和阶段报告；仍属方法预试，不宣称新算法已经优于现有训练方法。

076. 少了一段任务记录，AI 会学到什么？——基于 OpenForge-RL（MSR-Orchard）的独立分析项目背景

原项目位于 MSR-Orchard 开源组织。本节记录对公开代码的本地分析与合成试验，没有向原团队交付训练改动。

OpenForge-RL 支持交互式 Agent 强化学习。运行过程中，基础设施报错或超时可能让一整条轨迹无法进入训练；另一方面，一条长轨迹又可能被展开为多行训练记录。

因此，丢失一条轨迹带来的变化，不一定只是“少几个样本”，也可能改变组内奖励归一化时的组成。

我具体做了什么

固定源码版本，追踪异常、超时、轨迹展开与 GRPO 归一化路径；随后制作按组组织的合成试验，比较不同组大小、轨迹长度和丢失机制，并与仓库已有的长轨迹处理方式对照。

试验显示，在这组合成条件下，即使回合级平均成功率变化很小，展开后的相对学习信号仍可能改变。这里计算的是简化策略的梯度代理，不是真实大模型的更新。

当前阶段：源码核查与合成包已完成，下一步需要真实的组级汇总记录来判断实际发生频率。没有修改上游训练算法，也没有把“丢弃不完整轨迹”直接认定为程序错误。

087. 系统报错，应该扣 AI 的分吗？——基于 ExTS（亚马逊 Amazon Science）的独立对照项目背景

原项目来自亚马逊的 Amazon Science 开源组织。本节是在原有搜索代码外搭建的独立实验，不表示与亚马逊合作。

ExTS 用树搜索分配候选探索资源。一次尝试没有得到有效候选，可能是候选本身失败，也可能是运行环境故障；两种处理方式都可能影响下一步搜索。

我具体做了什么

保持上游 ExTS 不变，在外层搭建对照：基础设施故障发生后，一组按失败回传，另一组不更新 ExTS 状态；两组都消耗相同的外部尝试预算，不提供免费重试。

使用 256 个合成世界种子，比较无故障、独立故障和与分支相关的故障，共形成 2,048 次运行。无故障条件下，两组完整轨迹一致，作为必要的负对照。

结果没有支持普遍改善

独立故障条件下，最终候选质量的配对差异较小，Monte Carlo 区间跨零。

刻意设置的分支相关故障条件出现正向差异，但只说明这一合成世界中的结果，不能推出真实搜索应当统一忽略故障。

当前阶段：完成的是原生搜索代码上的外层合成对照；没有执行完整 GEPA 实验，也没有证明 ExTS 存在训练或任务表现缺陷。

098. 环境变了，再检查一次还该受罚吗？——T3（unimpor 维护）的规则检查项目背景

T3 的相关环境会对 Agent 的工具调用给出步骤反馈。重复调用同一个工具有时确实没有价值，但如果中间发生了状态变化，再次检查也可能有意义。

我具体做了什么

在固定版本的通信任务中，执行“测网速—改变网络设置—再测网速”的脚本回放，调用原有工具、数据库和评价逻辑。

增加了“省略第一次测量”和“状态不变时重复测量”等对照，区分负反馈来自当前状态、输出内容，还是此前出现过同样的调用。

结果确认：在任务尚未完成、网速已经变化的一个具体序列中，严格模式仍会因重复调用给予负步骤标签。

当前阶段：验证了一个启发式规则的适用边界。它没有证明第二次测量不可替代，也没有证明换标签就能提升学习效果；不能将步骤标签直接等同于最终任务奖励。

109. AI 接下来该练哪道题？——参考 Prime-RL（Prime Intellect）的独立采样实验项目背景

Prime Intellect 是提供 AI 训练工具与计算基础设施的公司，Prime-RL 是其开源强化学习工具链。本节借用任务采样问题作为背景，实验实现独立于原仓库。

Prime-RL（Prime Intellect） 的训练工具链包含任务采样机制。依据最近的成功率调整练习任务，看起来很合理，但当反馈带噪、能力又在持续变化时，采样器也可能追着不稳定的判断走。

我具体做了什么

构建具有饱和学习曲线的合成任务，比较均匀抽样、依据最近反馈调整，以及累计或遗忘式 Bayesian 更新。另设知道真实即时收益的理想策略，作为不可直接部署的参照。

整理了 450 条运行记录、45 组汇总和 36 组相对均匀抽样的比较。

这一轮没有支持 Bayesian 策略稳定优于均匀抽样。在若干设定下，更复杂的策略反而更差，提示反馈模型失配和能力变化值得单独处理。

当前阶段：合成可行性试验完成；没有修改 Prime-RL，没有真实模型训练。这里的“一次学习更新”是人为定义的学习曲线操作，不是执行了一次神经网络优化。

1110. 只能人工复核一小部分，结果还可靠吗？——独立统计实验项目背景

如果评测器给出了大量通过或失败判断，但只能人工复核其中一小部分，就需要决定抽哪些样本，以及如何估计误报、漏报和不确定性。

这项独立实验比较不同复核分配方式，也区分“每个任务同等重要”和“按实际部署权重汇总”两类目标。

我具体做了什么

完成估计器、复核计划与重复仿真，并对 180,000 行结果进行独立复核：重建目标真值，检查解析梯度、有限总体方差和协方差公式，再分别检查估计误差、可估计性与区间覆盖率。

这里的“覆盖率”指的是：反复抽样时，计算出来的区间有多少次真正包含目标值。写着“95%”，不代表它在当前条件下就能做到。

公式层面的核对通过，但若干稀有错误与低支持条件下，名义 95% 的正态近似区间明显欠覆盖。平均方差看起来接近真实方差，也不足以保证每次得到的区间可靠。

保留失败结果

当前结果支持部分代数与设计方差检查，不支持“已经获得可靠的 95% 置信区间”。

零标准误、比率分母退化和稀有事件都需要单独报告，不能通过删掉困难重复或任意加方差下限来掩盖。

当前阶段：独立审计完成。后续需要改进不确定性推断；本周没有把该问题包装成已经解决的新方法。实验包暂未作为独立公开报告发布。

1211. 个性化 AI 能否学到稳定偏好？——PMD-Q1（个人项目）复核与停止决定项目背景

Preference Modeling Diagnostics 原本用冻结实验检查个性化偏好信号和用户身份对照。PMD-Q1 是它的一项延伸：想进一步判断，现有选择数据是否支持稳定的、多方向个体差异建模。

我具体做了什么

回到选择集合、候选文本、位置和用户之间的对应关系，复核观测单位与依赖结构；检查原先看似稳定的差异，能否与题目及候选组成区分开来。

这轮也修正了中间计算中的投影、缩放及组成解释问题，并检查拟议模型与已有离散选择研究的关系。

本周交付

支持：〈未声明 claim_id〉

完成选择事件重建、组成与依赖检查，以及中间计算修正。

当前设计无法充分区分个人差异与题目、候选组成的影响，因此停止继续扩展和拟合原方案。

边界：结论限于当前设计和数据，不外推为所有偏好模型无效

实验注记 · 停止范围

原 PMD 冻结代码和结果保留。

停止这一延伸方案，不等于否定所有个性化方法，也不意味着证明人没有稳定偏好差异。

当前阶段：完成复核、判断记录与归档。可复用的是选择事件重建、组成与依赖检查，以及反证流程；本周没有训练一个新的偏好模型。

1312. 多个评分者不一定是多份独立证据——个人方法底稿整理

本周还整理了两项前期分析的边界。

多评分者依赖分析关注：当同一个评分者出现在多个组里时，不能把所有组当成互不相关的证据。完成了一轮数学推导及精确算术复核，修正条件与边际方差、归一化和边界实例的表述；相关底稿已阶段冻结，尚未进入新的原始数据检验或公开论文。

条件验证器选择分析则完成结案与文件清单核对，停止原计划的扩大试验。另外的配对回放协议仍需与已停止项目区分；CPU 工具能够消费候选和判决记录，不代表已经生成真实候选池或完成新模型实验。

这些工作保留为内部方法资产，不将推导检查、协议准备或文件归档计作新的模型效果。

三、评测运行器与实验准备

这一部分记录已经完成的工具工作，同时明确哪些模型实验尚未执行。

1413. AI 能把证据对应到正确对象吗？——使用 MiniMax M3 的独立预检与修补

原项目与用途：MiniMax 是模型提供方。我独立搭建试验，检查模型能否把工具结果对应到正确对象，再输出符合约定的决定。

本周工作：一次受限预检在第二个请求处停止。保留原始失败记录后，离线处理内联推理内容、重复 JSON 键、响应大小与预算记录，并补充独立解析对照和 111 项解析测试；最终决策的字段约束保持不变。

当前阶段：离线修补包已归档；没有新增模型结果，没有完成第二次真实预检或正式实验。本地响应上限、用量估计和实际账单分别记录。暂无公开复现仓库。

1514. AI 说“完成了”，文件真的正确吗？——Karotte（Preference Model）的本地接口验证

原项目与用途：Karotte 由 Preference Model 开源，提供 AI 强化学习任务环境框架。我用小型文件任务检查“口头完成”和“实际交付”能否在评分时分开。

本周工作：固定版本，跑通环境创建、任务发现、假消息读取与原生评分接口。正确、错误、仅口头完成、格式损坏四类本地输入，评分分别为 1、0、0、0。

当前阶段：本地接口验证通过；完整容器运行因环境没有 Docker 或 Podman 而停止。上述结果来自受控测试样例，尚不是端到端模型实验，也没有验证安全隔离。

1615. AI 记忆变了，评委的打分也会变吗？——SaliMory（Meta）的对照工具准备

原项目与用途：SaliMory 位于 Meta 的 facebookresearch 开源组织，涉及 AI 记忆的生成、利用与评分。需要区分输出变化与评委背景变化各自带来的影响。

本周工作：固定用户、问题和参考答案，准备相关记忆缺失、无关记忆缺失、相同记忆及仅改变不可见字段的对照；完成原生提示构造和离线检查，确保缺失或不合规分数不会自动写成零。

当前阶段：工具准备完成，四个手写案例用于验证流程；真实记忆生成、模型评委请求和训练均未执行，也未提交 Meta 上游改动。

1716. AI 把任务分成几步，会影响奖惩吗？——HiPER（JonP07 维护）的实验设计

原项目与用途：HiPER 是层级强化学习论文的官方实现。它把任务分成子目标，并在不同层级计算行为应得到的奖惩。

本周工作：整理 DoorKey 小环境中的 PPO 基线和子目标边界扰动方案，明确事件、动作索引、边界偏移、高低层价值与掩码的来源。保留“无法映射就停止”的条件，防止把普通 PPO 结果直接称作 HiPER 复现。

当前阶段：设计文档完成；没有训练 PPO，也没有执行 HiPER 真实轨迹实验或产生性能结论。

四、个人网站与公开呈现1817. 把个性化 AI 实验做成可交互页面——PMD（个人项目）展示上线我具体做了什么

把 PMD 冻结结果整理成浏览器可操作的页面，支持查看用户身份对照、个体差异和历史长度曲线，并接入首页及统一的 Interactive Research 入口。

页面使用的是既有结果，不进行实时模型推理。读者可以更直观地检查：平均改善有多大，错误用户与打乱对照会怎样，以及哪些用户并没有得到改善。

当前阶段：11 月 5 日上线。本周新增的是展示与检查界面，不是重新训练或重新取得一组 PMD 结果。

PMD 交互结果 · 交互研究入口

1918. 让读者看懂我具体做过什么——个人网站与内容更新

更新个人网站的 Contributions，补入此前遗漏的 31 条公开事件，使当时的记录从 54 条增加到 85 条；新增 UniRL、Marin、Tapestry、SkillOpt 四个案例详解，并调整首页精选。

每个案例按“项目背景—我的贡献—结果—边界”介绍，保留原始来源和状态。新增事件中包含历史补录与同一 PR 的不同阶段，因此不把 31 当成这一周的新项目数。

此外，完成上一期周报、10 月 LinkedIn 月报文案与总览配图。材料整理与平台实际发布分开记录，不把生成一份草稿当成已经发布。

网站另有研究定位文案草稿仍待审，没有写成已经上线的内容。

个人主页 · 公开贡献记录 · 网站更新 PR #30

20这一周留下的进展

这周留下了几类不同的东西：进入上游的代码、可以复核的实验包、尚未跑完的工具，以及决定停止的研究分支。

它们反复指向同一件事： 反馈不仅影响一个分数，还会影响哪些数据被保留、哪些动作得到信用，以及系统接下来愿意改变什么。

接下来的工作，需要把这些小规模检查逐渐收敛到明确的学习问题和可验证的方法上。

MAX / WORKLOG

记录这一周的代码、实验、研究判断与公开交付。