Daily Report — 2026-10-18
Daily Overview
- 完成工作： 今日工作涵盖了 PhD advisor 筛选工作台的开发、JEV vision system 的性能消融研究、使用 clustering robustness checks 对 NCL 进行的 mechanistic analysis，以及针对集成 WeChat 的 personal agent 的 end-to-end automation testing。
- 执行方式： 技术执行包括实现用于 data scraping 的 multi-agent pipelines、针对 robotics 进行 latency 和 visual-prompt audits、利用 paired Wilcoxon tests 进行科学显著性验证，以及采用 Zstandard decompression 和 sandboxed CLI calls 以实现安全的 model integration。
- 影响： 这些工作优化了学术申请工作流，为 CVPR 研究建立了统一的 formalism，通过改进 controls 验证了 NCL 发现的科学完整性，并确保了一个安全、可靠且具备通信能力的 autonomous agent 环境。
今日工作涉及推进 PhD outreach automation，验证 Robomme JEV 性能和 CVPR strategy，使用 robust clustering controls 对 NCL 进行 mechanistic studies，并完成了带有安全 multi-model integration 的 end-to-end WeChat automation。
Tasks
Architecture & Strategy
- 🔄 CVPR Paper Strategy & Outline — 起草了一个统一的 system story 以应对 ‘handcrafted’ 的批评，从 task-specific prompts 转向 generalized formalism。
- ✅ Image-Role Mechanistic Analysis (I-096) — 进行了 training-seed 和 cluster-seed significance testing，以确定 NCL 是否利用了 image features。
- ✅ Model Access & Tool Isolation Verification — 正在调查 GPT-6 Astra 的访问问题，并确保没有 executable tools 通过 Codex/Claude CLI 暴露给 WeChat 界面。
- ✅ Tool Isolation Auditing — 通过 canary testing 确认 cloud models 无法通过 shell 或 MCP tools 访问 local files。
- ✅ PhD Advisor Outreach Workbench — 构建了一个交互式 HTML/JS 工具，用于筛选 87 名 advisors，管理 application statuses，并编写带有集成 paper summaries 的定制化 cold emails。
- ✅ StopCube Pure-Vision Gate Badge Test — 使用 4B 和 27B models 为 StopCube 任务实现并验证了基于 JEV 的 cycle detection 和 gate release mechanism。
- ✅ DLPFC KMeans Control Study — 使用 KMeans 重新运行 DLPFC scoring，以修正之前 mclust runs 中静默回退到 KMeans 的问题，确保 gene-only 和 fusion methods 之间的公平比较。
- ✅ Model CLI Integration & Verification — 通过各自的 CLIs 验证了对 GPT-6 Astra、Claude Sonnet/Haiku 和 local Gemma4 的真实调用。
- ✅ Automated Paper Summarization — 实现了一个 multi-agent pipeline，从 arXiv/OpenAlex 获取 abstracts，并为 advisor papers 生成了 775 份中文摘要。
- ✅ JEV Latency Ablation Study — 运行了三个版本的 latency（Zero, Clean/Injected, 和 Measured/Parallel），以确定 JEV processing delays 对 success rate 的影响。
- ✅ Automated Reply Authorization — 为 30 个 private contacts 和 2 个 groups 启用 automated replies，同时排除 system/bot accounts。
- ✅ WeChat @ Mention Parsing Fix — 修复了由于 WeChat 中 Zstandard compression 导致 @ metadata 丢失的问题。
Implementation & Fixes
- 🔄 Training-seed Paired Testing — 正在运行 background batch jobs 以完成主要的 significance testing (n=100 seeds)。
- ✅ Manuscript Compilation and Verification — 设置了 Tectonic typesetting engine，并验证了 paper text 符合 8-page limit。
- ✅ 16-Task Visual Prompt Audit — 为所有 16 个 RoboMME tasks 编写了包含 VLM planning、JEV predicates 和 visual prompts 的全面 mapping。
- ✅ 10/22 Meeting Summary Documentation — 将所有 experimental findings、robustness tables 和 unresolved questions 汇编成正式报告。
- ✅ WeChat Media Transmission Testing — 通过 virtual machine WeChat client 验证图像、native stickers 和文件的自动化发送。
- ✅ Clipboard Unicode Stability — 解决了在 send-verification loop 中由于 emojis 或特定字符导致 mismatch errors 的问题。
- ✅ Project Directory Archiving — 通过将 test artifacts 和 logs 移动到 archive folder 来重组 project structure，且不干扰 runtime data。
Problems & Solutions
Critical Issues
1. Advisor 担心由于不同任务使用不同问题，导致方法看起来像是 ‘handcrafted’。
Solution: 开发了一个统一的 formalism，其中每个 task 都是在 grounded point 提取的 (Glyph, Predicate, Anchor) 三元组。
Key Insight: 不同的 task behaviors 只是从 closed library 中选择了不同的参数 (statement, region, view)，并应用于同一个 unified loop。
2. DLPFC ‘gene-only’ arms 在 mclust runs 期间静默回退到 KMeans，导致比较失效。
Solution: 在 seed_matrix pipeline 中添加了专门的 ‘kmeans’ cluster_backend mode，以产生明确匹配的 controls。
3. Cloud models (Astra/Claude) 验证失败，因为为了防止 file access 而禁用了 Codex call entry。
Solution: 实现了一个专门的、隔离的 Codex call implementation，在路由之前显式剥离所有 tools 和 file access。
4. JEV latency (Version B) 在 SwingXtimes 和 ButtonUnmaskSwap 等对时间敏感的任务中导致了显著的性能下降。
Solution: 确定性能下降是由于 visual feedback 的延迟（约 26 steps）而非模型的 reasoning quality 造成的；发现 ’non-pausing’ advantage 仅在 latency 低于 ~0.5s 时才成立。
Key Insight: 只有当 JEV latency 保持在 ~0.5s 以下时，’non-pausing’ advantage 才成立；较大的延迟会导致 policy 超过目标值。
5. 会议摘要包含数值差异并夸大了结论（例如，在结果仅为 7/8 时声称其对“所有”情况都成立）。
Solution: 部署了一个 adversarial verification workflow (agent harness) 来根据 CSV 数据检查每一个数字，然后手动修正了草案。
6. 自动发送失败，因为 WeChat 输入框名称被附加了 IME (Input Method Editor) 状态文本。
Solution: 修改了逻辑，在保持严格的 contact name 验证的同时，剥离了 IME 输入状态字符串。
7. 尽管收到了文本，但 assistant 未能响应群聊中的 @ mentions。
Solution: 发现 WeChat 元数据是经过 Zstandard 压缩的，并更新了 parser 以正确解压并提取 mention list。
8. Semantic Scholar API rate limiting (HTTP 429) 导致无法检索所有论文的完整 abstract。
Solution: 实现了一种使用 OpenAlex 和 arXiv 的 fallback mechanism，以找回缺失条目的 abstracts。
9. 由于发送过程中的 UI focus 转移或窗口激活，agent 错误地识别了 contact 变更。
Solution: 实现了 input box reuse logic，以防止对 UI element 进行重复的重新定位和重新搜索。
General Issues#### 10. 由于用户在 live page 上进行手动编辑，导致 artifact publishing 期间出现冲突。
Solution: 通过程序化方式提取用户的已保存状态，并在重新发布前将其与最新的 AI-generated 版本进行合并。
11. Python TypeError in significance script: ‘method’ object is not iterable，由于使用了 df.gt 而不是 df[‘gt’] 引起。
Solution: 更新 analysis/image_role_significance.py，使用方括号 notation 进行列访问，以避免与 DataFrame.gt 方法冲突。
Human vs AI Approaches
Strategic Level
Model Tool Access Policy
| Role | Approach |
|---|---|
| Human | Human 坚持对 cloud models 实施 ‘Zero Tool’ 策略（无直接文件/shell 访问），但希望拥有由 host 驱动的能力，如 search。 |
| AI | AI 最初将 ’no tools’ 理解为完全封锁所有辅助能力（如 search）。 |
Difference Analysis: Human 定义了一个细致的安全边界，即由 Host 通过经过清洗的接口向 Model 提供工具，而不是直接赋予 Model 工具权限。
Experimental Control Design
| Role | Approach |
|---|---|
| Human | 由于 clustering 不一致性（mclust vs KMeans），识别出 DLPFC 需要 ‘matched-algorithm’ control 的需求。 |
| AI | 实现了 KMeans control mode 的技术执行，并管理了 SLURM job array。 |
Difference Analysis: Human 引导了控制组的科学必要性，而 AI 处理了扩展 pipeline 以支持新 backend 的复杂任务。
Workbench UI/UX Requirements
| Role | Approach |
|---|---|
| Human | 要求为 advisor papers 提供特定的组织结构：按 ‘Most Relevant’、‘Most Cited’ 和 ‘Most Recent’ 进行切分。 |
| AI | 最初仅提供了每个 advisor 的所有论文的通用列表。 |
Difference Analysis: Human 提供了为了高效决策（screening）而对信息进行分类的战略方法，随后 AI 通过更新 script 和 template 实现了这一点。
Latency impact interpretation
| Role | Approach |
|---|---|
| Human | 质疑为什么某些 latency 设置似乎比 zero-latency 表现更好。 |
| AI | 澄清该差异处于 stochastic noise 范围内，且真正的失败阈值在 ~1.4s 左右。 |
Difference Analysis: Human 关注意外的正相关性，而 AI 关注统计显著性和 simulator 中的 noise。
Reliability of ‘Pass’ Status
| Role | Approach |
|---|---|
| Human | 要求进行 real-world 验证（检查 WeChat 数据库和 UI bubbles），而不是依赖 local regression tests。 |
| AI | 最初基于 local regression test 的通过率报告成功。 |
Difference Analysis: Human 正确识别出 local test 的成功并不等同于在 VM 环境中 UI 交互的成功。
AI Limitations
Critical Limitations
- AI 在 summary draft 中产生了若干事实错误（例如，误判表现最好的 arm 或过度概括结果），需要通过 adversarial verification 来发现。
- 尽管实际的 WeChat UI 发送操作仍然失败，但 AI 最初基于通过了 61 个 regression tests 而过度自信地报告 ‘fix successful’。
General Limitations
- AI 尝试通过简单的 UTF-8 decoding 来验证文本内容，未能考虑到 WeChat data stream 中的 Zstandard 压缩。
- 无法在 Artifact 环境中直接测试交互式 JavaScript 功能（Save/Draft buttons）。
- AI 未能识别出 27B model 在 StopCube 上的表现受限于 cube 与 target 之间的颜色相似性，需要人工引导进行 rule refinement。
- AI 最初未能检测到 ‘df.gt’ 是一个 method call 而不是列访问，导致了 runtime TypeError。
- AI 最初未能识别出 ‘Astra’ model 的错误是由于 routing/isolation 配置引起的，而非 subscription/login 问题。
Learnings
Key Learnings
- 一个用于 CVPR 的统一 system story 应该强调：特定任务的 protocols 是 generalized formalism (Plan + Pointer) 的 emergent properties。
- Fusion method 的排名（例如 NCL vs Concat）可能会根据使用的 clustering algorithm 而波动；单一的 clusterer 对于稳健的 benchmarking 是不够的。
- NCL 相对于 gene-only methods 的性能提升源于 spatial topology，而非视觉特征本身，这一点从 image-shuffled trials 中缺乏显著性得到了证实。
- 有效的 model isolation 需要一种 ‘Provider-mediated’ 架构，由 application 处理工具执行，并仅将 text/result 反馈给 model。
- 为大规模数据集扩展数据检索需要稳健的多源 fallback 策略 (Semantic Scholar -> OpenAlex -> arXiv) 以应对 API rate limits。
- WeChat 中的 UI automation 对 IME status 的变化高度敏感，这可能会意外改变 element names/attributes。
Conversation Summaries
PhD Application Management
✅ Advisor Outreach Workbench Development 用户请求一个用于筛选 advisors 并起草 emails 的工具。AI 构建了一个包含 87 名 advisors 的综合 HTML workbench，集成了 775 份 paper summaries，并提供了按 relevance、citations 和 recency 的分类。它通过 sub-agents 处理了复杂的数据合并和自动 summary 生成。
Robomme Harness
✅ Manuscript Page Count Verification 用户需要验证 LaTeX 论文的页数。AI 安装了 Tectonic engine，编译了文档，并使用 PyMuPDF 分析页面结构，确认文本符合 8 页的要求。
RoboMME JEV
✅ StopCube, Latency, and CVPR Strategy 完成了 pure-vision StopCube 任务的测试（4B models 达到了 oracle performance）。Latency 测试确认亚秒级延迟是可以忽略的，而 ~1.4s 的延迟会降低性能。制定了 CVPR 计划，将特定任务的 JEV 问题抽象为统一的 predicates 库，并锚定到 VLM-grounded points。
MIHD
✅ Image-Role Mechanistic Study & Algorithm Robustness 21:47:16.477 | claude_code 进行了大规模的 perturbation experiments (I-096) 以测试视觉对 NCL 的贡献。发现了 DLPFC 中的 mclust/KMeans 差异。实现了 KMeans-matched controls，并通过 Wilcoxon tests 验证了结果。在经过 adversarial audit 纠正了 19 个错误后，所有发现都被汇总到了 meeting summary 中。
PersonalAgents
✅ WeChat Automation, Model Integration & Isolation 进行了广泛的 WeChat automation 测试，解决了与 IME status、联系人 mismatching 以及 metadata 中的 Zstandard 压缩相关的 bug（修复了 @mention 问题）。验证了 model integration (GPT-6, Claude, Gemma4)，并通过 sandboxed canary testing 确认了稳健的 ‘Zero-Tool’ isolation 策略。