Daily Report — 2026-10-14
Daily Overview
- 完成工作： 当天的工作重点集中在三个主要领域的技术优化：修复 macOS audio capture 的弃用问题，将 RoboMME VLM harness 重构为统一协议，以及完成一个稳健的 WeChat media processing pipeline，同时进行了密集的 PhD 申请战略规划。
- 实施方式： 技术执行包括调试 Swift/AVFoundation，设计三步走的统一 VLM writer pipeline，实现带有任务队列优化的媒体解码（SILK/animation frames），并使用 AI agents 进行学术研究和文档起草。
- 影响： 成功确保了软件与 macOS 27 的兼容性，为机器人领域的 Sim2Real 测试建立了严谨的框架，将 WeChat 个人 agent 从纯文本能力提升至全媒体能力，并制定了高精度的 PhD 申请路线图。
MacOS
- 完成工作： 调试了 LiveCaption 项目中的 Swift deprecation warnings。
- 实施方式： 在
LiveSubtitle.swift中将已弃用的installTap替换为installAudioTap，以保持与 macOS 27 的兼容性。 - 影响： 解决了编译器警告，并确保了 ASR pipeline 中麦克风采集的稳定性。
TzJsDesktop
- 完成工作： 执行了高层级系统架构重构、学术战略规划以及媒体 pipeline 开发。
- 实施方式： 利用 Bash、Codex 和 AI agents 审计
drawn_memory库，实现 WeChat media parsing 逻辑（pillow/pilk/ffmpeg），并完善了 PhD SOP 和 advisor rosters。 - 影响： 交付了一份统一的 RoboMME 设计规范、一个经过验证的 WeChat media retrieval 系统，以及一份涵盖 19 所学校、数据驱动的 PhD 申请计划。
当天的工作涉及解决 macOS audio 弃用问题、重构 RoboMME VLM harness 以实现任务统一、优化 WeChat media processing pipeline，并执行了战略性的 PhD 申请规划。
Tasks
Architecture & Strategy
- ✅ Draft PhD Statement of Purpose — 撰写并完善约 850 字的 SOP，强调研究逻辑（FLARE, RecoverBench, Visual Prompting Harness, 和 Latent Bridge）。
- ✅ Harness Unification Design — 创建了一份设计文档，通过标准化 VLM writer 输入（camera views）、问卷流程和绘图规则，实现 16 个任务的统一。
- ✅ WeChat Media Pipeline Implementation — 实现图像、贴纸、文件和 SILK 语音消息的解码与检索。
- ✅ Generate Advisor Shortlist Artifact — 创建了一个基于 Web 的交互式名单，包含 19 所学校的 41 位 advisors，并附带针对特定项目的建议。
- ✅ Queue Priority Optimization — 调整了媒体附件识别的优先级，以防止其被长耗时的 summary generation 任务阻塞。
- ✅ Sticker/Animation Frame Handling — 实现了一种 contact sheet 方法，将多个 animation frames 合并为单张图像，以实现模型兼容性。
Implementation & Fixes
- ✅ Experiment Result Consolidation — 对不同设置（empty, scramble, free 等）下的实验结果进行了重新对齐和汇总，以识别受限写作与自由格式写作之间的性能差距。
- ✅ Regression Testing — 运行了完整的 regression suite（147 项测试）和专门的 WeChat media 测试（26 项测试）。
- ✅ Verify University Requirements — 研究目标 PhD 项目的字数限制、GRE 政策以及特定系的申请规则。
- ✅ Onboarding Documentation — 为新开发者编写了设置 RoboHarness 环境的指南，包括本地离线测试和 GPU cluster 部署说明。
- ✅ Fix LiveCaption Deprecation — 在 LiveSubtitle.swift 中更新了 macOS 27 弃用的 audio tap API。
Problems & Solutions
Critical Issues
1. 当前的 harness 使用特定任务的配置，阻碍了真正的泛化性主张，并导致比较不公平。
Solution: 提出了一个“三步统一 Writer”，使用标准化的开场问卷来决定激活哪些 memory types（count, ring, arrow, route）。
2. SOP 中关于 FLARE 的段落显得逻辑不通且脱节。
Solution: 重构了叙述逻辑以解释“原因”：在 failure-free 数据上训练 $\rightarrow$ 产生虚假的 pose-progress 关联 $\rightarrow$ 需要进行 perturbation-bridging 增强。
3. 在统一过程中如果移除特定任务的“技巧（tricks）”，可能会导致性能下降。
Solution: 计划分阶段验证：首先进行“ground truth”注入测试，然后进行离线 snippet 测试，最后在 Tianhe3 上进行小规模闭环运行。
4. 媒体附件识别被任务队列中运行时间较长的 summary generation 任务延迟。
Solution: 重新调整了媒体识别的优先级，使其与 summary generation 处于同一级别，确保在不增加额外模型负载的情况下进行顺序处理。
5. 由于接口兼容性问题，AI 模型在处理多帧 animated stickers 时表现挣扎。
Solution: 通过将所有采样的 animation frames 粘贴到单张宽图中创建“contact sheet”，以便模型处理。
General Issues
6. 在添加特定学校的段落后，SOP 长度超过了常见的 1,000 字限制。
Solution: 通过删除冗余的结果和次要的研究故事，将正文大幅缩减至约 830 字。
7. 由于浏览器滚动覆盖，HTML artifact 的 jump-to-anchor 功能在页面加载时失败。
Solution: 实现了一个带有轻微 timeout 的 window.load event listener，以重新触发 goHash() 函数。
8. macOS 27 上的 Swift installTap 警告。
Solution: 切换到 installAudioTap 并实现了一个 buffer copy，以保持与现有 float conversion 逻辑的兼容性。
9. 在 UI 更新后，现有测试中关于网页措辞的断言错误。
Solution: 更新了测试用例，以断言正确的 “publication refused” 状态，而不是过时的措辞。
Human vs AI Approaches
Strategic Level
SOP Argumentation for FLARE
| Role | Approach |
|---|---|
| Human | 主张 retry 和 reset 之间的区别应通过 “in-distribution” 与 “out-of-distribution” 或 “task change” 来界定，而不是仅仅归结为 “policy failure”，以避免看起来像是在过拟合。 |
| AI | 最初建议直接使用 “out-of-distribution” 作为 reset 的原因，用户指出这可能会暗示泛化能力的弱点。 |
Difference Analysis: 人类提供了关键的细微差别，即 reset 是对任务变化（例如，倒下的积木）的响应，而不是模型泛化能力的失败。
System Architecture Unification| Role | Approach |
|——|——| | Human | 要求将所有 16 个任务视为具有相同操作的单一实体，并提供了特定的 baseline 要求 (GPT-6, Gemini, Qwen)。 | | AI | 迭代分析代码以识别任务目前为何存在差异，并提出了一个用于桥接它们的结构化逻辑。 |
Difference Analysis: Human 设定了战略方向（统一化和特定的 baseline 对比），而 AI 将这些要求转化为了技术实现方案。
SOP Narrative Flow
| Role | Approach |
|---|---|
| Human | 要求更具有机性的逻辑过渡（例如，通过“未能意识到错误发生”来连接 ‘awareness’ 与 ‘memory’）。 |
| AI | 尝试使用标准的学术措辞来桥接主题，如 ‘Awareness requires memory’ 或 ‘What the benchmark revealed was sobering’。 |
Difference Analysis: Human 推动了更紧密、更直观的联系：指出 policy 之所以失败是因为缺乏 awareness，而 awareness 从根本上需要 memory。
Media Verification Logic
| Role | Approach |
|---|---|
| Human | Human 坚持区分 ‘parsing success’ 与 ‘content accuracy’，以防止模型在添加幻觉细节时产生 false positives。 |
| AI | AI 最初尝试将 parsing 和 accuracy 归为单一的 ‘pass’ 指标。 |
Difference Analysis: Human 为视觉描述的准确性引入了更严格的验证标准。
AI Limitations
General Limitations
- AI 在图像识别中偶尔会幻觉出额外的描述性细节（例如，识别不存在的 icon），这需要由 human 定义 successful parsing 与 accurate description 之间的区别。
- AI 使用 ‘ad-hoc’ 的方式在专业的 Statement of Purpose 上下文中可能显得过于批判或负面。
- AI 最初包含了用户希望保持私密或泛化的引用或特定姓名 (Guanbin Li, Sun Yat-sen University)。
- 在用户针对 ‘MoveCube’ 实验提供具体反馈之前，AI 最初在用户关于 baseline 对比和任务统一性的确切要求上表现挣扎。
Learnings
Key Learnings
- 在 VLM 驱动的 visual prompting 中，受限写作（提出狭窄、具体的问题）的表现显著优于自由形式写作 (53/65 vs 39/65 successes)。
- 在描述研究时，应关注解决方案背后的 ‘bottleneck’ 和 ‘reasoning’，而不仅仅是列出高性能指标。
- 在 PhD 申请中，要区分模型的泛化失败与环境 task state 的根本变化。
- 在 agentic workflows 中，任务队列优先级至关重要，以防止高延迟任务（如 summarization）阻塞对时间敏感的 media processing。
- 对 animated stickers 使用 ‘contact sheet’ 方法是支持仅接受单张图像输入的 LLMs 的有效方式。
Conversation Summaries
LiveCaption
✅ Swift Deprecation Fix
10:49:00-04:00 | cursor
解决了关于 audio taps 的 macOS 27 deprecation warnings。使用 installAudioTap 替换了 legacy method 并验证了 build process。
PhD Application Strategy
✅ SOP and Advisor Shortlist Refinement 03:10:29.004 | claude_code 对 Statement of Purpose 进行了深度的迭代编辑，以确保逻辑流和技术准确性。同时构建了一个复杂的、交互式的 advisor roster 和 program recommendation tool，并考虑了多部门申请策略和 university constraints。
RoboMME Harness
✅ Unified VLM Writer Design and Documentation 用户要求对 16 个 RoboMME 任务进行完全统一。AI 分析了当前的差异，提出了标准化的 3-step VLM reasoning/drawing protocol，并生成了两份主要文档：一份技术设计规范和一份 developer onboarding guide。
LIBERO-PRO Analysis
🔍 Instruction Source and Environment Discrepancies 一个关于为什么 LIBERO-PRO benchmark 中的某些设置不一致的 legacy/continued session。解决了关于 BDDL instruction sources 和 simulation 中 environment stability 的问题。
WeChat Media Integration
✅ WeChat Media Pipeline Completion 04:13:29.332 | codex Agent 分析了现有的 test failures，实现了 media decoding (SILK, image, file)，并优化了 job queue。它使用用于 image, sticker, file, 和 voice media 的 synthetic fixtures 验证了整个 pipeline。
PersonalAgents Core
✅ System Regression and Deployment 05:00:00.000 | codex 对更新后的 bridge 进行了完整的 VM 部署并重启了 host server。运行了大规模的 regression suites，并验证了新的 media endpoints 是可达且稳定的。