Daily Report — 2026-10-15
Daily Overview
- 工作内容： 精炼了 PhD Statement of Purpose 和申请材料，完成了一篇高容量 Nature Methods 手稿审核，并为 WeChat AI assistant 集成了轻量级 OCR 和自动化测试。
- 工作方式： 利用迭代式叙述编辑、大规模论文审核，以及将基于 CPU 的 RapidOCR engine 与专门的批量测试脚本进行集成。
- 影响： 为申请建立了连贯的研究叙述，为高影响力手稿发表提供了结构化的路线图，并为现实世界的多模态交互实现了鲁棒、低延迟的文本识别。
今日重点是通过 SOP 精炼推进 PhD 申请，基于 Nature Methods 标准优化科学手稿，并通过基于 CPU 的 OCR 和鲁棒的自动化测试显著增强了 AI assistant 的 WeChat 集成。
Tasks
Architecture & Strategy
- ✅ SOP Refinement — 编辑了 Statement of Purpose 以确保叙述的连贯性，特别是关于 Latent Bridge 和 visual prompting 研究的部分。
- ✅ WeChat Media OCR Integration — 使用 RapidOCR 实现了一个基于 CPU 的 OCR worker，用于从输入的图像、stickers 和长截图提取文本。
- ✅ Recommender Outreach Preparation — 为 Prof. Jun Yang 和 Prof. Brandon Fain 起草了个性化的最终邮件，包括截止日期和关键谈话要点。
- ✅ WeChat Send-Suite & Testing — 开发了一个专门的批量测试脚本 (TEST_SEND.bat) 用于发送各种媒体类型，并运行了回归测试套件以确保系统稳定性。
- • Manuscript Restructuring — 正在审查拟定的 Results 部分顺序（7 个章节）以及以 benchmark 为中心的的标题/摘要，以符合 Nature Methods 标准。
Implementation & Fixes
- ✅ UI/UX Refinement for Media Display — 更新 Web 界面，将提取的 OCR 文本和 AI model 的解释作为独立的、不同的部分显示。
- ✅ Application Material Organization — 生成了 SOP PDF，并将所需的附件（CV, Transcript, SOP）整理到结构化的桌面文件夹中。
- ✅ Automated Reply Safety Enforcement — 修改了系统设置，以确保在测试过程中自动回复保持禁用状态。
Problems & Solutions
Critical Issues
1. LLM 误解图像中的文本，且由于缩放导致长截图中的清晰度丢失。
Solution: 通过使用带有本地 CPU OCR engine 的分段读取方法，将文本提取与语义解释解耦。
Key Insight: 对于多模态 assistant，将“写了什么”（OCR）与“意味着什么”（LLM）分离可以显著减少 hallucinations。
2. “Latent Bridge” 的 SOP 叙述缺乏连贯的研究弧线，听起来像是技术上的不匹配。
Solution: 重写了该部分，使用“recovery thresholds”作为统一主题，将“方法做了什么”与关于 system vs. policy errors 的“经验教训”联系起来。
Key Insight: 通过共同的主题将单个研究项目连接起来，比将它们作为孤立的成功案例呈现能创造更强大的叙述弧线。
3. OCR 误识别符号（例如将 ‘?’ 识别为 ‘2’）以及测试风险干扰在线服务。
Solution: 为低置信度的字符实现了不确定性标签 ‘[疑似符号，需核对]’，并创建了一个会暂停接收服务的“仅测试”模式。
Key Insight: 构建一个可以安全暂停主服务的“仅测试”模式对于防止 race conditions 至关重要。
4. 手稿标题和结果过度宣称了 “agent” 的影响力，并使用了未经证实的指标。
Solution: 修改标题以专注于 benchmarking 和 capability；将 agent harness 移至 Methods 部分，以符合 Nature Methods 对基于证据写作的偏好。
Key Insight: Nature Methods 的作者更喜欢“capability”（它能做什么）而不是“automation”（它是如何完成的）。
General Issues
5. 管理推荐人的大量工作量以及诸如 sticker 域名拦截之类的技术 bug。
Solution: 在邮件中加入了体谅性的语言以减轻工作量感知，并更新了 WeChat sticker CDNs 的域名白名单。
Human vs AI Approaches
Strategic Level
Project Consolidation & Planning
| Role | Approach |
|---|---|
| Human | 提出了一个细粒度的、多步骤的计划，涉及统一的工作空间、功能清单，以及使用特定技术约束的 agent 引导集成。 |
| AI | 建议了高层级的整合，但需要人类干预来定义技术工作流。 |
Difference Analysis: 人类提供了结构化的路线图和针对 agents 的“如何做”，而 AI 仍停留在通用的概念层面。
SOP & Research Narrative Strategy
| Role | Approach |
|---|---|
| Human | 通过将 Markovian 局限性与特定任务联系起来，并构思“recovery threshold”来统一研究项目，提供了战略性的“为什么”。 |
| AI | 最初试图提取技术趋势，并进行了在笔记中并未明确说明的“推断式”连接。 |
Difference Analysis: 人类提供了 AI 所缺乏的高层级概念化和逻辑流。
Manuscript & Architecture Design
| Role | Approach |
|---|---|
| Human | 建议将 agent harness 作为 pipeline 的一部分（Methods），并提出了统一的“接收/发送”架构。 |
| AI | 将 agent harness 视为主要的贡献/头条，并专注于单个任务的实现。 |
Difference Analysis: 人类专注于战略定位和架构的简洁性，而 AI 专注于特定实现的任务。
AI Limitations
Critical Limitations
- AI 试图“推断”不属于用户实际计划的研究方向，导致 SOP 内容不准确。
- 当前基于 agent 的 harness 效果在手稿中未经过测量，且 0/260 篇 NM 论文使用这些术语。
General Limitations
- 在实现 OCR 之前，AI 无法识别图像中的特定字符，且无法在 VM 上自主执行批量测试。
- AI 的写作偶尔会变得“说教式”，过度解释“经验教训”而非事实，并且难以区分“解析成功”与“内容准确性”。
Learnings
Key Learnings
- 有效的研究叙述是通过将技术局限性（例如 Markovian 属性）与特定的问题领域和提出的解决方案联系起来构建的。
- 对于多模态 assistant，将“写了什么”（OCR）与“意味着什么”（LLM）分离可以显著减少 hallucinations 并提高可靠性。
- 在开发自动化交互器时，构建一个可以安全暂停主服务的“仅测试”模式对于防止 race conditions 至关重要。
- Nature Methods 的作者更喜欢“capability”（它能做什么）而不是“automation”（它是如何完成的）。
Conversation Summaries
PhD Application**✅ SOP Refinement and Recommender Strategy**
通过 policy recovery thresholds 的概念，迭代编辑了 Statement of Purpose，以整合关于 FLARE, RecoverBench, Latent Bridge 和 Visual Prompting 的研究。准备并整理了所有用于教授联络的材料。
MIHD Writing Audit
✅ Audit Report Generation 运行了 260 篇论文的 audit 以优化 manuscript framing。识别了 title, abstract 和 results architecture 中的关键差距，并提出了符合 Nature Methods 规范的重构方案。
MihD Research
✅ Fusion Research & Literature Review 回顾了 fusion research 的进展；8 个 sub-agents 完成了对各种 fusion mechanisms（例如 cross-attention, graph fusion）的调研，引用了 184 个来源。
WeAgent
✅ WeChat Media Extraction & OCR Integration 解决了 media identification 和 domain blocking 的 bug。集成了一个轻量级的 RapidOCR worker 以实现高精度文本提取，并为 WeChat 发送功能部署了一套全面的 batch testing suite。
PersonalAgent
✅ Consolidation Strategy 制定了一项战略计划，通过使用共享的 workspace 和专门的 agent prompts，将多个 AI 项目整合进一个单一、统一的 ecosystem 中。