Daily Report — 2026-09-30
Daily Overview
- 完成工作： 设计并审计了多个高风险研究项目，涵盖从 robotics benchmark 可用性与 VLM 评估框架，到 quantization 诊断、WeChat bot 个性化以及针对特定硬件的错误调查。
- 实施方式： 采用了多管齐下的技术手段，包括自动化 pipeline 审计、模块化 plugin 开发、通过 python-pptx 进行程序化 PPT 生成、为 visual-only 模式强制执行严格的环境变量，以及通过 hardware-vs-simulation 对比进行系统的 error attribution 扫描。
- 影响： 成功将研究从文档阶段过渡到 operational readiness 阶段，取得了高性能的 VLM 评估结果，建立了稳健的 visual-only 基准，解决了关键的开发基础设施瓶颈，并为处理 quantization 和特定硬件异常提供了清晰的路线图。
今日工作跨越多个领域，包括建立 camera-ready robotics benchmark pipeline，将 OmniJev 评估扩展至 16 个任务，准备战略性研究拆分演示，为基于 Gemini 的 memory 强制执行 visual-only 完整性，解决开发服务器端口泄漏问题，升级 WeChat bot 的 persona，调查 C2S 中特定硬件的 NaN 问题，以及诊断 W4A4 quantization 失败问题。
Tasks
Architecture & Strategy
- ✅ OmniJev 16-task Extension & Evaluation — 为 16 个 RoboMME 任务实现了 shim extensions 和 truth replay，并使用 2B model 进行了完整的 closed-loop 评估，实现了 76.3% 的成功率。
- • Gemini Visual-Only Integrity Enforcement (I-171) — 通过剥离 proprioception 并实现基于 detection 的 visual window tracking，执行纯视觉 Gemini arm ablation（16 个任务）。
- ✅ W4A4 Quantization Accuracy Investigation — 通过 device-vs-simulation 对比和 error attribution 扫描，诊断了 W4A4 simulation 中 0% 成功率的问题。
- ✅ Camera-ready Workspace & Pipeline Audit — 在 tianhe3 上创建了经过验证的 workspace，导入了 code/dependencies，并对 Coffee task pipeline 进行了逐阶段的可用性审计。
- ✅ Strategic Research Split & PPT Generation — 开发了多版本专业演示文稿，提议在不同实验室之间将研究拆分为两个方向（Jev visual reasoning vs. Gemini harness）。
- ✅ Vite Dev Server Exit Synchronization (I-082) — 实现了一种 Rust-to-Vite POST signaling 机制，以确保 clean shutdowns 并防止 Windows 上的 port 1420 泄漏。
- ✅ WeAgent Bot Advanced Feature Upgrade — 为 bot 升级了 model-switching、精细化的 CS assistant persona 以及基于 visual-similarity 的 WeChat sticker 发送系统。
- 🔄 C2S NaN & Pilot Batch Management — 正在调查 C2S 中特定硬件的 NaNs，并监控一批 17 个 pilot submissions 以及 gene encoder notebook 的重新运行情况。
Problems & Solutions
Critical Issues
1. Gemini 驱动的 memory 任务中潜在的 proprioception 泄漏和非视觉窗口推进问题。
Solution: 启用了 ‘VISUAL_ONLY’ 以剥离 state，并启用 ‘VISUAL_TRACK’ 以基于 VLM tip-detections 而非 TCP/proprio data 来推进 windows。
2. OmniJev PickHighlight 报告的 recall 过低，以及 2B model 在 temporal tasks (Swap/StopCube) 中表现不佳。
Solution: 修正了 metric frame population，并将架构转向使用 code 处理 temporal logic/identity，而由 VLM 处理 per-frame perception。
3. W4A4 simulation 显示 0% 成功率，而实际 hardware 保持较高的准确率。
Solution: 确定 simulation 过于悲观，是因为对 hardware 实际以 FP16 处理的 tensors 进行了过于激进的 4-bit rounding。
4. Robotics pipeline 错误，包括 JSON serialization (np.bool_)、BC-RNN 中未裁剪的图像格式以及 human demo state 不匹配。
Solution: 在 ‘core.py’ 中识别了 serialization 需求，在 ‘policy_adapter.py’ 中要求进行 HWC image 修复，并修正了 ‘replay’ 设置以确保 error-state 恢复。
5. 通过 system tray 退出 Tauri app 后，Vite processes 在 Windows 上仍保持活跃。
Solution: 用显式的基于 POST 的 notification 取代了 polling 机制，该通知由 Rust backend 发送到专门的 Vite plugin endpoint。
6. WeChat stickers 被作为 images 发送，以及错误的 database confirmation 报错。
Solution: 实现了基于 UIA 的 panel browsing 用于 sticker similarity 匹配，并禁用了严格验证以处理 WeChat write latency。
7. C2S 在特定 GPU nodes 上出现 NaNs 以及无效的 matrix command arguments。
Solution: 识别了特定节点的硬件问题 (h36-6) 并将其从 templates 中排除；通过 subagent audit 协调了 command arguments。
Human vs AI Approaches
Strategic Level
Architectural Strategy
| Role | Approach |
|---|---|
| Human | 坚持将 ‘state/identity’ (code) 与 ‘perception’ (VLM) 分离，并倾向于使用 broadcast/signaling 而非 polling 来处理 exit signals。 |
| AI | 最初尝试使用 VLM 进行所有决策，并利用标准的 polling loop 进行 process management。 |
Difference Analysis: Human insights 优化了模型性能和系统 robustness。
Project Pivot & Scope
| Role | Approach |
|---|---|
| Human | 指导从被动文档转向实际的 usability audits，并坚持进行全规模的任务扩展以实现公平比较。 |
| AI | 专注于 baseline 文档和初始的成功任务。 |
Difference Analysis: Human intervention 将任务转向了 operational readiness 和严格的 benchmarking。
Recovery & Communication
| Role | Approach |
|---|---|
| Human | 优先考虑覆盖所有潜在的 recovery 途径（如 device-faithful simulation 等），并为 faculty 制定了外交式的沟通策略。 |
| AI | 提出了具体的 technical paths (attribution sweeps)，并将逻辑细化为 ‘respect-first’ 的沟通框架。 |
Difference Analysis: Human 提供了战略广度和外交技巧，而 AI 提供了结构化的执行。
AI Limitations
Critical Limitations
- 在模拟 ‘pure visual’ 模式方面存在固有局限性（潜在的 lag/drift），以及基于 UI 的 expression browser 速度较慢（每个 sticker 需 5-7s）。
- 在 temporal reasoning (identity tracking)、高精度 point generation 以及复杂的 custom data structure 错误 (AttributeError/KeyError) 方面表现挣扎。
General Limitations
- 遇到了环境限制（向 memory directories 写入）以及需要人工干预的 shell redirection/tool-call 阻断。
Learnings
Key Learnings- 一个轻量级的 2B VLM 在识别方面表现出色，但在 temporal reasoning 和 identity tracking 方面需要 code-driven assistance。
- 在特定硬件上，由于硬件在某些 ops 上会自动使用 FP16，导致 4-bit simulations 在预测 accuracy 时不可靠。
- 对所有 randomness 进行 seeding（包括 env resets 和 Python 的 hash()）对于 robotics benchmark 的 reproducibility 至关重要。
- Visual prompts（将 memory 绘制到 observation 中）在 path-related tasks 中的表现显著优于 text-based memory。
- 在 Tauri/Vite 等 multi-process environments 中，显式的 exit signaling 比在 Windows 上的 ancestry/polling tracking 更稳健。
Conversation Summaries
ErrorRecoveryBenchmark
✅ Workspace Setup & Pipeline Usability 在 tianhe3 上建立了 patched workspace，并对 coffee task 进行了全面审计，识别出 phase labeling 和 error-state restoration 中的关键缺陷。
RoboMemory
✅ OmniJev Expansion & Strategic Research Split 将 OmniJev 扩展至 16 个 tasks，成功率为 76.3%。同时准备了一份战略演示文稿，旨在将研究分为两个独立的 tracks (Jev vs. Gemini)，并为基于 Gemini 的实验强制执行了 ‘pure-visual’ integrity。
TokenMonitor
✅ Vite Port Leak Resolution 通过实现一种 Rust-to-Vite POST signaling mechanism，解决了 Vite processes 在 Windows 上占用 port 1420 的问题。
WeAgent Bot
✅ Persona & Emoji System Development 升级了 bot，使其拥有更精细的 CS assistant persona，并开发了一种基于 visual-similarity 的机制来发送真实的 WeChat stickers。
MihD-dev
✅ C2S NaN Investigation & Pilot Submission 调查了 C2S NaNs，确认了某些 nodes 上的 hardware-specific issues，并在修正 command arguments 后提交了一批 pilot experiments。
Qualcomm Project
✅ W4A4 Quantization Failure Analysis 识别出 W4A4 quantization simulation artifacts 是导致 0% success rate 的原因，而 real hardware 通过在某些 operations 上使用 FP16，表现要好得多。