Daily Report — 2026-09-08
Daily Overview
- 工作内容： 今日工作涉及对一个 tile-game RL framework 进行深度的架构重构，以解决探索和特征依赖问题；为 VLM memory recording 实现了一个新的 quad-writer；并将 MIHD 项目从实验分析阶段转向 manuscript 准备阶段。
- 实现方式： 通过使用 Deep Sets 原理重新设计 observation spaces、应用 logit shrinking 以防止 BC 驱动的 policy saturation、为 VLM 任务实现 classification-then-tracking 层级结构，以及综合 Visium HD benchmarking 数据来实现改进。
- 影响： 这些工作显著提高了游戏决策的可靠性，为多样化的 VLM memory 任务建立了稳健的 protocol，并为 MIHD manuscript 提供了严谨的基础。
完成了针对 tile-matching game 的 Phase-5 PPO v2 RL framework 的全面重构，为 RoboMME 中的 VLM memory 任务实现了 quad-writer 模块，并完成了 MIHD 项目的 benchmarking 实验。
Tasks
Architecture & Strategy
- 🔄 MIHD Manuscript Preparation (I-033) — 将实验数据（DLPFC clustering、Visium HD scaling 和 cross-section protocols）整合进正式的论文结构中。
- 🔄 Implement Quad-Writer (I-141) — 开发了一个 VLM writer，在执行特定的 tracking 和 glyph drawing 之前，将 16 个 RoboMME 任务分类到一个 2x2 矩阵中（Arm/Object × Before/During）。
- ✅ HD k-sensitivity Sweep (I-038) — 提交了一个 SLURM array job，以验证 Visium HD ’narrow band’ 的发现是否为固定 k=4 产生的 artifacts。
- • Architecture Redesign (v2) & RL Observation Reform — 使用 ‘Deep Sets’ 方法重建了 Actor network：用数值特征和对称关系矩阵取代了 pattern ID one-hot encodings，以实现 permutation invariance 并防止 pattern collision。修正了空间编码错误 (grid_x/y) 以确保有效的 feature inputs。
- • Simulator & Solver Expansion/Fixes — 扩展了 simulator 以包含复杂规则（buffer zones、item counts、auto-remove），并修复了关键的 solver bugs，包括错误的 tray occupancy counting（将未知 tiles 视为已占用）和不准确的 plan cost estimation。
- 🔄 Training & Exploration Optimization — 完成了 3M steps 的 PPO training。为了解决由 Behavior Cloning (BC) weights 导致的 policy saturation，正在实现 ‘Logit Shrink’ (policy smoothing) 并增加了 entropy coefficients 以恢复探索能力。
- • Real-world Inference (capture.py) — 升级了 real-world recognition pipeline，增加了 item detection、buffer state recognition 以及基于 action outcomes 的 session logging。
Implementation & Fixes
- ✅ Administrative & Miscellaneous — 创建了 AGENTS.md contributor guide，将 Idea Graph 迁移到了 project-level 结构，并协助完成了 ECE661 homework 的 LaTeX 迁移。
Problems & Solutions
Critical Issues
1. 由于 pattern ID 依赖和 one-hot encoding 限制导致的决策不稳定和碰撞。
Solution: 切换到受 Deep Sets 启发的架构，使用数值特征和对称关系矩阵以确保 permutation invariance。
2. VLM 在区分 arm motion 和 scene changes 时存在不准确性。
Solution: 引入 ‘Quad-Writer’ 层级结构，在进行 visual grounding 之前对任务上下文（subject 和 timing）进行分类。
3. Solver 在 tray capacity 以及未知 tiles/occlusions 方面的准确性问题。
Solution: 更新了 simulator logic，将未识别的 patterns 视为占用了一个 slot，并完善了 occlusion unlocking rules。
4. 由高置信度 BC pre-training 导致的 RL policy saturation 和缺乏探索。
Solution: 实施了 Logit Shrink (policy smoothing) 以在不改变 argmax 顺序的情况下增加 distribution entropy，同时增加了 entropy coefficients。
General Issues
5. 由于多线程非确定性导致的 quad-writer 自测失败。
Solution: 在自测中将 ‘workers=1’ 固定，以确保顺序数据传输。
6. 在狭窄间隙中检测 patterns 的精度较低。
Solution: 实现了一种使用局部 pixel features 和 positional constraints 的 grid-aligned ‘gap matching’ 算法。
Human vs AI Approaches
Strategic Level
VLM Writer Architecture
| Role | Approach |
|---|---|
| Human | 定义了一个根本性的分类学转变：在 grounding 之前通过 2x2 矩阵（Arm/Object x Before/During）对任务进行分类。 |
| AI | 通过重新利用现有的代码组件（如 ‘chunk_loop’）建议实现路径。 |
Difference Analysis: Human 提供了重新定义 prompt generation 过程的高层架构分类学。
RL Improvement Strategy
| Role | Approach |
|---|---|
| Human | 提出了一个高层的混合架构愿景：Reliable state tracking + Limited search + RL scoring。 |
| AI | 最初建议 deep search，但随后转向了技术实现细节，如修复 observability 和 input features。 |
Difference Analysis: Human 提供了战略框架，而 AI 专注于识别特定的技术缺陷（例如 coordinate modulo bug）。
Planning Capability Verification
| Role | Approach |
|---|---|
| Human | 定性观察 BC 是否理解 elimination logic。 |
| AI | 定量消融实验：测量移除显式 policy hints 时的 win rate degradation，以观察模型是否学习了隐式 planning。 |
Difference Analysis: AI 提出了一种科学的 ablation methodology 来证明自主 feature utilization。
Sim-to-Real Alignment
| Role | Approach |
|---|---|
| Human | 对 real-world performance 的直接观察。 |
| AI | 通过注入人工 ‘recognition defects’（错位的 cards/掉落的 items）对 simulator 进行压力测试，以预测实际性能。 |
Difference Analysis: AI 建议通过主动错误注入来弥合 simulation 与 reality 之间的差距。
AI Limitations
Critical Limitations
- AI 最初未能检测到一个数学错误，即 RL coordinates 被一个 modulo operator 清零了。
General Limitations
- 执行限制：受安全协议限制无法直接执行 ‘git’ 或 ‘python’ 命令，并且由于 coordinate bounds errors 在精确的浏览器交互（Overleaf）方面表现挣扎。
- 由于输入 features 中缺乏显式的 spatial coordinates，无法直接证明获得了 spatial priors（例如 ‘deep middle, shallow sides’）。
Learnings
Key Learnings- 在无序集合（如 game tiles）中，symmetric aggregation (Deep Sets) 显著优于 one-hot encoding，因为它消除了对任意 ID 的依赖。
- 在高分辨率空间任务 (Visium HD) 中，在小尺寸 crops 中观察到的 foundation models 的 zero-shot 优势在扩展到 full-slide tiling 时往往会减弱。
- Cross-section niche retrieval 需要在不同 slices 之间保持一致的坐标含义，以避免产生伪结果。
- Behavior Cloning (BC) 是一种强大的 pre-training 工具，但如果 policy 变得过于 peaked，可能会导致“exploration dead-ends”；进行 temperature smoothing 或 entropy adjustment 是必不可少的。
- 对于 discrete planning 问题，Feature engineering 的质量（如消除 ID 依赖、添加 action-effect states）比单纯增加 model parameter count 是更有效的杠杆。
Conversation Summaries
Sheep RL v2 / TestYang
🔄 Tile Game Solver & RL Optimization 对 tile-matching game advisor 进行了大规模重构。这包括修复关键的 solver logic（tray occupancy/occlusion），使用 Deep Sets 重新设计 RL observation space 以防止 pattern collisions，并实施了 logit-shrinking strategy 来克服 BC 导致的 policy saturation。此次更新还集成了先进的 simulator rules 并提升了 real-world inference 能力。
RoboMemory
🔄 Quad-Writer Implementation (I-141) 开发了一种新的 VLM strategy，通过将 16 个 RoboMME 任务分为四个象限 (Who/When) 来进行处理。实现了 quad_writer.py 模块，并为在 local 和 cloud 环境下的 batch evaluation 准备了框架。
MIHD
✅ Manuscript and Experiment Finalization 完成了 MIHD 的 benchmarking 阶段。将关于 DLPFC clustering、Visium HD scaling 以及 cross-section query protocols 的研究结果整合进一篇 manuscript 中，同时提交了 k-sensitivity sweep jobs 以进行进一步验证。
ECE661
🔍 Markdown to LaTeX Migration 协助将 homework Markdown 文件转换为 Overleaf 所需的 LaTeX 格式，尽管遇到了 window coordinate 问题，但仍在探索 agentic automation。