Daily Report — 2026-09-18
Daily Overview
- 工作内容： 当日重点关注两个主要方向：调试 W4A4 quantized models 中灾难性的成功率下降问题，以及为 Gemini memory writer 设计一个简化的、针对特定任务的 visual prompt schema，同时调查了大学作业中的学术政策和隐藏水印。
- 工作方式： 使用 ablation studies (hybrid checkpoints)、错误分类 (counting vs. target vs. button) 和受控实验 (three-arm memory comparison) 来隔离量化原因，并使用 AI 驱动的 PDF 分析来检测隐藏文本。
- 影响： 确定了 RMSNorm output quantization 是运动误差的主要来源，并建立了一套新的、极简的 visual prompt 标准，以防止 Gemini 过度复杂化其输出，同时确保符合学术规范。
MacOS
- 工作内容： 常规使用 /usage 命令并探索命令可用性。
- 工作方式： 在 AI 环境中执行 local CLI commands。
- 影响： 微乎其微；似乎是探索性的命令测试。
TzJsDesktop
- 工作内容： 对 RoboMemory 进行广泛的错误分析、quantized model 评估以及 PDF 安全审计。
- 工作方式： 运行自动化脚本进行错误分解，检查 checkpoint 一致性，执行 PDF 文本提取和 font-size 分析以查找隐藏水印。
- 影响： 提供了关键证据，证明 W4A4 的失败是由于运动偏差引起的，并验证了作业材料中不存在隐藏的 AI-detection traps。
lighthouse
- 工作内容： 未记录显著活动。
- 工作方式： N/A
- 影响： N/A
当日重点是通过对 RMSNorm outputs 进行 optimal clipping 来解决灾难性的 W4A4 quantization 失败问题，通过层次化错误评分和极简 prompting 来优化基于 Gemini 的 memory extraction，并审计教育文档中的学术诚信政策。
Tasks
Architecture & Strategy
- • W4A4 Quantization Debugging & Fix — 通过 hybrid checkpoint ablation 定位并修复 ‘goal’ 任务中 W4A4 失败的原因，并为 17-35 RMSNorm outputs 实现 per-tensor optimal clipping。
- ✅ Analyze ECE661 HW2 PDF for AI Policy & Watermarks — 解读学术辅助政策，并扫描是否存在旨在针对 AI agents 的不可见 1pt font ’trap’ 指令。
- • Gemini Prompting & Memory Evolution — 通过 ‘chained memory’ 方法，迭代优化 Gemini 的历史回答与当前 frames 之间的交互，以实现稳定、准确且极简的 marking。
- ✅ Error Categorization & Scoring System — 开发了一种多维度的层次化评分指标，以区分 counting、localization 和 redundant marking 错误。
- • Memory Propagation Debugging — 进行受控的 ’no-memory’ 实验，以隔离 multi-ring outputs 是由 prompt 歧义还是 memory carry-over 引起的。
- • MoveCube Action Identification — 分析模型为何无法从 demonstration segments 中正确识别 grasp/push/hook 类型。
- • Formal TF-Enhanced Quantization Rebuild — 使用标准的 AIMET tools 对 backbone 进行重新量化，以生成正式的、可部署的 checkpoint。
- • Libero_10/Object Validation — 在当前测试完成后，验证 optimal-clip fix 是否能推广到其他 suites。
Implementation & Fixes
- ✅ Oracle Consistency Alignment — 统一了 ground truth (Oracle) 与 model (Gemini) 之间关于 buttons 的 marking rules。
Problems & Solutions
Critical Issues
1. W4A4 在 ‘open the middle drawer’ 任务中失败（成功率为 0/50），原因是任务混淆。
Solution: 确定了 17-35 MLP-side RMSNorm outputs 中存在 4-bit quantization noise。对这些特定的 tensors 应用了 per-tensor optimal clipping，将成功率恢复至 98%，同时保持统一的 A4 bitwidth 以确保硬件兼容性。
Key Insight: 该错误是由 RMSNorm outputs 中宽动态范围驱动的，在 min-max quantization 中会浪费分辨率；optimal clipping 将 16 个 levels 重新集中在分布质量中心。
2. 如果 AI 生成完整解决方案或遗漏隐藏指令，可能会违反学术诚信。
Solution: AI 通过识别政策限制主动拒绝生成完整解决方案；执行了针对 1pt font text 的程序化扫描以验证 PDF 安全性。
3. Gemini 在 memory 任务中输出冗余的 ‘rings’ 或 ‘phantom’ badges（在发生前进行计数）。
Solution: 实现了一个带有严格时间指令的 ‘v4’ minimalist prompt，并开发了层次化评分脚本来隔离错误类型。
Key Insight: 通过移除 ‘action planning’ 指令来减轻认知负荷，使模型能够纯粹专注于 ‘state perception’。
4. ‘memory’ 机制可能会传播或 ‘锁定’ 错误的初始选择。
Solution: 修改了 prompt，强调 memory 是引导而非 ground truth，明确允许模型根据新的视觉证据“纠正早期的错误”。
Human vs AI Approaches
Strategic Level
Deployment Strategy (Quantization)
| Role | Approach |
|---|---|
| Human | 建议增加重要 tensors 的 bitwidth (A8) 或全局缩小范围。 |
| AI | 精确锁定特定的瓶颈 tensors (RMSNorm outputs)，并在保持统一 A4 bitwidth 以兼容 QAIRT 的同时，应用 per-tensor optimal clipping。 |
Difference Analysis: AI 方法在针对数学错误来源的同时，保留了硬件要求的统一 bitwidth。
Academic Integrity Compliance
| Role | Approach |
|---|---|
| Human | 决定亲自处理问题解决和代码编写，以遵守规则。 |
| AI | 识别了文本中的限制，并自我修正任务范围，仅作为概念导师进行活动。 |
Difference Analysis: AI 通过根据文档政策自我修正任务范围，展示了高度的伦理一致性。
Root Cause Analysis (Quantization)
| Role | Approach |
|---|---|
| Human | 怀疑是语义/指令混淆（例如，误将 ‘middle’ 与 ’top’ drawer 混淆）。 |
| AI | 提出了一项专注于特定层精度 (RMSNorm, q/k, down_proj) 的 ablation study，以确定错误的数学驱动因素。 |
Difference Analysis: AI 将调查从高层语义混淆转向了底层 tensor 精度。
Gemini Prompting
| Role | Approach |
|---|---|
| Human | 主张采用 ‘memory-only’ 方法，传递坐标但给予模型高度灵活性，通过简洁且指令密集的 prompts 来纠正错误。 |
| AI | 迭代测试了架构变体：per-frame independent、带有 no-reduction 的 chained memory，以及包含坐标的 minimalist prompts。 |
AI Limitations
Critical Limitations
- “chained memory”方法容易受到“error cascades”的影响，即初始错误会被维持，因为模型缺乏重新评估完整历史的机制。
- 模型在区分相似动作（push vs. hook）时的准确性严重依赖于 prompt 中 demonstration frames 的密度。
- shared volumes 上的 Disk space volatility 要求对 11GB temporary buffers 进行仔细管理以防止崩溃。
General Limitations
- “Uniform-A4”候选方案在抓取 handle 时仍显示出一次失败，表明其 execution stability 略低于 float/W4A8。
- 最初关于 W4A4 失败（command confusion）的 AI hypothesis 在 ablation studies 之前缺乏定量支持。
- AI 对隐藏文本的 scan 仅限于 PDF 文件，未涵盖相关的 .ipynb 或 .zip 文件。
Learnings
Key Learnings
- 在 quantization 中，“error”可以是 decision failure（错误的任务）或 precision failure（错误的动作）；必须分别进行测量。
- Instructors 可能会使用 1pt font 的“invisible”文本向 AI agents 传达 policies 或 warnings。
- 使用 chained memory 时，Stability（防止 flickering）与 Accuracy（纠正错误）之间存在直接的张力；“don’t change it”规则提高了 stability 但扼杀了 correction。
- Error scoring 必须是细粒度的；如果 0% 的 success rate 实际上是被冗余 marking errors 掩盖的 100% localization accuracy，那么该指标会产生误导。
- 在 memory 中传递 raw coordinates 会导致“stale”的指向；必须明确告知模型即使目标相同也要进行“re-locate”。
- 任务切换（例如 Middle vs Top drawer）的“error threshold”大约为 1.0-1.5cm；将 quantization noise 降低到此阈值以下至关重要。
Conversation Summaries
pi05_quantization_analysis
• 识别并修复 middle-drawer tasks 中的 W4A4 failure mode。 识别出 17 个特定的 RMSNorm outputs (MLP-side) 为主要 error sources。证明了带有 per-tensor optimal clipping 的 uniform A4 graph 可以恢复 98% 的 success rate，并避免了 QAIRT A8 activation boundary 问题。
ECE661 Homework
✅ AI Policy and Hidden Text Audit 18:11:38.550 | claude_code 对 homework PDF 进行了 AI policies 和 hidden watermarks 的审计。发现了严格的 usage limits，并验证不存在 1pt font 的“traps”。
Gemini Memory Iteration
• 精炼基于 Gemini 的 interaction 以实现 stable marking。 迭代了多种 memory architectures (v1-v4)。从关注 stability 转向关注 accuracy，识别了“rings”和“badges”中的差异。最新的 v4 使用了 condensed prompt 以允许 error correction。
Error Scoring & Oracle Alignment
• 改进 evaluation metrics。 实现了一个细粒度的 scoring script，并更新了 Oracle marking rules，以确保 Gemini 与 ground truth 之间的公平评估。
Uniform-A4 Candidate Validation
• RMSNorm quantization analysis。 调查了为什么与 attention-side 相比，MLP-side 的 RMSNorms 更容易出错，并注意到 GeGLU projection 对 noise 的放大作用。
RoboMemory
• Project Status & Quantization Analysis 对 RoboMemory 进行了全面的 audit，包括对 W4A4 quantization 的 error analysis，并通过 task-specific visual prompts 优化了 Gemini memory extraction。
Tongtongtot
🔍 CLI Usage Exploration 05:13:12.335 | claude_code 用户在 MacOS 上测试了 /usage command 以探索 environment behavior。