先把大表存下来
QKᵀ → HBM 中的 S → Softmax → HBM 中的 P → PV → O。
GPU · 从分块到输出
FlashAttention：直接看矩阵子块搬运
FlashAttention & FlashAttention-2 · Matrix tile transfers
Q、Kᵀ、V 怎样拆块 → 怎样搬到片上 → 怎样形成 O → 写回哪里。
同一组输入 · 同一个 Attention 输出
索引从 0 开始 · 单 Head · 前向
Q · 查询块 QueryKᵀ · 匹配块 KeyV · 内容块 ValueO · 部分输出 PartialO · 最终输出 Final
执行进度
点击完整 Q 或 Kᵀ 中的子块可切换计算位置。移动的是带原元素值的矩阵子块，源矩阵保留，副本进入片上；O 子块直接落回对应输出行。
K/V 固定，Q 逐块扫过
当前 Kⱼ、Vⱼ 服务每个 Qᵢ。每轮把 Oᵢ 与 Softmax 状态写回；之后继续更新同一位置。
Q 块独立，汇总留在片上
每个 Qᵢ 对应独立任务，遍历所有 Kⱼ、Vⱼ 后才写回 Oᵢ。不同任务可并行调度。
数学含义、动画口径与原论文 · Model and papers
- Q、K、V 的形状均为 N×d。图中 K 以 Kᵀ：d×N 的逻辑视图呈现；Qᵢ 为 Bᵣ×d，Kⱼᵀ 为 d×B꜀，Vⱼ 为 B꜀×d。Sᵢⱼ=QᵢKⱼᵀ/√d 为 Bᵣ×B꜀，pᵢⱼVⱼ 为 Bᵣ×d。
- 在线 Softmax：m′=max(m,rowmax(S))，α=exp(m−m′)，p=exp(S−m′)，l′=αl+rowsum(p)，u′=αu+pV。FA1 用 u=lO 恢复旧贡献，每阶段归一化并写回；FA2 保留 u，最终 O=u/l。局部 p 未独立归一化。
- FA1 采用原论文 Algorithm 1 的 K/V 外层循环；FA2 的 Q 块是独立 CUDA Block 任务。动画按顺序展开 FA2 任务便于观察，并不意味着它们必须串行。
- FA1 Warp 按 K/V 切分会产生需要合并的输出部分和；FA2 Warp 按 Q 行切分，让不同输出行归属不同 Warp，减少此类合并。图中没有模拟所有同步、缓存命中或指令流水线。
- HBM 保存全局 Q、K、V、O 与所需状态。片上区包含 SRAM / 共享内存及寄存器；运算由 SM 执行单元完成。动画直接框选完整矩阵里的子块；FA1 / FA2 不在 HBM 分配完整 S/P。
- O 以与 Q 相同的 N×d 方向呈现，第 i 个行块总与 Qᵢ 对应。动画速度不代表真实硬件耗时。
- 演示以同一组数值实际计算三种输出并校验，完整输入、输出和片上子矩阵均显示元素，数值显示作了舍入。仅演示无掩码前向。