是什麼

稀疏注意力限制每個 token 只對部分位置計算或分配注意力權重（如局部窗口、固定間隔、Top-k），而不是平均分散到全部位置，使權重集中在少數關鍵 token。

解決什麼問題

一是降低長序列全注意力 O(n²) 的計算與記憶體成本；二是改善注意力分布過於平均、模型無法聚焦的問題。