文章详情

FlashAttention

一、引言 Transformer 模型自诞生以来，已成为自然语言处理、计算机视觉、语音等领域的核心架构。而 Attention 机制作为 Transformer 的核心计算模块，其计算复杂度和显存占用在处理长序列时常常成为性能瓶颈。传统 Attention 的时间和空间复杂度为 O(n^2)，这在大规模模型或长文本输入中表现为效率低下、显存不足。 Flash

3 阅读