注意力机制是一种使神经网络在生成输出序列的每个元素时能够根据上下文动态调整焦点的技术，在机器翻译、文本摘要等序列到序列任务中显著提升了模型性能 H2O.ai. 具体而言，模型首先将查询（如解码器隐藏状态）与键-值对集合（如编码器输出）进行兼容性评分计算，然后根据这些权重对值向量加权求和，生成加权表示，从而突出最相关的信息区域 维基百科. 主流变体包括加性注意力、点积注意力和多头注意力，多头注意力通过并行的注意力头捕捉多样化的语义关联，为模型提供更丰富的上下文表达。注意力机制不仅提升了模型效果，还带来了可解释性，能够直观展示输入与输出元素之间的对齐关系。

20