Logo

菜单

框框のblog

所有标签

#数据结构 1 #注意力 1 #transformer 1 #贪心 1 #图论 1 #动态规划 2 #最优化理论 12 #强化学习 1 #树状数组 1 #决策树 1 #机器学习 3 #支持向量机 1 #单调栈 1 #倍增 1 #Halo 0
深度学习 #transformer#注意力

注意力机制

什么是注意力机制 注意力机制（Attention Mchanism）：模仿了人类在处理信息时候的选择性关注能力，允许模型在处理输入数据时动态地调整其注意力权重，从而突出重要信息并忽略不重要的信息。 核心思想 它主要通过计算查询向量（Query）、键向量（Key）之间的相似度来确定注意力权重，然后对值

kyrie 发布于 2025-11-11