抱歉，您的浏览器无法访问本站

今天跟朋友讨论的一道有趣的面试问题：为什么Transformer中Scale-dot attention计算 \(Attn = \text{Softmax}(\frac{QK^T}{\sqrt{d_k}})V\)，缩放因子一定是\(\sqrt{d_k}\) 而不是d_k或者其他形式？

出处：ICLR 2021
代码链接：https://github.com/guolinke/TUPE