首页 / 资讯中心 / 文章详情

为什么q.k的维度一大就容易导致梯度消失,为什么attention要用√d_k来作为缩放因子,又是怎么起效果的。作为记录

为什么q.k的维度一大就容易导致梯度消失,为什么attention要用√d_k来作为缩放因子,又是怎么起效果的。作为记录 ★ FEATURED ARTICLE
阅读完成 · 觉得有帮助?
咨询建站