不要想的太过复杂,就只有随机数生成的三个矩阵,原始输入已经通过矩阵相乘关联在三个随机数矩阵中,再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵,再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重,三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏,没有什么复杂的逻辑问题。
。
如果评价厦门某国企研发部门要求每日考察后端400行,前端1000行代码量?
如果评价厦门某国企研发部门要求每日考察后端400行,前端1000行代码量?...(144 )人阅读时间:2025-06-18 10:05:13
有一个乌克兰的朋友问我,中国人凭什么能享受和平,我该怎么说?
有一个乌克兰的朋友问我,中国人凭什么能享受和平,我该怎么说?...(144 )人阅读时间:2025-06-18 10:15:13
NAS的盘是否需要一次性买齐?
NAS的盘是否需要一次性买齐?...(144 )人阅读时间:2025-06-18 09:30:13
做好的flask项目怎么部署到服务器,使用公网ip可访问?
做好的flask项目怎么部署到服务器,使用公网ip可访问?...(144 )人阅读时间:2025-06-18 09:30:13苹果为什么要给每代MacOS起个名字,真以为人们记得住分得清吗?
苹果为什么要给每代MacOS起个名字,真以为人们记得住分得清吗?...2020-02-21以色列为什么突然敢打伊朗了?不怕被报复?
以色列为什么突然敢打伊朗了?不怕被报复?...2020-02-21如何看待光线传媒董事长称《哪吒 2》票房分账最不公平,100 块票房片方只拿 33 块?怎么分才合理?
如何看待光线传媒董事长称《哪吒 2》票房分账最不公平,100 块票房片方只拿 33 块?怎么分才合理?...2020-02-21Chrome 浏览器设计的神细节有哪些?
Chrome 浏览器设计的神细节有哪些?...2020-02-21