不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
上海公交站名为什么都是两条路?是什么意思？
中央多份重磅文件出台，密集释放「涨工资」「提高居民收入」的信号，这背后有何深意？
Golang vs Rust vs Dlang 哪个更有前途，哪位大牛这 3 门语言都用过？
为什么人到中年，很少有身材苗条的？
生活中怎样的美女才能被称为「大」美女？
重庆的你，择偶的标准是怎样的？
你从什么时候开始感觉孩子不属于你了？
能分享一下你写过的rust项目吗？
Web后端开发，用Python还是Go呢？
如何看待使用mac mini当7*24h的服务器？
电话：
座机：
邮箱：
地址：
