Transformer CNN ResNet ViT BERT GPT MLM神经网络架构演进：从CNN到Transformer从LeNet到Transformer，从CNN到ViT，系统梳理神经网络架构的演进与实践 醉月思📁 技术实践📅 2026-02-14
Attention机制 Cross-Attention Transformer注意力机制：Self与Cross-Attention在调试过程中，我发现模型收敛速度比预期的慢，注意力权重分布也很奇怪——几乎所有head的注意力都集中在序列开头… 醉月思📁 技术实践📅 2023-05-23
