143: 再聊 Attention：阿里、Kimi 都在用的 DeltaNet 和线性注意力新改进

本期《晚点聊》由程曼祺主持，嘉宾是麻省理工学院博士生杨松琳，她是线性注意力机制 DeltaNet 的核心贡献者之一。节目主要讨论了 DeltaNet 的发展历程、线性注意力机制的优劣，以及阿里和 Kimi 等公司在线性注意力上的应用进展。杨松琳详细解释了注意力机制在大型语言模型中的作用，DeltaNet 的原理及其在业界的最新应用，并对线性注意力和稀疏注意力的未来发展趋势进行了展望。此外，还探讨了 AI 研究员如何获取交叉技能以及发起开源小组的经验。