GTC 2026：AI的下一个战场不是模型，而是「推理系统」| S10E04

本期科技早知道聚焦英伟达 GTC 大会，探讨 AI 推理层的新发展。主持人 Diane 在 GTC 现场，与推理公司 Eigen 的代表深入探讨了行业趋势与技术优化。Eigen 公司由 MIT 校友创立，致力于提升模型推理速度。对话中，双方分析了 Agent 爆发对 token 消耗的影响，以及开源模型在优化资源调度方面的潜力。Eigen 的代表详细阐述了 GPU、TPU 和 LPU 的区别，并分享了在 CUDA 层、模型效率和调度层面的优化策略。他们还讨论了不同用户场景下延迟、吞吐量和成本之间的权衡，以及开源模型在推动 AI 技术普及方面的潜力。