102. 和张祥雨聊，多模态研究的挣扎史和未来两年的2个“GPT-4时刻”

本期《张小军商业访谈录》由李广密联合主持，邀请了七月星辰的首席科学家张祥雨，深入探讨了多模态研究的过去、现在与未来。张祥雨回顾了自己参与多模态研究的十年历程，分享了他对多模态的全新思考，并预测了下一个 GPT-4 时刻的到来。他详细阐述了模型训练过程中遇到的难题，如模型推理能力随模型增大反而下降的怪现象，并给出了自己的解答，同时也对视觉领域的 GPT 时刻以及多模态融合的未来发展方向提出了独到见解，包括视觉空间推理、自主学习和在线学习等。