大模型时代来临：上下文增长迅速，端侧算力崛起

上海人工智能实验室专家林达华谈大模型前沿技术发展趋势

近日，上海人工智能实验室领军科学家林达华在接受采访时表示，大模型在人工智能领域的地位日益突出，其在训练数据、模型架构、上下文等方面的发展趋势引起了广泛关注。林达华指出，当前主流的大模型均基于Transformer架构堆叠，然而这一架构存在计算资源消耗过大的问题。为此，业界正在探索更高效、节省计算资源的模型架构，如宏观结构稀疏化的MoE等，预计未来将逐步应用于产业界。

在训练数据方面，林达华强调高质量数据的重要性。他认为，随着大模型的发展，数据量正以近一个数量级的速度增长，因此大规模生产高质量的数据已成为各大研发机构的竞争焦点。此外，数据多样性对提高模型性能具有重要意义，避免单一数据的负面影响。

针对多模态技术，林达华预测多模态融合将成为未来的重要技术趋势。然而，高分辨率带来的高计算成本使其在实际应用中面临挑战。他透露，如何在保证高分辨率的同时降低计算成本，将是模型架构创新的重要方向。

在智能体方面，GPT-4的突破使智能体成为领域内的新关注点。林达华认为，智能体并非简单的流程化过程，而是需要建立在坚实基础模型上的复杂系统，具备强大的指令跟随、理解、反思和执行能力。

最后，林达华展望了计算环境的发展。他指出，随着芯片进入后摩尔定律时代，算力的增长将主要依赖于体量的扩展。在未来，我们或许能看到越来越庞大的计算中心，支撑着对通用人工智能的持续追求。然而，他也提醒说，电池续航能力将成为制约端侧算力发展的瓶颈。

总之，林达华认为大模型在人工智能领域的前景广阔，但在数据、模型架构、多模态、智能体以及计算环境等多个方面仍需不断创新和优化，以推动人工智能技术的持续进步。