NVIDIA的资深解决方案架构师 卢翔龙

来自NVIDIA的资深解决方案架构师卢翔龙分享了《NVIDIA：LLM 推理和服务部署技术总结及未来展望》。他深入总结了LLM推理和服务部署技术，并展望了未来。卢翔龙指出，随着生产语言应用的部署需求增加，高精度模型对于正确结果的重要性不可忽视。为应对挑战，TensorRT-LLM应运而生，用于优化NVIDIA GPU上的大型语言模型推理性能。同时，他还介绍了LLM生态系统的演变，以及注意力机制优化、KV缓存优化、Inflight Batching和量化等优化技术。此外，NVIDIA的Triton Inference Server提供了快速、可扩展、低延迟的推理服务。NVIDIA承诺不仅提供工具，还将加速LLM的发展，为开发者提供更高效、灵活的解决方案。

Datastrato 创始人、CEO 堵俊平

Datastrato 创始人、CEO 堵俊平在会上发表了主题演讲《开源与商业：GenAI 时代的新碰撞》。他总结了开源软件的 8 种商业模式，并介绍了相关经典案例。演讲中，他以“RedHat”作为订阅服务模式中的例子，阐述了商业模式是在实践中不断发展完善的。他还指出，在 PC 与服务器时代，企业版与订阅服务成为开发者需要关注的重点。在互联网时代，开源软件被广泛应用于构建互联网大厦。在移动互联网时代，把握应用与流量入口变得至关重要。随着云时代的到来，开发者需要关注托管云服务“X as a service”。最后，堵俊平详细介绍了即将到来的具有挑战性的“GenAI 时代”，他强调在这个时代，人工智能技术将与开源软件相结合，为创新和商业带来新的机遇和挑战。

华为诺亚方舟实验室语音语义首席科学家刘群

华为诺亚方舟实验室语音语义首席科学家 刘群 带来了《大语言模型技术现状和发展趋势的思考》的主题演讲。他回顾了近年来 LLM 的发展时间线及不同模型的演进。讨论了 LLM 的先天能力和后天能力，并强调通过提升硬件性能、优化模型架构和规格参数等方法来提高模型能力。他还探讨了 LLM 架构方面的发展趋势，包括稀疏化前向网络、训练推理优化、长序列等技术。刘群强调了预训练、指令微调和强化学习训练等方法对提升 LLM 能力的重要性。此外，他还分析了 LLM 可能引发的问题、风险以及对社会的影响，如幻象问题、超人智能和就业市场的变化等。最后，刘群认为 AI 技术将成为人类社会的基础设施，AI将给人带来更多的休闲娱乐和受教育的时间和机会。

Jina AI 联合创始人兼 CTO 王楠

Jina AI 联合创始人兼 CTO 王楠在会上发表了主题演讲《寻找 AI 变革下的不变需求：工具开发者视角下的 2023》。他指出，自 ChatGPT 诞生以来，工具开发者们一直深感焦虑。针对如何为 AI 应用开发者节省开发时间、提高开发效率的问题，王楠总结了三个方面的应对策略：关注开发者的痛点、系统集成以及开发者的反馈。针对即将到来的 2024 年，他展望了以下趋势：模型架构同质化、开源模型蓬勃发展、闭源模型引领发展、算力问题得到缓解、高质量公开文本数据逐渐枯竭、文字仍将是交互的核心。这些趋势将对工具开发者们产生深远影响。

字节跨端与 Web 架构师，前 Meta React 核心成员黄玄在会上分享了主题演讲《前端已死，前端永生》。他针对近年来技术领域中的热门话题“前端已死”发表了自己的看法。他认为，无论是从“技术”还是软件行业的“分工”角度来看，前端都只是一个动态的概念。通过对前端历史上中的大小拐点建模，他推理出前端作为人与机器的纽带会得以“永生”的方式。最后，他还展望了 AI 与元宇宙将为前端带来的全新可能。

在主论坛最后，为了表彰这一年为稀土掘金社区贡献优质内容的团队和个人，举行了「2023掘金年度影响力榜单」发布仪式。来自互联网技术的精英齐聚一堂，共同见证了这个时刻。

这次演讲为与会者提供了一个全面而深入的技术交流平台，促进了开发者之间的互动与合作，展望了2024年科技领域的发展前景。希望在新的一年里这些讨论和见解将为开发者们在面对机遇和挑战时提供有价值的指导和启示！稀土掘金也将持续与开发者同行。