基于 LightLLM 的 DeepSeek R1/V3 模型部署实战

3月8日上午11点,青稞Talk 第40期,商汤科技大模型工具体系团队研究员、LightLLM 核心开发人员白世豪,将直播分享《基于 LightLLM 的 DeepSeek R1/V3 模型部署实战》。

分享嘉宾

白世豪,商汤科技大模型工具体系团队研究员,LightLLM核心开发人员,主要负责大语言模型推理加速,探索更高效的大语言模型服务技术,在ASPLOS, IJCAI、AAAI、ICCV等期刊会议发表论文十篇。

主题提纲

基于 LightLLM 的 DeepSeek R1/V3 模型部署实战

  • 1、LightLLM 框架及特性解读
  • 2、PD 分离原型实现
  • 3、针对 DeepSeek 系列模型的专项优化
  • 4、DeepSeek R1/V3 部署实战

直播时间

3月8日(周六) 11:00 -12:00