XGrammar：高效实现 LLM灵活且可移植的结构化生成

12月21日11点，青稞Talk 第33期，CMU 博士生董易昕，将直播分享《XGrammar：高效实现 LLM灵活且可移植的结构化生成》。

分享嘉宾

董易昕，卡内基梅隆大学计算机科学系的一年级博士生，导师为陈天奇教授；本科毕业于上海交通大学计算机科学专业（ACM班）；研究聚焦于机器学习与系统的交叉领域，尤其对LLM Agents研究感兴趣；作为一名开源软件和项目的拥护者，共同领导并参与了一些流行的项目，包括 MLC-LLM 和 Apache TVM Unity，同时也担任 Apache TVM Reviewer；曾经在华盛顿大学与 Luis Ceze 教授共同研究。

主题提纲

XGrammar：高效实现 LLM 灵活且可移植的结构化生成

  • 1、大模型结构化生成方法概述及挑战
  • 2、面向大语言模型的结构化生成引擎 XGrammar
    • 上下文无关语法的解析
    • 高效可持久化的堆栈数据结构
    • 与 LLM 推理引擎的联合设计
  • 3、XGrammar 应用实践

成果链接

  • Paper：Grammar: Flexible and Efficient Structured Generation Engine for Large Language Models
  • Abs：https://arxiv.org/pdf/2411.15100
  • Code：https://github.com/mlc-ai/xgrammar

直播时间

2024年12月21日（周六）11:00 -12:00