青稞Talk 第三十三期
12月21日11点，青稞Talk 第33期，CMU 博士生董易昕，将直播分享《XGrammar：高效实现 LLM灵活且可移植的结构化生成》。
分享嘉宾
董易昕，卡内基梅隆大学计算机科学系的一年级博士生，导师为陈天奇教授；本科毕业于上海交通大学计算机科学专业（ACM班）；研究聚焦于机器学习与系统的交叉领域，尤其对LLM Agents研究感兴趣；作为一名开源软件和项目的拥护者，共同领导并参与了一些流行的项目，包括 MLC-LLM 和 Apache TVM Unity，同时也担任 Apache TVM Reviewer；曾经在华盛顿大学与 Luis Ceze 教授共同研究。
主题提纲
XGrammar：高效实现 LLM 灵活且可移植的结构化生成
1、大模型结构化生成方法概述及挑战
2、面向大语言模型的结构化生成引擎 XGrammar
- 上下文无关语法的解析
- 高效可持久化的堆栈数据结构
- 与 LLM 推理引擎的联合设计
3、XGrammar 应用实践
成果链接
Paper：Grammar: Flexible and Efficient Structured Generation Engine for Large Language Models
Abs：https://arxiv.org/pdf/2411.15100
Code：https://github.com/mlc-ai/xgrammar
直播时间
2024年12月21日（周六）11:00 -12:00