3月22日上午11点 ，青稞Talk 第42期，COAT 第一作者、加州大学伯克利分校计算机科学博士生席浩诚，将直播分享《COAT：显存高效的 FP8 训练，实现高效深度学习》。 分享嘉宾 席浩诚是加州大学伯克利分校计算机科学博士一年级学生，导师是Kurt Keutzer教授，研究方向为大型语言模型和扩散模型的高效训练与推理。本科毕业于清华大学姚班，师从陈键飞教授和朱军教授。他曾在英伟达实习研究FP8训练方法。他曾在ICMl、Neurips、ICLR等顶级会议上发表多篇论文，他的主要研究成果包括Sparse VideoGen、COAT、Jetfire等。 主题提纲 COAT：显存高效的 FP8 训练，实现高效深度学习 1、大模型 FP8 低精度训练的难点 2、COAT 框架两大核心技术 - 动态范围扩展 FP8 量化优化器状态 - 混合粒度 FP8 精度流 3、效果展示及应用实践 直播时间 3月8日（周六） 11:00 -12:00 成果链接 论文标题：COAT: Compressing Optimizer States and Activation for memory effi ...

2月15日上午11点，青稞Talk 第38期，Satori第一作者、MIT博士生沈茂昊，将直播分享《Satori：通过训练LLM做自回归搜索来增强推理能力》。 主讲嘉宾 沈茂昊，MIT EECS系四年级博士生，长期和MIT-IBM Watson AI lab 合作，本科毕业于UIUC ECE系。研究兴趣包括提升AI系统的可靠性，不确定性估计，以及涉及LLM的多个方向，包括提升LLM的推理能力等，曾在ICML、NeurIPS、AAAI等AI学术会议发表多篇论文。 主题提纲 Satori：通过训练LLM做自回归搜索来增强推理能力 1、O1 类推理模型的技术路线 2、Satori 推理模型及两阶段训练解析 - 行动思维链 COAT 推理范式 - 小规模格式微调 - 大规模的强化学习阶段 3、Satori 的推理能力及泛化讨论 成果链接 Paper：https://arxiv.org/pdf/2502.02508 Project：https://satori-reasoning.github.io 直播时间 2月15日（周六）11:00 – 12:00

10月17日19点，青稞Talk 第27期，香港科技大学在读博士高深远，将直播分享《GenAD & Vista：构建通用可泛化的自动驾驶世界模型》。 主讲嘉宾 高深远，香港科技大学在读博士，研究兴趣主要围绕具身场景中世界模型的构建及应用。曾在CVPR、NeurIPS、ECCV以第一作者身份发表多篇论文，并担任TPAMI、ICLR、NeurIPS、CVPR等期刊会议的审稿人。 主题提纲 GenAD & Vista：构建通用可泛化的自动驾驶世界模型 1、世界模型的概念及其重要性 2、GenAD和OpenDV大规模自动驾驶数据集 3、Vista：高保真且多样可控的通用自动驾驶世界模型 4、应用分析及未来研究探讨 成果链接 Paper：Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability Abs：https://arxiv.org/abs/2405.17398 Code：https://github.com/opendrivelab/vista ...

7月8日晚7点，青稞Talk第13期，北京航空航天大学博士生郑耀威，将直播分享《LLaMA Factory：从预训练到RLHF，大模型高效训练框架》。 分享嘉宾 郑耀威，北京航空航天大学博士生。以第一作者在ACL、CVPR、AAAI、WWW等国际会议发表多篇论文，担任AAAI、EMNLP、Neural Computation等会议和期刊审稿人。曾获得华为杯数学建模全国一等奖、蓝桥杯全国一等奖、北航榜样、北航博士新生奖学金。大模型训练框架LLaMA Factory作者，GitHub开源项目获得超过2万Stars，受邀至人工智能计算大会、阿里云AI智领者峰会、中国人民大学、智谱AI作大模型主题报告。 主题提纲 LLaMA Factory：从预训练到RLHF，大模型高效训练框架 1、大模型高效训练现状 2、LLaMA Factory 的构建动机与组成模块 - 上百种大模型的全栈微调适配原理 - LoRA算子优化加速方法 - 多种微调Trick集成思路 3、LLaMA Factory 部署实践 成果链接 Abs：http://arxiv.org/abs/2403.13372 Code：ht ...