COAT：显存高效的 FP8 训练，实现高效深度学习
发表于🎥 观看直播
COAT：显存高效的 FP8 训练，实现高效深度学习
青稞
3月22日上午11点 ，青稞Talk 第42期，COAT 第一作者、加州大学伯克利分校计算机科学博士生席浩诚，将直播分享《COAT：显存高效的 FP8 训练，实现高效深度学习》。
分享嘉宾
席浩诚是加州大学伯克利分校计算机科学博士一年级学生，导师是Kurt Keutzer教授，研究方向为大型语言模型和扩散模型的高效训练与推理。本科毕业于清华大学姚班，师从陈键飞教授和朱军教授。他曾在英伟达实习研究FP8训练方法。他曾在ICMl、Neurips、ICLR等顶级会议上发表多篇论文，他的主要研究成果包括Sparse VideoGen、COAT、Jetfire等。
主题提纲
COAT：显存高效的 FP8 训练，实现高效深度学习
1、大模型 FP8 低精度训练的难点 2、COAT 框架两大核心技术 - 动态范围扩展 FP8 量化优化器状态 - 混合粒度 FP8 精度流 3、效果展示及应用实践
直播时间
3月8日（周六） 11:00 -12:00
成果链接
- 论文标题：COAT: Compressing Optimizer States and Activation for memory efficient FP8 Training
- 论文链接：https://arxiv.org/abs/2410.19313
- 开源代码：https://github.com/NVlabs/COAT
参与方式
Talk 将在青稞·知识社区上进行，扫码对暗号：" 0322 "，报名进群！
