青稞Talk 第十三期
7月8日晚7点，青稞Talk第13期，北京航空航天大学博士生郑耀威，将直播分享《LLaMA Factory：从预训练到RLHF，大模型高效训练框架》。
分享嘉宾
郑耀威，北京航空航天大学博士生。以第一作者在ACL、CVPR、AAAI、WWW等国际会议发表多篇论文，担任AAAI、EMNLP、Neural Computation等会议和期刊审稿人。曾获得华为杯数学建模全国一等奖、蓝桥杯全国一等奖、北航榜样、北航博士新生奖学金。大模型训练框架LLaMA Factory作者，GitHub开源项目获得超过2万Stars，受邀至人工智能计算大会、阿里云AI智领者峰会、中国人民大学、智谱AI作大模型主题报告。
主题提纲
LLaMA Factory：从预训练到RLHF，大模型高效训练框架
1、大模型高效训练现状
2、LLaMA Factory 的构建动机与组成模块
- 上百种大模型的全栈微调适配原理
- LoRA算子优化加速方法
- 多种微调Trick集成思路
3、LLaMA Factory 部署实践
成果链接
Abs：http://arxiv.org/abs/2403.13372
Code：https://github.com/hiyouga/LLaMA-Factory
直播时间
7月8日（周一）19:00 - 20:00