PiSSA：收敛快、误差小的大模型参数高效微调方法

6月13日晚7点，青稞社区组织【青稞Talk】第十期，北京大学人工智能研究院孟繁续博士，将直播分享《PiSSA：收敛快、误差小的大模型参数高效微调方法》。

分享嘉宾

孟繁续，北京大学人工智能研究院在读博士；师从张牧涵教授。曾获哈尔滨工业大学优秀毕业生，师从卢光明教授。曾就职于腾讯优图实验室任研究员，mentor：孙星、程昊、李珂。研究方向为模型压缩与高效模型训练。曾以第一作者身份于CVPR，NeurIPS发表两篇论文。

主题提纲

PiSSA：收敛快、误差小的大模型参数高效微调方法

  • 1、参数高效微调方法 LoRA 和 QLoRA
  • 2、继承 LoRA 优势的微调方法 PiSSA
  • 3、在 LLaMA-3 等10余种主流大模型上的实验效果
  • 4、PiSSA + LLaMA-3 微调实践

成果链接

  • paper：PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models
  • arXiv：https://arxiv.org/pdf/2404.02948.pdf
  • code：https://github.com/GraphPKU/PiSSA
  • 核心代码：https://github.com/fxmeng/peft

直播时间

6月13日（周四）19:00 - 20:00