从3D LLM到MultiPLY,3D具身基础模型的构建


青稞Talk 第三期

4月19日早9点,青稞社区组织【青稞Talk】第三期,邀请到 3D-LLM 和 MultiPLY 一作、加州大学洛杉矶分校在读博士洪逸宁参与,分享《从 3D LLM 到 MultiPLY ,3D 具身基础模型的构建》。

分享嘉宾

洪逸宁,加州大学洛杉矶分校在读博士,MIT-IBM沃森人工智能实验室研究员;在上海交通大学获得了学士学位;研究兴趣包括具身智能、3D大型语言模型和机器推理,在NeurIPS、CVPR、ICCV、AAAI等会议上发表了多篇第一作者的论文;曾获得2022年百度奖学金。

主题提纲

从 3D LLM 到 MultiPLY ,3D 具身基础模型的构建

1、具身智能大模型的研究
2、引入 3D 点云特征的大型语言模型 3D-LLM
3、多感官的多模态具身智能大模型 MultiPLY
4、模型的使用及未来方向探索研究

成果链接

paper:3D-LLM: Injecting the 3D World into Large Language Models
arXiv:https://arxiv.org/abs/2307.12981
code:https://github.com/UMass-Foundation-Model/3D-LLM

paper:MultiPLY: A Multisensory Object-Centric Embodied Large Language Model in 3D World
arxiv:https://arxiv.org/abs/2401.08577
code:https://github.com/UMass-Foundation-Model/MultiPLY

直播时间

4月19日(周五)9:00 - 10:00