青稞Talk 01预告！SceneTex:高质量三维室内场景纹理图生成

青稞2024-03-312024-03-31

基于扩散模型的三维纹理图生成方法在单个物体上已经取得了令人惊艳的成果，但场景级纹理图生成领域还有待探索，其难点在于其生成尺度远大于单个物体，对于生成的纹理细节以及风格一致性要求也更高。因而，现有的单个物体级三维纹理图生成方法难以被直接迁移到场景级目标上。

来自慕尼黑工业大学视觉计算实验室的陈振宇博士等人在最新的 CVPR 论文中，提出了一种基于二维扩散模型的场景级三维纹理图生成方法 SceneTex。与之前的基于 Inpainting 的三维纹理图生成方法不同的是，SceneTex 将整个纹理图生成过程转化为一个全局优化问题。SceneTex 的算法核心在提出了一个多分辨率的纹理图特征场，以用于在多尺度上隐式编码场景外观信息。

为了进一步提高场景中每一个物体的外观一致性，以及整个场景风格的一致性，SceneTex提出了一个基于跨注意力机制的纹理图解码器，有效地在生成过程中避免了物体自遮挡问题，并极大程度地提高了场景纹理图的生成质量。该项目已在GitHub开源。

1
2
3

paper：SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors
arxiv：https://arxiv.org/abs/2311.17261
code：https://github.com/daveredrum/SceneTex

4月10日晚7点，青稞社区组织【青稞Talk】第一期，并邀请到 SceneTex 一作、慕尼黑工业大学视觉计算实验室陈振宇博士参与，分享《SceneTex:高质量三维室内场景纹理图生成》。