Paper reading: Joint Representation Learning for Text and 3D Point Cloud_jointgt: graph-text joint representation learning

作者：爱喝兽奶帝天荒 | 2024-07-15 09:33:29

踩

jointgt: graph-text joint representation learning for text generation from k

视觉-语言预训练大模型（如CLIP）已经显示出，能够从语言监督信息中提升视觉模型。但是由于3D-文本对获取的困难性和3D数据结构的不规则性，3D点云-文本的联合表示学习依然没有得到很好地研究。因此，提出一个Text4Point框架来构建语言引导的3D点云模型。关键的思路是利用2D图像作为一个桥梁，连接点云和语言两种不同的模态数据。Text4Point框架遵循预训练和fine-tuning的思路。在预训练阶段，基于RGB-D数据简历图像和点云之间的对应关系，利用对比学习来对齐图像和段云表示。和CLIP模型中已对齐的图像-文本特征图，可以把点云特征和文本嵌入做一个隐形的对齐。提出一个文本查询模块，通过查询文本嵌入和点云特征，把语言信息整合到3D表示学习中。在fine-tuning阶段，利用没有二维图像的标签集的语言指导，模型学习该模型学习特定于任务的 3D 表示。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/爱喝兽奶帝天荒/article/detail/828661