抽象在SceneGraphNet用于3D室内场景增强的神经信息传递中,我们提出了一种神经消息传递方法,以通过匹配周围环境的新对象来增强输入的3D室内场景。给定一个输入,可能不完整的3D场景和一个查询位置,我们的方法将预测一个非常适合该位置的对象类型的概率分布。通过以密集图传递学习到的消息来预测我们的分布,密集图的节点表示输入场景中的对象,边缘表示空间和结构关系。通过注意力机制对消息进行加权,我们的方法将学习重点放在最相关的周围场景上下文上,以预测新的场景对象。我们发现,根据SUNCG数据集中的实验,在正确预测场景中丢失的对象方面,我们的方法明显优于最新方法。
数字。在卧室场景的SceneGraphNet中用于神经消息传递的图形结构示例。
要求
1、Python 3
2、Python套件: pip install -r requirements.txt
torchfold(尝试更换torchfold.py由该如有错误)
数据集
SUNCG数据集 在该项目中用于培训和测试。[不幸地倒下了:(]
我们解析了原始的房间结构,并在此处创建了相应的场景图数据集。图形节点和边的定义通常如SceneGraphNet用于3D室内场景增强的神经信息传递所述。详细的数据结构进行了说明这里。
下载我们的数据集或根据我们的数据结构创建自己的数据集,并在以下位置更改数据集目录 utils/default_settings.py
训练
我们在4种类型各异的房间(卧室,浴室,办公室,客厅)中训练/测试我们的方法。卧室类别预测的示例火车命令是
python main.py --name YOUR_TRAIN_JOB_NAME --train_cat --room_type bedroom --num_train_rooms 5000 --num_test_rooms 500
卧室类别预测的评估命令示例为
python main.py --test --load_model_name YOUR_TRAIN_JOB_NAME --name YOUR_TEST_JOB_NAME --train_cat --room_type bedroom --num_train_rooms 5000 --num_test_rooms 500
可以通过添加其他参数解析器来调整某些变体和超参数。有关main.py详细信息,请参见中的帮助。
引文
@inproceedings{zhou2019scenegraphnet,
title={SceneGraphNet: Neural Message Passing for 3D Indoor Scene Augmentation},
author={Zhou, Yang and While, Zachary and Kalogerakis, Evangelos},
booktitle={IEEE Conference on Computer Vision (ICCV)},
year={2019},
}
摘自:https://www.aaa-cg.com.cn/data/2949.html