文章《基于深度学习的视觉三维重建研究总结》从三维重建的意义、定义、表示方式、分类开始,总结了深度学习在三维重建方向的最近几年(截至2019年)的进展,分别是

  1. 从单张图像恢复深度图的文章《Depth Map Prediction from a Single Image using a Multi-Scale Deep Network》,是深度学习进行三维重建的开山之作,由粗到细并提出尺度不变的损失函数。
  2. 单视图或多视图的体素三维重建文章《3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction》结合编码解码网络和LSTM,既可以对单幅图像做三维图像体素重建,又可以对多幅图像做。
  3. 单张RGB图像的点云三维重建文章《A Point Set Generation Network for 3D Object Reconstruction from a Single Image》用1024个点云数据表示物体的三维重建,并提出了CD(Chamfer Distance)和 EMD(Earth Mover's Distance)。
  4. 单张RGB图像的Mesh三维重建文章《Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images》从椭球体Mesh通过深度学习(CNN + GCN) 端到端 变形为对应物体的Mesh三维重建。
  5. 文章《Mesh R-CNN》使用《Mask R-CNN》框架实现现实图片的物体检测,并为每个检测物体生成三角Mesh。文章使用了图卷积网络GCN和多种损失来训练。
  6. 文章《Conditional Single-view Shape Generation for Multi-view Stereo Reconstruction》使用条件生成模型对不可见部分进行建模。