高速电路与神经网络实验室
形 象 认 知 计 算     课题组

基于双目视觉的三维重建技术

传统的三维重建技术是利用建模软件构造物体的三维形状或者利用三维扫描仪来恢复物体的表面形状,而这些传统方法需要大量专业技术人才和昂贵的设备。双目视觉是一种非接触式的测量技术,具有结构简单、容易操作、成本较低等优势。课题组目前有两套基于双目视觉的三维重建技术体系。其一为基于双目视觉的人脸三维重建,通过双目视觉技术获取左右视角的人脸图像,结合人脸关键点定位技术,恢复人脸稀疏的视察估计,运用线性插值方法初步估计脸部的稠密视差值,并结合局部立体匹配算法对得到的视差结果进行平滑处理,重建人脸的三维点云信息。该方法既不需要昂贵的设备,也不需要通用的人脸三维模型,而是结合了人脸的拓扑结构信息以及立体视觉局部优化算法。该算法能够还原出光滑的稠密人脸三维点云信息,在人脸Bosphorus数据库上取得了更加准确的人脸重建结果。其二为基于深度学习的场景三维重建技术,利用左右视角图像结合深度学习框架,能够较为精准的进行场景重建。该技术的应用领域包括工业自动化生产线、各类检验和监视、视觉导航、图像自动解释、人机交互、虚拟现实等。