穿衣人重建是计算机视觉领域研究的热门焦点。目前广泛应用的类三明治结构的重建方法,虽然在整体上取得了一定成效,但在侧面区域的处理上存在明显短板。它们往往仅聚焦于正面和背面的几何关系,却忽视了侧面区域几何信息的充分挖掘与利用,这使得最终生成的侧面几何形状与真实情况存在较大偏差,难以满足实际应用的需求。为此,中国科学院自动化研究所神经计算与脑机交互团队(NeuBCI)围绕如何有效攻克这一难题,实现侧面几何形状的精准穿衣人重建,展开了深入且富有成效的探索。
首先,使用深度学习模型从大量穿衣人的点云数据中成功提取出一个包含穿衣人侧面几何公共特征的原型,这一原型蕴含着丰富的侧面几何信息。紧接着,以这个原型作为关键的先验信息,引入厚度图的概念来作为侧面视角几何信息的补充,为前后两个2.5D表面的贴合提供了精确的距离指引。在整个重建流程中,通过运用侧面几何原型先验和厚度图,实现了对前、后和侧面几何的全方位、精细化同步优化。该方法为单张图像中深度歧义导致的重建结果失真问题提供了一种重要解决思路和方案,显著提升了重建结果的真实性与准确性。
该研究成果已被CCF B类会议ICASSP 2025收录,相关代码也已面向公众开源。神经计算与脑机交互团队的何晖光研究员担任论文通讯作者,硕士研究生武晓涛作为第一作者。本研究得到了北京市科技新星计划、中央高校基本科研业务费专项资金项目、中国博士后科学基金以及上海科技大学高性能计算平台的大力支持。