仅一台摄像机即可进行3D身体重建

    技术2022-07-12  84

    点击上方“3D视觉工坊”,选择“星标”

    干货第一时间送达

    在计算机视觉会议CVPR上,Facebook展示了一种算法,该算法可以仅通过一个摄像头就可以为穿着衣服的人生成相当详细的3D模型。

    论文下载:在公众号后台回复 CVPR_Facebook

    Facebook是Oculus虚拟现实产品背后的公司。该公司被认为是机器学习的世界领导者。机器学习(ML)是Oculus Quest和Rift S的核心-这两款VR眼镜都具有“由内而外”的位置跟踪功能,无需外部基站即可达到亚毫米级的精度。在Quest上,甚至不需要控制器就可以使用机器学习来跟踪用户的手。

    在一篇名为PIFuHD的论文中,三名Facebook员工和南加州大学的一名研究人员提出了一种机器学习系统,该系统可从单个1K图像生成人及其衣服的高细节3D表示。不需要深度传感器或运动捕捉装置。

    本文不是从图像生成人的3D表示的第一篇著作。由于计算机视觉的最新进展,此类算法于2018年出现。

    在当今的硬件条件上,像PIFu这样的系统只能处理相对低分辨率的输入图像。这限制了输出模型的准确性和细节。

    PIFuHD采用一种新方法,对输入图像进行下采样并将其馈送到低细节基础层的PIFu,然后新的独立网络使用全分辨率添加精细的表面细节。

    早在2019年3月, Facebook首次展示了其对数字化重建人类的兴趣,展示了"Codec Avatars''。该项目专门针对头部和面部,需要使用132个摄像头对用户的头部进行扫描。

    在2019年5月的F8年度会议上,该公司使用一种考虑了人体肌肉和骨骼系统的模型,以前所未有的保真度展示了实时无标记人体追踪。

    头像生成是实现最终目标的又一步;允许用户真实存在于虚拟环境中,并以真实的面貌见到朋友。

    参考链接:https://uploadvr.com/facebook-body-meshing-one-camera/

    本文仅做学术分享,如有侵权,请联系删文。

    推荐阅读:

    专辑|相机标定

    专辑|3D点云

    专辑|SLAM

    专辑|深度学习与自动驾驶

    专辑|结构光

    专辑|事件相机

    专辑|OpenCV学习

    专辑|学习资源汇总

    专辑|招聘与项目对接

    专辑|读书笔记

    重磅!3DCVer-学术论文写作投稿 交流群已成立

    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

    ▲长按加微信群或投稿

    ▲长按关注公众号

    3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近1000+星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

     圈里有高质量教程资料、可答疑解惑、助你高效解决问题

    3D视觉工坊 认证博客专家 算法 3D视觉 个人公众号:3D视觉工坊。公众号特邀嘉宾及合伙人,先后就职于国内知名研究机构、自动驾驶公司、海康研究院,主要研究方向为深度学习、目标检测、语义分割、图像处理、自动驾驶感知算法等,博客专家。博主先后任职于国内知名研究院、知名大厂,致力于3D视觉算法、VLAM算法开发,涉及相机标定、手眼标定、结构光、点云后处理、三维重建等相关领域的研究,同时也是博客专家。3D视觉工坊坚持原创,近一年来输出了非常多的高质量文章,获得了粉丝的一致好评,我们将始终坚持走原创路线,打造一个铁杆粉丝的聚集区。
    Processed: 0.015, SQL: 10