文/陈根
技术和算法的开发和精进让AI换脸、AI克隆都成了可实现的事情。近日，上海科技大学团队的一项新研究，再一扩展了这一领域，其开发建立了人体图像合成人体图像合成的目的是制作可信和逼真的人类图像，包括运动模拟、外观传递和新视图合成等。
这意味着，模型一旦经过训练，就可以用来处理所有这些任务。只要一张照片、一段视频，就能让特朗普跟着明星偶像“唱、跳、Rap”。
研究团队先是采集了30个研究对象的数据，他们的体型、身高各不相同。每个研究对象穿着不同的衣服，完成一套指定动作和一套随机动作。基于此，建立了一个具有多种样式、不同人物穿不同衣服的数据集，称为Impersonator（iPER）数据集。
随后，研究人员使用三维人体网格恢复模块，以分离姿势和形状。值得一提的是，现有任务特定方法主要利用二维关键点、对人体结构进行估计。但是，它们只表示位置信息没有能力描述人的个性化形状和肢体旋转模型。
而三维人体网格不仅可以对关节的位置和旋转进行建模，还可以对关节的位置和旋转进行建模描述个性化的体型。
为了保存源信息，如纹理、样式、颜色和人脸标识，研究人员还提出了一种注意型液化GAN。比如，通过降噪卷积自动编码器提取特朗普的身体特征，然后经过GAN不断地训练学习、微调、监督、转化，将低分辨率的模型转变成高分辨率的模型，使输出来的视频图像清晰。
人体图像合成一经开发，将在角色动画、角色再现、虚拟服装试穿、电影或游戏制作等方面展示其巨大的潜在应用前景。当然，技术的使用永远需要合理的规制，“以假乱真”一旦泛滥，将对市场造成难以恢复的危害。
相关文章
