腾讯人像照片生成无限娱乐：Yann LeCun大力推荐

目前golang学习网上已经有很多关于科技周边的文章了，自己在初次阅读这些文章中，也见识到了很多学习思路；那么本文《腾讯人像照片生成无限娱乐：Yann LeCun大力推荐》，也希望能帮助到大家，如果阅读完后真的对你学习科技周边有帮助，欢迎动动手指，评论留言并分享~

这次，Yann LeCun首次受邀成为「百变大咖」。他穿着钢铁侠的服装，戴上酷酷的墨镜，面无表情地注视着你。此外，他还身着古装，在故宫门前留下了美好的回忆。

就连本人也出来转发并喊话，「左下角这幅文艺复兴时期的画，是我的最爱。」

性感女神寡姐身穿紫色巫师服注视着远方，还可以戴着圣诞帽和你对视：

身穿太空服的奥特曼看起来萌萌的，把头发染成红色也毫无违和感

上述研究来自南开大学和腾讯等机构提出的一种名为PhotoMaker的个性化文本到图像生成方法。该方法被认为是高效的。相关论文《PhotoMaker：Customizing Realistic Human Photos via Stacked ID Embedding》于去年12月发布，并且该项目也已经开源。不到一天的时间，该项目已经获得了650+的星标数量。

项目地址：https://github.com/TencentARC/PhotoMaker?cnotallow=98363d6ac1beafe515190e50d2c40427

PhotoMaker 除了生成逼真的人像，还能进行其他风格的生成，如草图、漫画、动画等。

不同人物身份也能进行混合，创造出一个全新的人物形象。赫本和爱莎公主的组合版兼顾了两者的特点：

改变照片人物的年龄、性别也不是不可以：不知 LeCun 对这次生成的女装有何感想。

图源：https://twitter.com/xiaohuggg/status/1746861416743928103

这项研究可以人人试玩，操作也非常简单，分为 4 步：

• 首先是上传一张图片，一张就可以了，不过多张效果会更好，上传图片中的人脸应该占据图像的大部分。
• 第二步是输入文本提示，操作过程中确保使用触发词 img，例如 man img、woman img 或 girl img。
• 第三步是选择喜欢的风格模板（内置有十多种）。
• 最后一步是单击 Submit 按钮，等待生成。

以上生成过程如果有操作不当的地方，PhotoMaker 都会进行提示，不用怕自己操作失误。

体验中，我们输入一张马斯克的照片，提示语为「A man img wearing aspacesuit」，风格为漫画形式，等待几秒就可以了，效果看起来还不错。

试玩地址：https://huggingface.co/spaces/TencentARC/PhotoMaker?cnotallow=98363d6ac1beafe515190e50d2c40427

这项研究背后用到了哪些技术，我们接着往下看。

研究介绍

论文地址：https://arxiv.org/pdf/2312.04461.pdf

PhotoMaker 这种高效的个性化文本到图像生成方法，它主要将任意数量的输入 ID 图像编码成一个堆叠 ID 嵌入，以保留 ID 信息。这样的嵌入作为统一的 ID 表征，不仅可以全面封装相同输入 ID 的特征，而且还可以适应不同 ID 的特征以供后续集成。这为更有趣和实用价值的应用铺平了道路。

如图 1 所示，PhotoMaker 不仅能进行常见的重新构建，还能改变输入人像的属性（例如，配饰和表情），从输入 ID 生成完全不同视角的人类照片，甚至修改输入 ID 的性别和年龄（见图 1）。

PhotoMaker 还为用户生成定制人像提供了许多可能性。虽然在训练过程中构建堆叠 ID 嵌入的图像来自同一 ID，但在推理过程中可以使用不同的 ID 图像来形成堆叠 ID 嵌入，以合并和创建新的定制 ID。合并的新 ID 可以保留不同输入 ID 的特征。例如，PhotoMaker 可以生成看起来像马斯克的斯嘉丽，或者生成一个将某人与知名 IP 角色混合的定制 ID，见图 1（c）。

为了推动 PhotoMaker 的训练，研究者提出了一个面向 ID 的数据构建 pipeline 来组装训练数据。在通过所提出 pipeline 构建的数据集的帮助下，PhotoMaker 展示出比测试时微调基础方法更好的 ID 保留能力，同时提供了显著的速度提升、高质量的生成结果、强大的泛化能力和广泛的应用范围。图 2 (a) 展示了 PhotoMaker 的概览。图 2 (b) 展示了相关的数据构建 pipeline。

如图 3 与表 1 所示，在定性及定量实验中，PhotoMaker 可以很好地满足生成高质量图像的能力，同时确保 ID 的高保真度。

PhotoMaker 还可以将上世纪甚至古代的人物带到当代，为他们「拍照」，如图 4 (a) 所示。与 PhotoMaker 相比，Dreambooth 和 SDXL 都难以生成现实中没有出现过的逼真人物图像。此外，由于 DreamBooth 过度依赖定制图像的质量和分辨率，因此在使用旧照片进行定制生成时，DreamBooth 很难生成高质量的结果。

如果用户输入的是不同 ID 的图片， PhotoMaker 可以很好地整合不同 ID 的特征，形成一个新的 ID。从图 5 可以看出，DreamBooth 和 SDXL 都无法实现身份混合。相比之下，无论输入的是动漫 IP 还是真人，无论性别如何，PhotoMaker 都能在生成的新 ID 上很好地保留不同 ID 的特征。

此外， PhotoMaker 的风格化表现也十分优秀。如图 6 展示，PhotoMaker 不仅保持了良好的 ID 保真度，还有效地展示了 prompt 中的风格要求。

更多详细技术内容，请阅读原论文。

终于介绍完啦！小伙伴们，这篇关于《腾讯人像照片生成无限娱乐：Yann LeCun大力推荐》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布科技周边相关知识，快来关注吧！