Adobe的Project Sweet Talk使肖像生动起来

导读 传统上，Adobe MAX上最有趣的会议之一是Sneaks主题演讲，公司各个部门的工程师在此展示他们最前沿的工作。有时，这些变成产品。有时他们没

传统上，Adobe MAX上最有趣的会议之一是Sneaks主题演讲，公司各个部门的工程师在此展示他们最前沿的工作。有时，这些变成产品。有时他们没有。如今，很多工作都集中在基于Adobe Sensei平台的AI上。今年，该公司为我们提供了有关Sweet Sweet Talk项目的早期信息，这是今晚活动的重点内容之一。

这里的想法很简单，但是很难实现：拍摄肖像，无论是绘画还是绘画，识别面部的不同部分，然后与画外音同步地对嘴进行动画处理。如今，Adobe的Character Animator(您可能已经在与Stephen Colbert的《 The Late Show》等节目中看到过)做到了其中的一部分，但是动画数量有限，即使是最好的动画师，结果也无法做到”总是看起来很逼真的(在产品中为动画制作的图纸尽可能)。Sweet Talk项目要聪明得多。它分析画外音，然后使用其AI智能工具对角色的嘴和头进行逼真的动画处理。

由Adobe研究人员Dingzeyu Li领导的团队，与周扬(美国麻萨诸塞大学)，Jose Echevarria和Eli Schectman(Adobe Research)一起，将他们的模型实际投放了数千个小时的真实人与摄像头交谈视频YouTube。出乎意料的是，该模型确实很好地转移到了绘画上，即使与团队合作的面孔(包括漂亮的动物面孔基本图纸)看起来并不像人脸。

“动画很难，我们都知道这一点，”李告诉我。“如果大家都知道，如果我们想将人脸与给定的音轨对齐，那就更加困难了。Adobe Charter Animator已经具有一种从场景音频中进行“计算嘴唇同步”的功能，并且可以向您显示限制。那显然不是很现实的样子。如果您看一下这篇文章中嵌入的示例，您会发现团队会自动巧妙地变形脸部，使它们看起来更逼真-全部来自基本的JPG图像。

因为它确实可以使脸部变形，所以Project Sweet Talk不能很好地处理照片。他们看起来不正确-这也意味着没有必要担心有人滥用此项目来获取伪造品。“告诉我们，要生成逼真的深层假象，需要大量的训练数据。”“在我们的案例中，我们只关注可从图像预测的地标，而地标足以使动画动起来。但是在我们的实验中，我们发现仅凭地标不足以生成逼真的[基于]动画。

从长远来看，Adobe可能会将此功能内置到Character Animator中。李还告诉我，建立一个实时系统(类似于今天的Character Animator中的功能)在团队的优先级列表中排在首位。