城市网

只需点击几次Photoshop的AI神经滤镜 即可调整年龄和表情

导读 人工智能正在改变图像编辑和处理的世界,Adobe不想被甩在后面。今天,该公司发布了Photoshop版本的更新,其中包含许多基于AI的功能,其中一

人工智能正在改变图像编辑和处理的世界,Adobe不想被甩在后面。今天,该公司发布了Photoshop版本的更新,其中包含许多基于AI的功能,其中一些是新功能,一些已经与公众共享。这些工具包括天空替换工具、改进的AI边缘选择,以及(作为展览的亮点)一套图像编辑工具,Adobe称之为“神经过滤器”。

这些滤镜包括许多简单的叠加和效果,以及允许更深入编辑的工具,尤其是肖像。使用神经滤镜,Photoshop可以调整对象的年龄和面部表情,通过简单的滑块放大或缩小“喜悦”、“惊讶”或“愤怒”的感觉。你可以摘下某人的眼镜或抚平他们的斑点。一个奇怪的过滤器甚至可以让你把化妆从一个人转移到另一个人身上。所有操作只需点击几下即可完成,输出可以轻松调整或完全撤销。

“我可以说Photoshop是目前世界上最先进的AI应用程序,”Adob e E的数字成像副总裁Maria Yap告诉The Verge。“我们正在用以前没有的图像创造东西。”

为了实现这些效果,Adobe正在利用生成对抗网络(GAN)的力量。GAN是一种机器学习技术,已经被证明特别擅长生成视觉图像。有些处理是在本地完成的,有些是在云中完成的,这取决于每个工具的计算要求,但每个过滤器都可以在几秒钟内应用。(我们看到的演示是在旧的Mac Book Pro上做的,速度非常快。)

这些滤镜中有许多是关注AI图像编辑的人所熟悉的。它们是多年来出现在论文和演示中的工具。然而,当这样的技术从推特上与内部人士分享的前沿实验,到Photoshop等消费巨头的标题功能,总是意义重大。

和这些功能一样,证明会在编辑中完成,神经滤镜的实际使用将取决于许多Photoshop用户对它们的反应。但是在The Verge的虚拟演示中,新工具提供了快速且高质量的结果(虽然我们没有看到面部表情调整工具)。这些由AI驱动的编辑器并不完美。大部分专业修图师都想介入,事后做一些调整,但似乎会加快很多编辑任务的速度。

这样的AI工具可以从过去的例子中学习。因此,例如,为了创建消除皮肤斑点的神经过滤器,Adobe收集了专业摄影师编辑前后的数千个编辑镜头,并将这些数据输入到他们的算法中。GAN的工作就像一对学生和老师。一部分试图复制这些例子,而另一部分试图从训练数据中区分输出。最终,即使GAN在试图弄清楚两者之间的区别时感到困惑,训练过程还是完成了。

Adob e Creative Cloud的工程副总裁亚历山德鲁科斯丁在接受The Verge采访时表示:“基本上,我们正在训练GAN进行专业完成者会做的修正。

听起来很简单,但是在这个训练中有很多方法会出错。一个很大的问题是有偏见的数据。这些算法只知道你给它们看的世界,所以如果你只给它们看白脸的图像,对于肤色不适合这个狭窄范围的人,它们是无法编辑的。这种偏见是为什么面部识别系统通常在有色人种和女性身上表现不佳的原因。这些面孔不在训练数据中。

科斯丁说,Adobe敏锐地意识到了这个问题。他说,如果它在太多的白脸上训练算法,它的神经过滤器最终可能会将AI编辑的人像推向更白的肤色(这是我们过去在其他ML应用中看到的问题)。

“我们面临的最大挑战之一是保持肤色。”

科斯丁说:“我们面临的最大挑战之一是保持我们的肤色。”“这是一个非常敏感的领域。”为了消除这种偏见,Adobe成立了一个审计团队和一个人工智能道德委员会,在每次进行重大更新时测试该算法。“我们对每一个ML函数都进行了非常彻底的审查,以审视这个标准,并试图对其进行改进。”

然而,与其他构建AI图像编辑工具的团队相比,Adobe的主要优势之一是其股票摄影目录——涵盖了大量不同年龄、种族和性别的图像。科斯丁说,这使得Adobe研究人员可以轻松地平衡他们的数据集,以最大限度地减少偏差。科斯丁说:“我们用Adobe股票照片补充了训练数据,这使我们能够获得最佳的分布式训练集。”

当然,所有这些都不能保证有偏差的结果不会出现在某个地方,尤其是当神经过滤器脱离beta测试,进入普通大众手中的时候。因此,每次应用滤镜时,Photoshop都会询问用户对结果是否满意,如果不满意,可以选择举报“不合适”的内容。如果用户选择,他们也可以匿名将他们的正面和背面图像发送到Adobe进行进一步的研究。这样,公司不仅想消除偏见,还想进一步扩大训练数据,从而推动其神经滤波器达到更高的保真度。

/p>

这种基于实际使用情况的快速更新在快速发展的AI研究世界中很常见。通常,当一种新的机器学习技术发布时(通常在名为arXiv的站点上,这是尚未在期刊上发表过的开放获取的科学论文集),其他研究人员将对其进行阅读,采用和修改。在几天之内,即可在社交媒体上互相分享结果和提示。

一些专注于AI的Photoshop竞争对手通过拥抱这种文化来脱颖而出。例如,像Runway ML这样的程序,不仅允许用户使用自己的数据来训练机器学习过滤器(Photoshop不能这样做),而且它还运行着用户生成的“市场”,使人们可以轻松共享和进行实验使用最新的工具。如果设计师或插图画家在Twitter上看到一些有趣的东西,他们希望立即开始使用它,而不是等待它散布到Photoshop中。

作为具有高度重视稳定性的客户的广泛使用的产品,Adobe不能真正与这种速度竞争,但是凭借神经过滤器,该公司将脚趾伸入了这些快速发展的领域。虽然其中两个过滤器被视为已完成的功能,但六个过滤器被标记为“ beta”工具,另外八个仅作为名称列出,用户必须请求访问权限。您可以在下面看到不同过滤器及其相应层的完整列表:

Yap说,这种方法对Photoshop来说是新方法,但有望使Adobe减轻用户对AI工具的期望,并为他们提供更快更新工具的许可。Yap说:“我们建立了这个框架,使我们可以更快地将模型[带给用户],从研究到Photoshop。” “传统上,当我们进行功能(例如更换天空)时,它们确实已真正集成到产品中,因此需要较长的时间才能成熟。” 使用神经过滤器,理想情况下,更新周期会更快。

“我们正试图将这种步伐带入Photoshop,” Costin说。“这将以我们启动时该功能不够完善为代价,但是我们指望我们的用户社区告诉我们该功能有多好[...],然后我们将吸收这些数据并进行完善并加以改善。”

换句话说:AI进步的飞轮即将进入Photoshop,其中更多的用户创建更多的数据,从而创建更好的工具。调整某人的年龄仅仅是开始。