机器之心报道
计算机视觉领域中有很多任务，如目标检测、图像转换、风格迁移等，但你听说过「图像情感迁移」吗？
罗切斯特大学罗杰波教授团队提出了这项研究任务[1]。与其他计算机视觉任务相比，图像情感迁移更有挑战性，需要对图像中的每个物体进行不同的情感迁移。该研究提出一种灵活有效的物体级图像情感迁移框架和新模型SentiGAN，实验证明该框架可以有效执行物体级图像情感迁移。
什么是图像情感迁移？
与图像转换和图像风格迁移相比，该研究认为图像情感迁移更具挑战性。其中一个难点在于对不同类别的物体进行情感迁移时需要使用不同的规则。这有别于风格迁移，后者可以将一种绘画风格统一添加给图像中的所有物体。如图1所示，要让输入图像具备积极情感，应把海水迁移成清澈的蓝色，海鸟迁移成彩色的。这两种操作不是基于同一张参考图像，否则就会像图1b和1c那样不真实。
解决方案
为了解决这一挑战，该研究提出了一种有效框架，可以在物体级别执行图像情感迁移。整个过程可分为两步：
1.给定一张输入图像，该框架利用图像描述生成模型和语义分割模型检测所有物体，找出其像素级掩码。结合使用两个模型的目的是，维护高质量的物体掩码，同时大幅扩大物体集的范围。
2.对于输入图像中每一个检测出的物体，使用包含同样物体的参考图像进行情感迁移。该设计成功地解决了前述问题，并使框架保持强大的灵活性，例如用户可以给输入图像中的每一个物体赋予不同的情感。此外，它还可以使用户无需提供参考图像，直接输入想要赋予每一个检测出物体的情感词汇即可执行情感迁移（如对鸟输入「colorful」、对天空输入「sunny」、对山输入「magnificent」）。有了物体和情感词汇，系统就可以自动检索对应的参考图像，并执行情感迁移。
该框架的整体性能由第二步决定，即目标级情感迁移。这里可以直接应用风格迁移模型，但是情感迁移任务需要迁移后的图像看起来自然，不需要局部模式（如纹理）的显式迁移，而这正是风格迁移模型的固有元素。因此，研究人员转而利用多模态图像转换模型，如MUNIT和DRIT。它们可以分离内容和风格信息，为输入图像保存更多基于内容的元素。只需要对这些双领域映射模型做简单的修改，就可以使其适用于情感迁移任务，而这并不会明显限制输入和迁移图像的域。
但是，使用以上模型仍然存在缺陷。首先，MUNIT和DRIT最初是为图像级变换任务设计的，它们在细粒度物体级迁移任务上表现不好。第二个问题与情感迁移的本质有关。相比于轮廓、纹理和绘画风格，图像情感更敏感，往往与基于颜色的元素有关，如对比度、饱和度、亮度和主色。
框架原理如下：
给定输入图像，首先执行物体掩码提取来提取物体和对应的掩码；然后使用图像描述生成和图像语义分割来获取所有物体和高质量掩码；最后，使用SentiGAN逐个物体地执行情感迁移。
核心组件SentiGAN的架构如下图所示：
实验
研究人员创建了三个任务来评估图像情感迁移模型的性能。这三个任务均基于50张选自测试集的输入图像，这些图像具备精确的物体掩码和相对中性或模糊的情感信息（方便向积极或消极情感方向迁移）。
任务1：粗粒度情感迁移
第一个任务旨在衡量模型在执行图像粗粒度情感迁移时的性能。研究人员训练一个图像情感二分类模型来用于预测提取测试集中的典型积极图像和典型消极图像。对于每一张输入图像，不同的情感迁移模型可从十组采样的积极参考图像和十组采样的消极参考图像中，对输入图像进行情感迁移。图像情感分类模型对于各个情感迁移模型得到的迁移图形评估结果参见下表1：
从表1中可以看出，SentiGAN获得了最高的平均真正率和真负率。这表明，SentiGAN可以有效执行图像粗粒度情感迁移。
此外，研究人员还请五位志愿者从SentiGAN输出的500张迁移图像对（积极图像和消极图像）中选择积极图像。如表2所示，选择正确的概率为72.4%，这表明情感迁移效果可以被用户观察到。图5展示了SentiGAN输出的情感迁移示例。
任务2：验证物体级情感迁移的效果
第二个任务是验证物体级情感迁移的效果。
研究人员令SentiGAN执行三种迁移策略——物体级迁移、全局迁移、非对应物体的物体级迁移，并生成50组迁移图像。令五位志愿者在每组中选择最真实的图像，每人负责50组。如表3所示，对于大多数组，志愿者认为目标级情感迁移生成的图像最真实，这与图7示例表现一致。
任务3：迁移图像与参考图像间的情感一致性
第三个任务是评估迁移图像和参考图像之间的情感一致性（sentimentconsistency）。研究者对每个输入图像收集了不同模型预测的迁移图像，并请五位志愿者从中选择出一或多个与参考图像最具情感一致性的迁移图像。
如下表4所示，SentiGAN获得了最高的选中率，而且大幅领先，这表明它在迁移参考图像的情感中实现了最优性能。示例参见图6。
罗杰波教授团队还提出了一种基于全局的图像情感迁移方法[2]，感兴趣的读者可查看原论文。
参考文献
[1]ImageSentimentTransfer
Authors:TianlangChen,WeiXiong,HaitianZheng,:2006.11337.
[2]GlobalImageSentimentTransfer
Authors:JieAn,TianlangChen,SongyangZhang,:2006.11989.