博客
关于我
Building a Large Scale Dataset for Image Emotion Recognition: The Fine Printand The Benchmark
阅读量:799 次
发布时间:2023-04-15

本文共 1275 字,大约阅读时间需要 4 分钟。

心理学研究表明,人们对不同视觉刺激会产生多样的情绪反应。过去几年中,学术界围绕如何分析和预测人们对图像的情绪反应展开了大量研究。为此,专家提出了多种手动调谐特征,并在几个精心挑选的标记数据集上进行了验证,结果证实了这些特征的有效性。尽管卷积神经网络(CNN)在多个计算机视觉任务中取得了显著成果,但视觉情感分析领域仍未达到同样的水平,这主要归因于缺乏专门用于情感分析的高质量标注数据和较大的图像数据集。

本研究旨在解决这一问题,提出了一种全新的数据集。该数据集最初包含超过300万张带有弱标记的不同情绪图像,最终其规模比目前最大的公开视觉情感数据集高出30倍。我们希望通过此举,推动视觉情感分析领域的进一步研究。

在数据集构建过程中,我们参考了现有的情绪分类体系,采用了(Mikels et al., 2005)中的八种情绪分类。基于(Jia et al., 2012)的方法,我们使用这八种情绪作为关键词向Flickr和Instagram进行图像搜索,从而收集了超过300万张弱标记图像。随后,我们对数据进行了严格的清洗,删除了带有多于一种情绪标签的图像,以及通过fdupes2工具去除重复内容。图2展示了最终剩余图像的统计信息,可以看出不同情绪类别的图像数量存在明显不平衡,特别是在Flickr平台上,满意和厌恶类别的图片量较少,而恐惧和悲伤类别的图片量相对较多。这些结果与(http://goo.gl/vhBBF6)中的研究成果一致,即人们更倾向于在Instagram上分享悲伤相关的内容。

为确保数据质量,我们进一步通过Amazon Mechanical Turk (AMT)对这些弱标记图像进行了精准标注。我们设计了严格的资格测试,以筛选出能够准确完成任务的AMT工作者。具体而言,我们随机从公开可用ArtPhoto数据集中选取图像,并以groundtruth标签为标准,要求工人从这八种情绪中选择与图像最匹配的情绪类别。通过实验验证,发现该资格测试具有较高的挑战性,尤其是在需要为每张图片选择一种情绪时。

基于上述发现,我们将AMT任务设计为验证任务,而非注释任务。由于我们已经收集了所有带有情感查询标签的图像,因此需要验证每张图片的情感。每个HIT分配给五名AMT工作者,要求他们回答具体问题(如“你看到这张照片会感到愤怒吗?”),并选择“是”或“否”。在资格测试中,所有合格的员工必须至少正确回答20个问题中的至少10个。最终,我们通过AMT平台招募了超过1000名工人,其中有225名工人通过了资格测试,获得了验证任务的机会。为每个情感类别,我们随机选择了11000张图片。最终,我们保留了那些从五名AMT工作者那里获得至少三个“是”回答的图像。通过这种方式,我们建立了一个相对强标记的视觉情感分析数据集。表2总结了我们最终的数据集规模。值得注意的是,由于恐惧类别的图片数量较少,我们增加了2000张图片以确保这一类别的样本量超过1000张。最终,我们收集了约23000张图片,构建了一个涵盖八种主要情绪的高质量视觉情感分析数据集。

转载地址:http://merfk.baihongyu.com/

你可能感兴趣的文章
Luogu2973:[USACO10HOL]赶小猪
查看>>
mabatis 中出现< 以及> 代表什么意思?
查看>>
Mac book pro打开docker出现The data couldn’t be read because it is missing
查看>>
MAC M1大数据0-1成神篇-25 hadoop高可用搭建
查看>>
mac mysql 进程_Mac平台下启动MySQL到完全终止MySQL----终端八步走
查看>>
Mac OS 12.0.1 如何安装柯美287打印机驱动,刷卡打印
查看>>
MangoDB4.0版本的安装与配置
查看>>
Manjaro 24.1 “Xahea” 发布!具有 KDE Plasma 6.1.5、GNOME 46 和最新的内核增强功能
查看>>
mapping文件目录生成修改
查看>>
MapReduce程序依赖的jar包
查看>>
mariadb multi-source replication(mariadb多主复制)
查看>>
MariaDB的简单使用
查看>>
MaterialForm对tab页进行隐藏
查看>>
Member var and Static var.
查看>>
memcached高速缓存学习笔记001---memcached介绍和安装以及基本使用
查看>>
memcached高速缓存学习笔记003---利用JAVA程序操作memcached crud操作
查看>>
Memcached:Node.js 高性能缓存解决方案
查看>>
memcache、redis原理对比
查看>>
memset初始化高维数组为-1/0
查看>>
Metasploit CGI网关接口渗透测试实战
查看>>