人脸识别 | EDPS关于面部情绪识别的观点
编者按：
本公号曾发表的人脸识别系列文章：
今天给大家推送2021年5月26日，EDPS在其网站上发布的“面部情绪识别”文章的全文翻译。译者是林奕和长城汽车杨丹律师。
面部情绪识别
面部情绪识别 （Facial EmotionRecognition, FER） 是一种通过分析静态图像和动态视频中人物面部表情，以揭示自然人情绪状态的技术。面部表情的复杂性、该技术被应用到任何场景中的潜在可能，以及人工智能等新技术的参与，都引发了显著的隐私风险。
（一）什么是面部情绪识别？
面部情绪识别是一种用于分析例如图片与视频等不同来源中情绪的技术。它属于通常被称为“情感计算”的技术家族，是一个研究计算机识别和解释人类情绪和情感状态的能力的多学科领域，它通常建立在人工智能技术的基础上。
面部表情是非语言交流的形式，暗示人类情绪。几十年来，解码这种情绪表达一直是心理学和人机交互领域的研究热点。而近年来，摄像机的普及、生物识别分析、机器学习和行为模式识别技术的进步，对面部情绪识别技术的发展则起到了突出的作用。
从NEC或谷歌等科技巨头到比如Affectiva和Eyeris等规模较小的公司都投资于面部情绪识别技术，体现了FER与日俱增的重要性。于此同时，一些欧盟的研究和创新计划，如Horizon 2020项目，也在探索该技术的应用。
面部情绪识别分析包括三个步骤：a）人脸检测，b） 面部表情检测，c） 将表情归类为情绪状态（见图1）。情绪检测基于对面部特征点（如鼻端，眉毛）的位置的分析。此外，在视频的处理中，这些位置的变化也被分析，以识别一组面部肌肉的收缩。基于算法，面部表情可以被归类为基本的情绪类别（如愤怒、厌恶、恐惧、喜悦、悲伤和惊诧）或复合情绪状态（例如愉快地悲伤，愉快地惊讶，愉快地厌恶，悲伤地恐惧，悲伤地愤怒，悲伤地惊讶）。在其他情况下，面部表情可能与生理或精神状态有关（如疲倦或无聊）。
图1 面部情绪识别的步骤
人脸检测、情绪检测、情绪归类
作为面部情绪识别算法的输入，图像及视频的来源广泛——从监控摄像头、到商店内放置在广告屏幕附近的摄像机、社交媒体的页面，网络流媒体的视频库，或数据主体自己的个人设备。
面部情绪识别也可以与生物识别技术相结合，通过分析不同类型的来源，如语音、文本、传感器获取的健康数据，或由图像推断出的血流模式，以提高其准确性。FER 的潜在用例涵盖了广泛的领域，以下分组列出：
提供个性化服务
•分析情绪，在智能化场景中显示个性化信息
•提供个性化的建议，例如推荐音乐或与文化信息
•分析面部表情以预测观众对电影的反应
客户行为分析和广告营销
•分析顾客购物过程中对商品或店内陈列的情绪反应
•跟踪分析人脸并投放订制内容进行营销的广告牌
医疗健康
•检测自闭症或神经退行性疾病
•预测精神病或抑郁症，以识别需要帮助的用户
•预防自杀
•检测老年人的抑郁症
•观察患者在治疗期间的病情
雇佣与就业
•帮助招聘人员做决策
•确定面试中不感兴趣的候选人
•监控员工的情绪和注意力
教育与培训
•监测学生的注意力
•检测用户对教学计划的情绪反应，并据此调整学习路径
•设计具有智能情感的辅导系统
•检测在线学习的参与度
公共安全
•测谎仪和智能边境控制
•对公共场所进行预测性筛查，以识别引发潜在恐怖主义威胁的情绪
•分析犯罪现场的录像以揭示犯罪的潜在动机
犯罪侦查
• 检测并减少欺诈性保险索赔
• 部署预防欺诈策略
• 发现商店行窃者
其他用途
•检测疲劳驾驶
•推断政治态度
（二）有什么样的数据保护问题？
鉴于使用了生物识别数据和人工智能技术，FER无法避免使用人脸识别和人工智能的部分内生风险。与此同时，这项技术自身也带有特定的风险。作为一项生物识别技术，尽管识别数据主体并非此项技术的首要目的，FER突出的风险集中在情绪解释的准确性和其应用场景。
1. 必要性和比例性
将人类表情用作推断人类情绪的数据源显然触及了人们最私密一部分数据。面部情绪识别作为一项颠覆性技术，涉及有关必要性和比例性的重要问题。
必须仔细评估，部署FER对于实现所追求的目标是否必要，或者是否有侵入性较小的替代方案。
在没有对每个用例逐一进行必要性和比例性评估的情况下就应用FER，有可能会被其他情境中使用这项技术的决定所误导。而比例性取决于许多因素，例如收集数据的类型、推理运算的方式、数据保留的期限或潜在的进一步处理。
2. 数据准确性
基于面部表情的情绪分析可能并不准确，因为面部表情因人而异，可能混合了其同时经历的不同情绪状态（如恐惧和愤怒、快乐和悲伤），或者可能根本不表达任何一种情绪。另一方面，有些情绪可能无法表达在某人的脸上，因此仅仅基于面部表情进行推断可能会得出错误的印象。额外的因素可能会增加面部表情模糊性，例如情境线索（如讽刺）和社会文化背景。
此外，技术限制（摄像机的不同角度、拍摄时的照明条件和面部被遮盖的若干部分）可能会影响获取的面部表情的数据质量。此外，即使在准确识别情绪的情况下，使用这些结果也可能导致对一个人的错误推断，因为 FER 无法解释情绪是因何而起，这可能是其对最近或过去事件的某个念头。不管准确性有多受限，FER的处理结果通常被视为事实，并作为数据处理的输入，最终影响数据主体的生活，而非触发一个旨在了解数据主体在特定情境中的处境的评估。
3. 算法公平
基于肤色和种族的歧视长期存在，而面部情绪识别算法的（存疑的）准确性可能加剧已有的问题。研究发现社会规范和文化差异会影响一些情绪的表达水平，而部分算法已被证实会因肤色导致对特定族群偏见的结果。例如，一项测试面部情绪识别算法的研究显示，与其他面孔相比，算法会给非洲人后裔的标记更多的负面情绪（愤怒）。此外，每当有模棱两可时，非洲裔人的面部愤怒分值也更高。
选择具有广泛代表性的正确数据集对于避免歧视至关重要。如果训练数据不够多样化，该技术就可能会致使对少数族裔的偏见。因数据集缺陷或情绪状态分析错误引发的歧视可能会产生严重影响，例如无法使用某些服务。
而同一问题的另一方面是，当数据主体因医疗状况或身体损伤导致面部肌肉暂时或永久性瘫痪的，他们的情绪可能会被算法误判。这可能导致一系列的错误分类，造成其接受到不想要的服务，甚至被误诊为有心理障碍的各种影响。
4. 透明度及可控性
归功于无处不在和小型化的摄像设备，面部图像和视频唾手可得。除了公共场所及商店中的远程拍摄面部图像的监控摄像头，用户自己的移动设备也在使用过程中捕获表情。在这些情况下，对个人数据的收集和进一步处理都会引发关乎透明度的问题。
当数据主体的面部表情以远程方式被拍摄抓取，他们可能无从得知自己的数据会被哪个数据控制者，以什么样的系统或软件，出于何种目的处理。因此，他们无法自由作出同意或控制包括与第三方共享的个人数据的处理。如果数据主体对情绪识别没有知情、访问或控制，他们就被剥夺了选择个人生活的哪些方面可用于影响其他情境的自由（例如，社会交往中的情绪被用于雇佣与就业）。
此外，数据主体需要能控制他们在哪个时间段内被获取的数据将被处理并汇集到总结其情绪状况的历史记录，因为情绪推断在一段时间后可能对他们无效。远程非触式抓拍面部表情，加之无感化处理的隐蔽性导致的另一个后果是，数据主体无从知晓他们的情绪信息会与什么样的其他信息被汇集聚合。
此外，先进的人工智能算法增加了透明度的复杂性，因为它们可能会检测到对个人来说也是无意识的面部肌肉轻微颤动。这将加剧人们因非自愿的暴露而感到易受攻击的不适感。
5.特殊类别个人数据的处理
面部情绪识别技术可以检测面部表情的存在、变化或缺乏面部表情，并将此与情绪状态联系起来。因此，在某些情况下，算法可以推断出特殊类别的个人数据，如政治观点或健康状况。例如，在政治活动现场使用 FER 技术，可以透过观察观众的面部表情和反应来推断出他们的政治态度。此外，由于缺乏面部表情，算法能够检测“述情障碍症”的迹象，这种状态下，人们无法理解或者难以描述他们自身经历的感受。这一发现可能与严重的精神和神经系统疾病有关，如精神病。此外，对一个人情绪状态历史数据的分析可能会揭示其他健康状况，如抑郁症。此类数据如果用于医疗保健，可能有助于预测疾病和及时治疗患者。但是，如果数据主体无法控制衍生信息的流动及其在其他情况下的使用，他们可能面临雇主或保险公司等非授权实体推断和使用此类敏感个人数据的情况。
6. 用户画像及自动化决策
面部情绪识别技术可以进一步用于在许多情境中为人们画像。它可以用来获得一个人对产品、广告或提议的接纳度。它还可用于在工作场所分类雇员生产率和耐劳度。风险在于数据主体可能不知道此类处理的针对性，而当他们发现了此事，可能会感到不自在。而如果仅仅基于与其他人经历相同的情绪，就被错误地画像或推断归为一类，则会引发更多的问题。此外，洞悉个人的情绪可以让他们更容易受到操纵。例如，通过识别揭示脆弱的情绪状态，可以用来在心理上强迫人们做出他们本来不会做的事情——例如购买他们并不需要的商品。
面部情绪识别技术可用于维护公共安全，例如在音乐会、体育赛事或机场迅速地筛查侵略性和压力的迹象，并识别潜在的恐怖分子。但是，如果并没有与其他触发因素或行为相结合，仅仅基于面部情绪识别完成此类识别，指认某人为危险份子，则可能会给数据主体带来进一步的风险。例如，一个人可能因进一步的安全检查或调查遭受不合理的延误，导致他们错过活动、误机或甚至遭受不公正的逮捕。
最后但同样重要的一点是，当人们意识到面部情绪识技术的存在时，这项技术可以影响人们的行为（心理学上称其为反应性）。个人可能会改变他们的习惯，或刻意避开部署了该技术的特定地点，以试图维护自觉及保护自我。可以想象——如果非民主政府使用这种技术来推断公民的政治态度，将使得公民心生畏惧，并引发社会的“寒蝉效应“。
（三）扩展阅读
Abdat, F., C. Maaoui, and A. Pruski. 2011. “Human-Computer Interaction Using Emotion Recognition from Facial Expression.” In 2011 UKSim 5th European Symposium on Computer Modeling and Simulation. IEEE. https://doi.org/10.1109/ems.2011.20.
Andalibi, Nazanin, and Justin Buss. 2020. “The Human in Emotion Recognition on Social Media: Attitudes, Outcomes, Risks.” In Proceedings of the 2020 Chi Conference on Human Factors in Computing Systems, 1–16. CHI ’20. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/3313831.3376680.
Barrett, Lisa Feldman, Ralph Adolphs, Stacy Marsella, Aleix M. Martinez, and Seth D. Pollak. 2019. “Emotional Expressions Reconsidered: Challenges to Inferring Emotion from Human Facial Movements.” Psychological Science in the Public Interest 20 (1): 1–68. https://doi.org/10.1177/1529100619832930.
Cowie, R., E. Douglas-Cowie, N. Tsapatsoulis, G. Votsis, S. Kollias, W. Fellenz, and J. G. Taylor. 2001. “Emotion Recognition in Human-Computer Interaction.” IEEE Signal Processing Magazine 18 (1): 32–80. https://doi.org/10.1109/79.911197.
Crawford, K., R. Dobbe, T. Dryer, G. Fried, B. Green, E. Kaziunas, A. Kak, et al. 2919. “AI Now 2019 Report.” New York: AI Now Institute. https://ainowinstitute.org/AI_Now_2019_Report.html.
Daily, Shaundra B., Melva T. James, David Cherry, John J. Porter, Shelby S. Darnell, Joseph Isaac, and Tania Roy. 2017. “Affective Computing: Historical Foundations, Current Applications, and Future Trends.” In Emotions and Affect in Human Factors and Human-Computer Interaction, 213–31. Elsevier. https://doi.org/10.1016/b978-0-12-801851-4.00009-4.
Du, Shichuan, Yong Tao, and Aleix M. Martinez. 2014. “Compound Facial Expressions of Emotion.” Proceedings of the National Academy of Sciences 111 (15): E1454–E1462. https://doi.org/10.1073/pnas.1322355111.
Ekman, Paul, and Wallace V Friesen. 2003. Unmasking the Face: A Guide to Recognizing Emotions from Facial Clues. Ishk.
Jacintha, V, Judy Simon, S Tamilarasu, R Thamizhmani, K Thanga yogesh, and J. Nagarajan. 2019. “A Review on Facial Emotion Recognition Techniques.” In 2019 International Conference on Communication and Signal Processing (Iccsp), 0517–21. IEEE. https://doi.org/10.1109/ICCSP.2019.8698067.
Ko, Byoung Chul. 2018. “A Brief Review of Facial Emotion Recognition Based on Visual Information.” Sensors 18 (2): 401. https://doi.org/10.3390/s18020401.
Lang, Peter J., Mark K. Greenwald, Margaret M. Bradley, and Alfons O. Hamm. 1993. “Looking at Pictures: Affective, Facial, Visceral, and Behavioral Reactions.” Psychophysiology 30 (3): 261–73. https://doi.org/10.1111/j.1469-8986.1993.tb03352.x.
Rhue, Lauren. 2018. “Racial Influence on Automated Perceptions of Emotions.” SSRN Electronic Journal. https://doi.org/10.2139/ssrn.3281765.
Russell, James A. 1995. “Facial Expressions of Emotion: What Lies Beyond Minimal Universality?” Psychological Bulletin 118 (3): 379–91. https://doi.org/10.1037/0033-2909.118.3.379.
Sedenberg, Elaine, and John Chuang. 2017. “Smile for the Camera: Privacy and Policy Implications of Emotion Ai.” https://arxiv.org/abs/1709.00396.
域外数据安全和个人信息保护领域的权威文件，DPO社群的全文翻译：
DPO线下沙龙的实录见：
美国电信行业涉及外国参与的安全审查系列文
美国电信行业涉及外国参与的安全审查（一）：基本制度介绍
美国电信行业涉及外国参与的安全审查（二）：国际性的第214节授权
美国电信行业涉及外国参与的安全审查（三）：建立外国参与安全审查的行政令
美国电信行业涉及外国参与的安全审查（四）：FCC对中国企业的陈述理由令
中国的网络安全审查系列文章：
数据安全法系列文章：
个人数据与域外国家安全审查系列文章
围绕着TIKTOK和WECHAT的总统令，本公号发表了以下文章：
第29条工作组/EDPB关于GDPR的指导意见的翻译：
关于美国出口管制制度，本公号发表过系列文章：
供应链安全文章：
数据跨境流动政策、法律、实践的系列文章：
传染病疫情防控与个人信息保护系列文章
人脸识别系列文章：
关于欧盟技术主权相关举措的翻译和分析：
关于数据与竞争政策的翻译和分析：
关于人工智能监管指导文件的翻译：
数据安全法系列文件：
中国个人信息保护立法系列文章：
自动驾驶系列文章：