機器人看臉讀“心”靠譜嗎？

來源：Adapted from GL Archive/Alamy

本文轉載自公眾(zhong) 號“Nature自然科研”

撰文：Douglas Heaven

數百張人臉在屏幕上一一閃現，其中一些瞪著眼睛，一些癟著嘴巴，還有一些人的眼睛緊閉、嘴角上揚、張大著嘴。看到這些人臉，你必須回答一個(ge) 簡單的問題：這個(ge) 人是在經曆高潮還是陣痛？

2018 年，心理學家 Rachael Jack 和她的同事招募了 80 個(ge) 人來做這個(ge) 測試1。來自英國格拉斯哥大學的這個(ge) 團隊從(cong) 西方和東(dong) 亞(ya) 招募了這些參與(yu) 者，為(wei) 的是研究一個(ge) 長久以來的熱門問題：麵部表情真的能傳(chuan) 達情緒嗎？

研究人員讓研究對象從(cong) 麵部讀取情緒的做法已經有好幾十年了，包括不同國家的成年人和兒(er) 童，甚至還有偏遠地區的原住民。上世紀 60、70 年代，美國心理學家 Paul Ekman 進行的著名觀察性研究發現，全世界的人都能夠從(cong) 麵部表情準確推斷出背後的情緒，這說明情緒的表達是相通的2,3。

這種觀點在一代人的時間裏基本未受挑戰。但是，新生代的心理學家和認知科學家在回顧了這些數據後提出了質疑。許多研究者現在認為(wei) ，實際情況要複雜得多，麵部表情在不同情景和文化中有著截然不同的意義(yi) 。比如，Jack 的研究發現，雖然西方人和東(dong) 亞(ya) 人對於(yu) 表示痛苦的麵部表情有著相似的認識，但是他們(men) 對於(yu) 哪種表情表達愉悅的看法卻並不一致。

對於(yu) Ekman 認為(wei) 人臉是情緒表達窗口的結論，研究人員之間的分歧越來越大。但是這並不妨礙商業(ye) 公司和政府為(wei) 他的說法“買(mai) 單”，並以會(hui) 改變人們(men) 命運的方式加以應用。比如，西方的許多司法係統裏，讀取被告人的情緒就是公平審判的一部分。美國最高法院大法官 Anthony Kennedy 曾在 1992 年寫(xie) 道，這麽(me) 做對於(yu) “了解罪犯的心靈和思想”是很有必要的。

Ekman 曾為(wei) 美國運輸安全管理局（TSA）設計了一個(ge) 備受爭(zheng) 議的培訓項目，該項目於(yu) 2007 年啟動，其核心就是解讀情緒。項目名為(wei) “旅客篩查觀察法” （Screening Passengers by Observation Techniques，SPOT），主要目的是訓練 TSA 的人員監控旅客身上出現的數十種可疑跡象，這些跡象可能反映了他們(men) 焦慮、欺騙和害怕的情緒。該項目遭到了科學家、美國國會(hui) 議員以及美國公民自由聯盟等民間組織的廣泛質疑，他們(men) 指責這種做法並不準確，還會(hui) 帶來種族偏見。

此起彼伏的質疑聲並沒能阻止頂尖的科技公司，它們(men) 相信情緒是容易檢測的，其中一些公司已經開發出了情緒識別軟件。眼下，這些軟件正在進行測試或推廣，應用範圍包括評估求職者和崗位的匹配度，測謊，讓廣告更有吸引力，還能檢測癡呆症到抑鬱症等一係列疾病。

這個(ge) 產(chan) 業(ye) 的估值高達數百億(yi) 美金。微軟、IBM、亞(ya) 馬遜在內(nei) 的科技巨頭，以及一些專(zhuan) 業(ye) 性更強的企業(ye) （如波士頓的 Affectiva 和邁阿密的 NeuroData Lab）都推出了通過人臉檢測情緒的算法。

研究者還在苦苦爭(zheng) 辯人類的麵部能否忠實地表達和感知情緒，不少專(zhuan) 家也認為(wei) 用計算機來將其自動化還早了點，尤其是這種技術還具有潛在的破壞力。紐約大學的研究中心 AI Now Institute 呼籲禁止在敏感場合使用情緒識別技術，譬如在招聘和執法時4。

從(cong) 事相關(guan) 研究的俄亥俄州立大學研究者 Aleix Martinez 表示，人的麵部表情是很難解讀的，哪怕對人類自己來說都是如此。他說，考慮到這一點，再結合當前萬(wan) 物皆可自動化的趨勢，“我們(men) 應該感到擔心。”

膚淺之見

人類的麵部有 43 塊肌肉，它們(men) 可以拉伸、上揚、扭曲，表達幾十種不同表情。雖然麵部肌肉可以做許多動作，但科學家們(men) 一直都相信，特定表情對應特定的情緒。

持這種觀點的人就包括達爾文。他在 1859 年出版的野外考察巨著《物種起源》稱得上是觀察方麵的教科書(shu) 。他的另一部影響力稍差的作品——《人類和動物的情感表達》（1872）則頗為(wei) 教條。

達爾文注意到，靈長類動物的麵部動作和人類表達情緒（如厭惡和害怕）有些類似。他由此提出，這些表情肯定有某種適應性功能。比如，撅嘴巴，皺鼻子，擠眼睛這種與(yu) 厭惡相關(guan) 的表情，最初可能是為(wei) 了抵禦有害的病原體(ti) 。隻是隨著社會(hui) 行為(wei) 的出現，這些麵部表情才開始發揮起溝通的作用。

達爾文關(guan) 於(yu) 情緒的論述中囊括了大量擺拍的表情，比如這些努力模仿痛苦的受試者。來源：Alamy

Ekman 在 60 年代開展的首批跨文化實地研究支持了達爾文的假說。他在世界範圍內(nei) 研究了人類對六種關(guan) 鍵情緒（快樂(le) 、悲傷(shang) 、憤怒、害怕、驚訝和厭惡）的表情和感知，研究對象甚至包括新幾內(nei) 亞(ya) 的一個(ge) 偏遠部落2,3。

Ekman 告訴《自然》，他挑選這六種情緒是出於(yu) 實際考慮。他說，一些情緒，比如羞恥和內(nei) 疚並沒有外顯的表情，“我關(guan) 注的這六種情緒是有表情的，也就是說，它們(men) 可以作為(wei) 研究的對象”。

Ekman 認為(wei) ，這些早期研究支持了達爾文進化論引申出的表情普適論。後來的研究則證明了某些麵部表情具有適應性優(you) 勢5。

波士頓東(dong) 北大學的心理學家 Lisa Feldman Barrett 表示：“長久以來，人們(men) 認為(wei) 麵部表情是一種強製性動作。” 也就是說，我們(men) 的麵部無法隱藏我們(men) 的情緒。不過，這個(ge) 假設的一個(ge) 明顯漏洞是，人們(men) 確實能偽(wei) 造情緒，也可以讓情緒不寫(xie) 在臉上。Ekman 這一派的學者也承認，每種情緒的表情並沒有一個(ge) 所謂的“金標準”。

越來越多的研究者提出，情緒對應的表情範圍太大，以至於(yu) 金標準的概念幾近分崩離析。他們(men) 用一篇大型綜述支持了這個(ge) 觀點6。幾年前，期刊《公共利益心理科學》（Psychological Science in the Public Interest）的編輯邀請了一些觀點互斥的作者組成專(zhuan) 家團，完成了這篇綜述。

領導此次合作的 Barrett 表示：“我們(men) 竭盡所能摒棄先見。”他們(men) 沒有事先樹立假設，而是直接從(cong) 數據著手。她說：“觀點不統一的時候，我們(men) 就去尋找新的證據。”最後，他們(men) 閱讀了約 1000 篇論文，曆經 2 年半的研究，得出了一個(ge) 很明顯的結論：沒有證據，或很少有證據能證明，人們(men) 可以從(cong) 各種麵部動作推測某人的情緒狀態。

麵部所能反映的情緒是很有限的。完整圖片見下方。來源：Lance King/Hector Vivas/Ronaldo Schemidt/Kevin Winter/Getty

這些研究者甚至引用了一些證明麵部動作和內(nei) 在情緒無關(guan) 的研究。英國德蒙福特大學的心理學家 Carlos Crivelli 曾經研究過巴布亞(ya) 新幾內(nei) 亞(ya) 的特羅布裏恩群島的居民，他並沒有發現能支持 Ekman 觀點的證據。Crivelli 的結論是，從(cong) 外在表現推測內(nei) 在的心理狀態，就猶如用尺子在稱重量。

證明表情普適性的證據不足的另一個(ge) 原因是，人臉隻提供了部分信息。其他信息，比如身體(ti) 動作、個(ge) 性、聲調以及臉色變化，在我們(men) 識別和表達情緒的過程中也起到了重要的作用。就好比情緒變化會(hui) 影響血流量，血流量又會(hui) 影響臉色。Martinez 和同事發現，人們(men) 能夠發現臉色變化和情緒之間的關(guan) 係7。而背景一類的視覺信號也能提供識別情緒狀態的線索8。

順時針從(cong) 左上起：籃球運動員 Zion Williamson 慶祝灌籃成功；墨西哥球迷歡慶世界杯小組賽晉級；歌手Adele贏得了 2012 年的格萊美獎；Justin Bieber 的粉絲(si) 在墨西哥城的演唱會(hui) 上哭泣。

複雜情緒

其他研究者指出，對 Ekman 的結論的反撲有些過頭了。Ekman 本人深以為(wei) 然。2014 年，他在對 Barrett 的批評的回應中指出，有大量的研究支持他先前的結論，包括證明了麵部會(hui) 自發做表情的研究。還有研究發現了表情與(yu) 大腦以及身體(ti) 狀態之間的聯係。他在回應中稱，這些研究說明麵部表情不僅(jin) 反映了人的情緒，也反映了神經生理活動的模式（見go.nature.com/2pmrjkh）。他說自己的觀點並沒有改變。

在加拿大不列顛哥倫(lun) 比亞(ya) 大學的心理學家 Jessica Tracy 看來，那些認為(wei) Ekman 的表情普適論有錯的人給出的證據不過是一小簇反例，他們(men) 有些誇大其詞了。

她認為(wei) ，即使不同群體(ti) 或文化對憤怒表情的理解略有偏差，但也不能推翻整個(ge) 理論。大多數人一看就知道這是一張憤怒的臉，她引用了一項對 100 個(ge) 研究進行的分析9。她說：“有大量其他證據證明，全世界大多數文化的大部分人都認為(wei) 這個(ge) 表情是通用的。”

Tracy 和其他 3 位心理學家認為(wei) 10，Barrett 在文獻綜述裏稱他們(men) 是將六種情緒刻板地與(yu) 麵部動作一一對應，這種解讀有點誇張了。其中一位作者，阿姆斯特丹大學的 Disa Sauter 表示：“我不認為(wei) 情緒科學領域還有其他研究者讚同她的觀點。”

Sauter 和 Tracy 認為(wei) ，要解讀麵部表情就需要對情緒進行更複雜的分類。研究者不應把快樂(le) 視為(wei) 單一的情緒，而要把它繼續細分；快樂(le) 下麵還包括高興(xing) 、愉悅、憐憫、自豪等等。這些情緒的表情可能會(hui) 有差異或重疊。

一些研究使用計算機生成隨機的表情。Rachael Jack 在 2018 年開展的一項研究中，參與(yu) 者需要指出每張臉與(yu) 他們(men) 心目中對痛苦或高潮的定義(yi) 的符合程度。來源：C. Chen et al./PNAS (CC by 4.0)

這場爭(zheng) 議的核心其實在於(yu) 對顯著的定義(yi) 。在一項研究中，參與(yu) 者需要從(cong) 六個(ge) 情緒標簽中選擇一個(ge) 來描述他們(men) 看到的人臉。一些研究者可能認為(wei) ，如果某個(ge) 表情被選擇的幾率大於(yu) 20%，那就說明這個(ge) 表情的通用性較為(wei) 顯著。

其他人覺得 20% 的標準太寬鬆了。Jack 認為(wei) Ekman 的閾值過低，她在讀博期間讀過 Ekman 早期的論文，她說，“我總是去找我的導師，給他看這些 60、70 年代的圖表，每個(ge) 圖表在文化認識上都存在巨大差異。到今天為(wei) 止，依然沒有數據能證明，對情緒的認可是放之四海皆準的。”

即使不考慮顯著性，研究者還要麵對主觀性的問題：許多研究都需要事先為(wei) 情緒貼標簽，以便在實驗結束後進行比較。因此，Barrett、Jack 以及其他學者想用更為(wei) 客觀的方法來研究情緒。Barrett 正在研究生理指標，她希望用這類指標來描述憤怒，害怕和愉悅。

Jack 則用計算機隨機生成的表情來替代擺拍的麵部照片，避免局限於(yu) 最常見的六種情緒。還有研究人員讓參與(yu) 者自己來對人臉進行分類，或者讓來自不同文化的參與(yu) 者用自己的母語給照片做標記。

矽基情緒

軟件企業(ye) 則避免讓算法進行自由聯想。一般來說，情緒識別的人工智能算法需要學習(xi) 數百萬(wan) 張人臉圖像以及數百小時的視頻——每個(ge) 情緒都被標好了標簽，再從(cong) 這些資料中習(xi) 得模式。Affectiva 表示公司已經用來自 87 個(ge) 國家超過 700 萬(wan) 張人臉對軟件進行了訓練，目前其情緒識別準確率已經達到了 90%。

該公司拒絕透露算法背後的科學依據。Neurodata Lab 公司意識到了麵部在情緒表達上的差異，但指出：“如果某人正在經曆某種情緒，某些麵部表情出現的可能性會(hui) 高於(yu) 隨機概率。”而該公司的算法利用的正是這種規律。而意見尚不統一的研究人員，不管站哪邊，都對這類軟件持懷疑態度，無論是對訓練算法所使用的數據存在擔憂，還是認為(wei) 該領域目前仍未有定論。

Ekman 說他曾直截了當地挑戰過這些公司的說法。他曾寫(xie) 信給數家公司，但拒絕透露公司名稱，隻說“它們(men) 都是世界上最大的軟件公司”，並向它們(men) 索要能證明其自動化技術有效的證據，但沒有得到回音。他說，“在我看來，他們(men) 的理論並沒有證據支持。”

Martinez 折衷地表示，自動化情緒識別或許能代表某個(ge) 群體(ti) 的平均情緒反應。Affectiva 公司曾把軟件賣給營銷機構和某些品牌，幫助他們(men) 預測特定消費者對某個(ge) 產(chan) 品或營銷手段的反應。

即使這個(ge) 軟件出錯也不會(hui) 有太大的影響，頂多廣告的效果不如預期而已。但是，一些算法的應用卻可能改變人們(men) 的命運，比如麵試和邊境檢查。去年，匈牙利、拉脫維亞(ya) 和希臘試用了一個(ge) 旅客預篩查係統，通過分析麵部微表情來測謊。

想要平息這場情緒-表情的爭(zheng) 論，需要動用不同的研究手段。Barrett 常常受邀給科技公司展示她的研究，不久前剛去了微軟。她認為(wei) 研究者要踐行達爾文撰寫(xie) 《物種起源》時的做法：“觀察、觀察、再觀察。”觀察人們(men) 在現實生活如何通過麵部和身體(ti) 傳(chuan) 達信息，而不僅(jin) 僅(jin) 隻在實驗室裏。然後再用機器來記錄和分析來自真實生活的影像。

Barrett 認為(wei) 更多的數據和分析技術，而不是回顧陳舊的數據和實驗，才能幫研究者獲得新星空体育官网入口网站。對於(yu) 這個(ge) 她和其他研究者看來站不住腳的科學，許多科技公司卻躍躍欲試，她向這些企業(ye) 發出了挑戰：“我們(men) 已經到了懸崖口，人工智能企業(ye) 到底是要繼續使用漏洞百出的研究假設，還是去做應該完成的事呢？”

參考文獻

1.Chen, C. et al. Proc. Natl Acad. Sci. USA 115, E10013–E10021 (2018).

2.Ekman, P., Sorenson, E. R. & Friesen, W. V. Science 164, 86–88 (1969).

3.Ekman, P. & Friesen, W. V. J. Personal. Soc. Psychol. 17, 124–129 (1971).

4.Crawford, K. et al. AI Now 2019 Report (AI Now Institute, 2019).

5.Susskind, J. M. & Anderson, A. K. Commun. Integrat. Biol. 1, 148–149 (2008).

6.Barrett, L. F., Adolphs, R., Marsella, S., Martinez, A. M. & Pollak, S. D. Psychol. Sci. Publ. Interest 20, 1–68 (2019).

7.Benitez-Quiroz, C. F., Srinivasan, R. & Martinez, A. M. Proc. Natl Acad. Sci. USA 115, 3581–3586 (2018).

8.Chen, Z. & Whitney, D. Proc. Natl Acad. Sci. USA 116, 7559–7564 (2019).

9.Elfenbein, H. A. & Ambady, N. Psychol. Bull. 128, 203–235 (2002)

10.Cowen, A., Sauter, D., Tracy, J. L. & Keltner, D. Psychol. Sci. Publ. Interest 20, 69–90 (2019).

原文以 Why faces don’t always tell the truth about feelings 為(wei) 標題發表在 2020 年 2 月 26 日的《自然》新聞特寫(xie) 上。

關(guan) 注【深圳科普】微信公眾(zhong) 號，在對話框：
回複【最新活動】，了解近期科普活動
回複【科普行】，了解最新深圳科普行活動
回複【研學營】，了解最新科普研學營
回複【科普課堂】，了解最新科普課堂
回複【團體(ti) 定製】，了解最新團體(ti) 定製活動
回複【科普基地】，了解深圳科普基地詳情
回複【科學防控】，學習(xi) 疫情相關(guan) 科普星空体育官网入口网站
回複【科普小達人】，報名參賽贏取萬(wan) 元大獎