機器人看臉讀“心”靠譜嗎？

?

來源：Adapted from GL Archive/Alamy

?

本文轉(zhuǎn)載自公眾號“Nature自然科研”

撰文：Douglas Heaven

?

數(shù)百張人臉在屏幕上一一閃現(xiàn)，其中一些瞪著眼睛，一些癟著嘴巴，還有一些人的眼睛緊閉、嘴角上揚、張大著嘴?？吹竭@些人臉，你必須回答一個簡單的問題：這個人是在經(jīng)歷高潮還是陣痛？

?

2018 年，心理學家 Rachael Jack 和她的同事招募了 80 個人來做這個測試1。來自英國格拉斯哥大學的這個團隊從西方和東亞招募了這些參與者，為的是研究一個長久以來的熱門問題：面部表情真的能傳達情緒嗎？

?

研究人員讓研究對象從面部讀取情緒的做法已經(jīng)有好幾十年了，包括不同國家的成年人和兒童，甚至還有偏遠地區(qū)的原住民。上世紀 60、70 年代，美國心理學家 Paul Ekman 進行的著名觀察性研究發(fā)現(xiàn)，全世界的人都能夠從面部表情準確推斷出背后的情緒，這說明情緒的表達是相通的2,3。

?

這種觀點在一代人的時間里基本未受挑戰(zhàn)。但是，新生代的心理學家和認知科學家在回顧了這些數(shù)據(jù)后提出了質(zhì)疑。許多研究者現(xiàn)在認為，實際情況要復雜得多，面部表情在不同情景和文化中有著截然不同的意義。比如，Jack 的研究發(fā)現(xiàn)，雖然西方人和東亞人對于表示痛苦的面部表情有著相似的認識，但是他們對于哪種表情表達愉悅的看法卻并不一致。

?

對于 Ekman 認為人臉是情緒表達窗口的結(jié)論，研究人員之間的分歧越來越大。但是這并不妨礙商業(yè)公司和政府為他的說法“買單”，并以會改變?nèi)藗兠\的方式加以應用。比如，西方的許多司法系統(tǒng)里，讀取被告人的情緒就是公平審判的一部分。美國最高法院大法官 Anthony Kennedy 曾在 1992 年寫道，這么做對于“了解罪犯的心靈和思想”是很有必要的。

?

Ekman 曾為美國運輸安全管理局（TSA）設計了一個備受爭議的培訓項目，該項目于 2007 年啟動，其核心就是解讀情緒。項目名為“旅客篩查觀察法” （Screening Passengers by Observation Techniques，SPOT），主要目的是訓練 TSA 的人員監(jiān)控旅客身上出現(xiàn)的數(shù)十種可疑跡象，這些跡象可能反映了他們焦慮、欺騙和害怕的情緒。該項目遭到了科學家、美國國會議員以及美國公民自由聯(lián)盟等民間組織的廣泛質(zhì)疑，他們指責這種做法并不準確，還會帶來種族偏見。

?

此起彼伏的質(zhì)疑聲并沒能阻止頂尖的科技公司，它們相信情緒是容易檢測的，其中一些公司已經(jīng)開發(fā)出了情緒識別軟件。眼下，這些軟件正在進行測試或推廣，應用范圍包括評估求職者和崗位的匹配度，測謊，讓廣告更有吸引力，還能檢測癡呆癥到抑郁癥等一系列疾病。

?

這個產(chǎn)業(yè)的估值高達數(shù)百億美金。微軟、IBM、亞馬遜在內(nèi)的科技巨頭，以及一些專業(yè)性更強的企業(yè)（如波士頓的 Affectiva 和邁阿密的 NeuroData Lab）都推出了通過人臉檢測情緒的算法。

?

研究者還在苦苦爭辯人類的面部能否忠實地表達和感知情緒，不少專家也認為用計算機來將其自動化還早了點，尤其是這種技術(shù)還具有潛在的破壞力。紐約大學的研究中心 AI Now Institute 呼吁禁止在敏感場合使用情緒識別技術(shù)，譬如在招聘和執(zhí)法時4。

?

從事相關(guān)研究的俄亥俄州立大學研究者 Aleix Martinez 表示，人的面部表情是很難解讀的，哪怕對人類自己來說都是如此。他說，考慮到這一點，再結(jié)合當前萬物皆可自動化的趨勢，“我們應該感到擔心?！?/p>

?

膚淺之見

?

人類的面部有 43 塊肌肉，它們可以拉伸、上揚、扭曲，表達幾十種不同表情。雖然面部肌肉可以做許多動作，但科學家們一直都相信，特定表情對應特定的情緒。

?

持這種觀點的人就包括達爾文。他在 1859 年出版的野外考察巨著《物種起源》稱得上是觀察方面的教科書。他的另一部影響力稍差的作品——《人類和動物的情感表達》（1872）則頗為教條。

?

達爾文注意到，靈長類動物的面部動作和人類表達情緒（如厭惡和害怕）有些類似。他由此提出，這些表情肯定有某種適應性功能。比如，撅嘴巴，皺鼻子，擠眼睛這種與厭惡相關(guān)的表情，最初可能是為了抵御有害的病原體。只是隨著社會行為的出現(xiàn)，這些面部表情才開始發(fā)揮起溝通的作用。

?

達爾文關(guān)于情緒的論述中囊括了大量擺拍的表情，比如這些努力模仿痛苦的受試者。來源：Alamy

?

Ekman 在 60 年代開展的首批跨文化實地研究支持了達爾文的假說。他在世界范圍內(nèi)研究了人類對六種關(guān)鍵情緒（快樂、悲傷、憤怒、害怕、驚訝和厭惡）的表情和感知，研究對象甚至包括新幾內(nèi)亞的一個偏遠部落2,3。

?

Ekman 告訴《自然》，他挑選這六種情緒是出于實際考慮。他說，一些情緒，比如羞恥和內(nèi)疚并沒有外顯的表情，“我關(guān)注的這六種情緒是有表情的，也就是說，它們可以作為研究的對象”。

?

Ekman 認為，這些早期研究支持了達爾文進化論引申出的表情普適論。后來的研究則證明了某些面部表情具有適應性優(yōu)勢5。

?

波士頓東北大學的心理學家 Lisa Feldman Barrett 表示：“長久以來，人們認為面部表情是一種強制性動作?！?也就是說，我們的面部無法隱藏我們的情緒。不過，這個假設的一個明顯漏洞是，人們確實能偽造情緒，也可以讓情緒不寫在臉上。Ekman 這一派的學者也承認，每種情緒的表情并沒有一個所謂的“金標準”。

?

越來越多的研究者提出，情緒對應的表情范圍太大，以至于金標準的概念幾近分崩離析。他們用一篇大型綜述支持了這個觀點6。幾年前，期刊《公共利益心理科學》（Psychological Science in the Public Interest）的編輯邀請了一些觀點互斥的作者組成專家團，完成了這篇綜述。

?

領導此次合作的 Barrett 表示：“我們竭盡所能摒棄先見?！彼麄儧]有事先樹立假設，而是直接從數(shù)據(jù)著手。她說：“觀點不統(tǒng)一的時候，我們就去尋找新的證據(jù)。”最后，他們閱讀了約 1000 篇論文，歷經(jīng) 2 年半的研究，得出了一個很明顯的結(jié)論：沒有證據(jù)，或很少有證據(jù)能證明，人們可以從各種面部動作推測某人的情緒狀態(tài)。

?

面部所能反映的情緒是很有限的。完整圖片見下方。來源：Lance King/Hector Vivas/Ronaldo Schemidt/Kevin Winter/Getty

?

這些研究者甚至引用了一些證明面部動作和內(nèi)在情緒無關(guān)的研究。英國德蒙福特大學的心理學家 Carlos Crivelli 曾經(jīng)研究過巴布亞新幾內(nèi)亞的特羅布里恩群島的居民，他并沒有發(fā)現(xiàn)能支持 Ekman 觀點的證據(jù)。Crivelli 的結(jié)論是，從外在表現(xiàn)推測內(nèi)在的心理狀態(tài)，就猶如用尺子在稱重量。

?

證明表情普適性的證據(jù)不足的另一個原因是，人臉只提供了部分信息。其他信息，比如身體動作、個性、聲調(diào)以及臉色變化，在我們識別和表達情緒的過程中也起到了重要的作用。就好比情緒變化會影響血流量，血流量又會影響臉色。Martinez 和同事發(fā)現(xiàn)，人們能夠發(fā)現(xiàn)臉色變化和情緒之間的關(guān)系7。而背景一類的視覺信號也能提供識別情緒狀態(tài)的線索8。

?

順時針從左上起：籃球運動員 Zion Williamson 慶祝灌籃成功；墨西哥球迷歡慶世界杯小組賽晉級；歌手Adele贏得了 2012 年的格萊美獎；Justin Bieber 的粉絲在墨西哥城的演唱會上哭泣。

?

復雜情緒

?

其他研究者指出，對 Ekman 的結(jié)論的反撲有些過頭了。Ekman 本人深以為然。2014 年，他在對 Barrett 的批評的回應中指出，有大量的研究支持他先前的結(jié)論，包括證明了面部會自發(fā)做表情的研究。還有研究發(fā)現(xiàn)了表情與大腦以及身體狀態(tài)之間的聯(lián)系。他在回應中稱，這些研究說明面部表情不僅反映了人的情緒，也反映了神經(jīng)生理活動的模式（見go.nature.com/2pmrjkh）。他說自己的觀點并沒有改變。

?

在加拿大不列顛哥倫比亞大學的心理學家 Jessica Tracy 看來，那些認為 Ekman 的表情普適論有錯的人給出的證據(jù)不過是一小簇反例，他們有些夸大其詞了。

?

她認為，即使不同群體或文化對憤怒表情的理解略有偏差，但也不能推翻整個理論。大多數(shù)人一看就知道這是一張憤怒的臉，她引用了一項對 100 個研究進行的分析9。她說：“有大量其他證據(jù)證明，全世界大多數(shù)文化的大部分人都認為這個表情是通用的?！?/p>

?

Tracy 和其他 3 位心理學家認為10，Barrett 在文獻綜述里稱他們是將六種情緒刻板地與面部動作一一對應，這種解讀有點夸張了。其中一位作者，阿姆斯特丹大學的 Disa Sauter 表示：“我不認為情緒科學領域還有其他研究者贊同她的觀點?！?/p>

?

Sauter 和 Tracy 認為，要解讀面部表情就需要對情緒進行更復雜的分類。研究者不應把快樂視為單一的情緒，而要把它繼續(xù)細分；快樂下面還包括高興、愉悅、憐憫、自豪等等。這些情緒的表情可能會有差異或重疊。

?

一些研究使用計算機生成隨機的表情。Rachael Jack 在 2018 年開展的一項研究中，參與者需要指出每張臉與他們心目中對痛苦或高潮的定義的符合程度。來源：C. Chen et al./PNAS (CC by 4.0)

?

這場爭議的核心其實在于對顯著的定義。在一項研究中，參與者需要從六個情緒標簽中選擇一個來描述他們看到的人臉。一些研究者可能認為，如果某個表情被選擇的幾率大于 20%，那就說明這個表情的通用性較為顯著。

?

其他人覺得 20% 的標準太寬松了。Jack 認為 Ekman 的閾值過低，她在讀博期間讀過 Ekman 早期的論文，她說，“我總是去找我的導師，給他看這些 60、70 年代的圖表，每個圖表在文化認識上都存在巨大差異。到今天為止，依然沒有數(shù)據(jù)能證明，對情緒的認可是放之四海皆準的?！?/p>

?

即使不考慮顯著性，研究者還要面對主觀性的問題：許多研究都需要事先為情緒貼標簽，以便在實驗結(jié)束后進行比較。因此，Barrett、Jack 以及其他學者想用更為客觀的方法來研究情緒。Barrett 正在研究生理指標，她希望用這類指標來描述憤怒，害怕和愉悅。

?

Jack 則用計算機隨機生成的表情來替代擺拍的面部照片，避免局限于最常見的六種情緒。還有研究人員讓參與者自己來對人臉進行分類，或者讓來自不同文化的參與者用自己的母語給照片做標記。

?

硅基情緒

?

軟件企業(yè)則避免讓算法進行自由聯(lián)想。一般來說，情緒識別的人工智能算法需要學習數(shù)百萬張人臉圖像以及數(shù)百小時的視頻——每個情緒都被標好了標簽，再從這些資料中習得模式。Affectiva 表示公司已經(jīng)用來自 87 個國家超過 700 萬張人臉對軟件進行了訓練，目前其情緒識別準確率已經(jīng)達到了 90%。

?

該公司拒絕透露算法背后的科學依據(jù)。Neurodata Lab 公司意識到了面部在情緒表達上的差異，但指出：“如果某人正在經(jīng)歷某種情緒，某些面部表情出現(xiàn)的可能性會高于隨機概率?！倍摴镜乃惴ɡ玫恼沁@種規(guī)律。而意見尚不統(tǒng)一的研究人員，不管站哪邊，都對這類軟件持懷疑態(tài)度，無論是對訓練算法所使用的數(shù)據(jù)存在擔憂，還是認為該領域目前仍未有定論。

?

Ekman 說他曾直截了當?shù)靥魬?zhàn)過這些公司的說法。他曾寫信給數(shù)家公司，但拒絕透露公司名稱，只說“它們都是世界上最大的軟件公司”，并向它們索要能證明其自動化技術(shù)有效的證據(jù)，但沒有得到回音。他說，“在我看來，他們的理論并沒有證據(jù)支持?！?/p>

?

Martinez 折衷地表示，自動化情緒識別或許能代表某個群體的平均情緒反應。Affectiva 公司曾把軟件賣給營銷機構(gòu)和某些品牌，幫助他們預測特定消費者對某個產(chǎn)品或營銷手段的反應。

?

即使這個軟件出錯也不會有太大的影響，頂多廣告的效果不如預期而已。但是，一些算法的應用卻可能改變?nèi)藗兊拿\，比如面試和邊境檢查。去年，匈牙利、拉脫維亞和希臘試用了一個旅客預篩查系統(tǒng)，通過分析面部微表情來測謊。

?

想要平息這場情緒-表情的爭論，需要動用不同的研究手段。Barrett 常常受邀給科技公司展示她的研究，不久前剛?cè)チ宋④?。她認為研究者要踐行達爾文撰寫《物種起源》時的做法：“觀察、觀察、再觀察?！庇^察人們在現(xiàn)實生活如何通過面部和身體傳達信息，而不僅僅只在實驗室里。然后再用機器來記錄和分析來自真實生活的影像。

?

Barrett 認為更多的數(shù)據(jù)和分析技術(shù)，而不是回顧陳舊的數(shù)據(jù)和實驗，才能幫研究者獲得新知識。對于這個她和其他研究者看來站不住腳的科學，許多科技公司卻躍躍欲試，她向這些企業(yè)發(fā)出了挑戰(zhàn)：“我們已經(jīng)到了懸崖口，人工智能企業(yè)到底是要繼續(xù)使用漏洞百出的研究假設，還是去做應該完成的事呢？”

?

參考文獻

1.Chen, C. et al. Proc. Natl Acad. Sci. USA 115, E10013–E10021 (2018).

2.Ekman, P., Sorenson, E. R. & Friesen, W. V. Science 164, 86–88 (1969).

3.Ekman, P. & Friesen, W. V. J. Personal. Soc. Psychol. 17, 124–129 (1971).

4.Crawford, K. et al. AI Now 2019 Report (AI Now Institute, 2019).

5.Susskind, J. M. & Anderson, A. K. Commun. Integrat. Biol. 1, 148–149 (2008).

6.Barrett, L. F., Adolphs, R., Marsella, S., Martinez, A. M. & Pollak, S. D. Psychol. Sci. Publ. Interest 20, 1–68 (2019).

7.Benitez-Quiroz, C. F., Srinivasan, R. & Martinez, A. M. Proc. Natl Acad. Sci. USA 115, 3581–3586 (2018).

8.Chen, Z. & Whitney, D. Proc. Natl Acad. Sci. USA 116, 7559–7564 (2019).

9.Elfenbein, H. A. & Ambady, N. Psychol. Bull. 128, 203–235 (2002)

10.Cowen, A., Sauter, D., Tracy, J. L. & Keltner, D. Psychol. Sci. Publ. Interest 20, 69–90 (2019).

?

原文以 Why faces don’t always tell the truth about feelings 為標題發(fā)表在 2020 年 2 月 26 日的《自然》新聞特寫上。

關(guān)注【深圳科普】微信公眾號，在對話框：
回復【最新活動】，了解近期科普活動
回復【科普行】，了解最新深圳科普行活動
回復【研學營】，了解最新科普研學營
回復【科普課堂】，了解最新科普課堂
回復【團體定制】，了解最新團體定制活動
回復【科普基地】，了解深圳科普基地詳情
回復【科學防控】，學習疫情相關(guān)科普知識
回復【科普小達人】，報名參賽贏取萬元大獎