读心：情感计算正步步进入商业调研领域手机

本篇文章7141字，读完约18分钟

如今，机器在理解和存储大量信息方面似乎越来越有效率——但和以前一样，它们在情感方面进展甚微。然而，自20世纪90年代以来，少数研究人员致力于使计算机能够以人类的方式解释情绪和反应。语音专家让计算机学会识别音高、节奏和声音强度；他们开发的软件可以扫描一个女人和一个孩子之间的对话，以确定这个女人是否是一个母亲，她是否看着孩子的眼睛进行对话，以及她是生气、沮丧还是高兴。其他电脑可以通过判断我们的语序和解释我们的各种姿势来测量情绪。还有其他电脑可以通过阅读面部表情来做到这一点。

脸是情感交流的器官；研究估计表明，面部表情比语言传达更多的信息，一些致力于破译面部表情信息的科学家已经取得了很大进展。其中最成功的是埃及科学家拉纳·埃尔·卡利欧比。她住在波士顿，并于2009年创建了affectiva。她曾被商业媒体评为成长最快的创业公司之一。事实证明，具有情绪反应能力的电脑有“钱景”。这对卡卢比来说并不奇怪:她确信它们很快就会无处不在。

情感:一家基于“表达”的公司

位于马萨诸塞州沃尔瑟姆的芬奇瓦是一个办公园区，位于双车道街道商业区的后面，是波士顿模仿硅谷的走廊的一部分。总部有典型的西海岸创业公司的装饰——台球桌、转椅——但整体感觉是新英格兰的风格；许多员工来自麻省理工学院。从会议室穿过一个大停车场，你可以看到去波士顿的铁路线。

在9月份的一次访问中，我和卡卢比参观了该公司研究的面部表情图表，其中一些是科学图表，一些来自漫画。卡卢比是计算机科学的博士。像其他成功的程一样，她可以很容易地理解贝叶斯概率和隐马尔可夫模型。同时，她平易近人，情绪化，热情，甚至风趣。她信奉清教主义。当她两年前开始戴头巾时，她吸引了周围所有人的注意。现在它成了她的象征。麻省理工学院媒体实验室前主任弗兰克·莫斯告诉我，她“极度情绪化”。作为两个孩子的母亲，她担心技术的影响。

卡卢比告诉我:“仅仅在十年内，我们将完全忘记我们不能对这个设备皱眉头的情况。当我们将来皱眉时，机器会说，‘哦，你不喜欢这样，是吗？’然后，她拿出ipad和affdex，这是她公司推出的一款软件，可以追踪四种情绪:快乐、困惑、惊讶和厌恶。该软件一次扫描一个面部表情；如果有很多，先把它们一个一个分开。然后，识别面部的主要区域——嘴、鼻子、眼睛和眉毛，并将像素分类到每个部分，并且通过简单的几何模型来呈现特征。我在ipad上看着我的即时动态表情，我的脸上布满了绿点。她说:“我们把它们分为可变形点和不可变形点。”“当你微笑或假装微笑时，你的嘴会动来动去，所以这里的要点对稳定面部表情特征没有用。其他点，如在你的鼻尖，不会移动。”这些不可变形点作为锚点，有助于判断其他点的移动距离。

Affdex还扫描不断变化的皮肤纹理(眼睛周围的细纹分布和眉毛上的皱纹)，并将星系和可变形点结合起来，建立一个详细的人脸模型并给出反馈。识别面部表情的算法是与之前分析过的无数表情进行比较。卡卢比告诉我:“例如，如果你微笑，它会告诉你，你是在实时微笑。”我笑了，屏幕底部的绿色标志块迅速升起。"试试困惑的表情。"她说，是我干的，所以对应于困惑的那块升起来了。“就是这样。”她说。

和这个领域的其他初创公司一样，Affectiva是基于保罗·埃克曼的研究成果。六十岁时，心理学家开始研究并建立起一个权威的理论体系:人类至少有六种常用的表达方式。不管性别、年龄或文化背景如何，每个人都会这样做。Aikman将这些表达式分解成46个独立的动作，即“动作单元”的组合。他编制了面部动作编码系统，这是一个500页的面部动作分类系统。从动画师到对说谎微表情感兴趣的警察，这个系统已经在学术和专业领域使用了几十年。

电脑比人类更能读懂表情？

通过扫描面部动作单位，计算机在区分自发的快乐和社交距离以及区分疼痛是否真实方面远远优于人类。电脑可以判断病人是否抑郁。电脑会不知疲倦地运行，并能显示出我甚至都没有意识到的转瞬即逝的表情。

玛丽安·巴特利特是加州大学的研究员，也是情绪科学的首席科学家，她曾在家人聚在一起看电视时测试过这个软件。当一个暴力场景出现在粗俗中时，一个画面显示她女儿的情绪从愤怒变成了惊讶，然后变成了笑声。她的女儿没有意识到这一瞬间的不快——但是电脑捕捉到了。最近，在一份同行评议的研究报告中，巴特利特的同事证明了扫描微观表情可以预测当人们拒绝一笔钱时，片刻的厌恶表明他们认为这是不公平的，而片刻的愤怒表明拒绝。

卡卢比经常强调这种技术只能解释表情，而不能解释思想，但是affdex作为一种可靠的情绪推测工具被广泛使用——进入潜意识领域。这个应用程序的开发有很多可能性。Cbs应用该软件在电视城拉斯维加斯测试新节目。在2012年总统竞选期间，卡柳比的团队使用affdex追踪了200多名观看奥巴马和罗姆尼辩论的人的表情。结果表明，该程序能够以73%的准确率判断选民的投票结果。Affectiva和skype的竞争对手oovoo将该计划与视频通话相结合。她告诉我:“越来越多的人举行视频会议，但数据无法被捕获用于分析。”事实证明，在商务谈判中，软件被用来判断对方隐瞒了什么信息。“这种高科技会告诉你，‘好吧，先生，不管有没有任何合作的迹象。或者，他只是笑了笑，这意味着他没有被说服。"

“情绪计算”的起源

卡卢比和她的导师罗莎琳德·皮卡德一起创立了情感协会。后者是麻省理工学院媒体实验室的教授，她的早期研究成果为公司奠定了基础。皮卡德拥有电子工程和计算机科学双学位。她于1990年加入媒体实验室，研究图像压缩技术，但她很快遇到了瓶颈。皮卡德认为，如果计算机能够识别图像内容，那么程序就可以改进。但要做到这一点，我们不仅要有洞察力，还要有前瞻性；像大脑一样，计算机必须“理解”，而不仅仅是“看见”；像人脑一样，计算机应该识别物体，然后决定哪个是重要的。

有一天，Picard拿起了richard cytowic的《品尝形状的人》，一本关于通感的书。例如，西托克说，部分感知是在大脑的边缘系统中进行的。在神经解剖学中，这是原始部分，主要处理注意力、记忆和情绪。注意力和记忆似乎与皮卡德想要解决的问题密切相关；那时，她希望感情是无关紧要的。但是当她深入研究神经科学文献时，她逐渐相信太少或太多的情感会导致非理性思维。与情绪处理相关的大脑损伤会导致人们丧失做出决定、看更大的图片和运用常识的能力，而这正是她希望电脑具备的。

皮卡德告诉我:“我希望其他人认真对待这件事，而情感在当时并不是一个严肃的话题。”1995年，她发表了一篇关于研究成果的非正式论文，引用了莱布尼茨、星际迷航、居里和库布里克的著作。本文证明了情感推理对于真正的机器智能是必要的，程序员在编写与人交互的程序时应该考虑情感因素。起初，她的想法没有被理解。一位科学家问她，“你为什么要研究感情？这无关紧要！”然而，皮卡德无动于衷，拒绝资助图像压缩研究的巨额资金，并将她的想法扩展到一本名为《情感计算》的书中。无意中，她命名了计算机科学的一个新领域。

卡柳比当时仍在开罗，是一所美国大学的本科生。1998年，她以全班第一名的成绩毕业，并获得了硕士学位奖学金。她决心教计算机科学，但终身教学需要海外博士工作经验。“我爸爸的意思是，‘哦，如果你走了，你回来的时候就不会结婚了。’在犹豫不决的状态下，她将自己的简历提交给了当地一家科技初创公司。但是很快，卡卢比离开了找工作的军队，继续攻读硕士学位。但她给该公司的创始人之一瓦埃尔·阿明留下了深刻印象。

他小时候搬到阿根廷，同情她面临的社会压力。所以他联系了她，鼓励她继续学习。不久他们就结婚了。在研究生院，卡卢比一直在寻找自己的研究方向。“电脑改变了人们联系的方式，这就是我被吸引的地方。”她回忆道。一天，阿明递给她一本皮卡德作品的书评，然后她买了一本。“花了四个月时间才到达埃及——出于某种我无法理解的原因，它已经被海关扣留了。”她说:“但最后我读了这本书，受到了启发。”虽然我从未见过皮卡德，但卡卢比把她视为偶像。"她是一位成功的女科学家，开辟了令人兴奋的新领域。"所以卡勒比决定了她的方向:开发能够解释面部表情的算法。

巨大的工程和艰难的前进

脸，就像一个不断变化的景观，有许多微小的差异和高度的复杂性。无论面部特征、背景、光源和角度如何，人们都能毫不费力地解读表情，这是一个奇迹。为了让计算机做同样的事情，程序员必须处理无限的可能性。这些程序需要机器学习，也就是说，计算机需要在一堆数据中找到模式，然后用它们来解释新数据。

在开罗，卡卢比联系了一些早期的数据指导小组。当时，艾克曼开始自动面部运动编码系统，并建立了一个系统，可以定位离散的运动单位。以九十年代的技术，这项工作真的很艰巨。大学生(或艾克曼本人)在设定的背景下做出夸张的表情。视频的每一帧都需要25秒钟才能数字化，每一个面部动作都必须在关键帧中手工标记。一位早期研究人员说:“挑战太多了。”他设计的系统的一个版本使得追踪可变形点变得困难。"通常会有一点偏差，然后随着更多的帧被处理，误差开始累积."每隔十秒钟，他必须重新开始实验。

卡卢比想建立一个强大到足以在真实环境中使用的系统。但是当她2001年在剑桥攻读博士学位时，她的老师和同学都不理解情绪计算。"他们感到好奇和困惑:你为什么要研究这个？"在她的研究目标报告中，一位观众说，让电脑学会解释表情时遇到的问题与他患有自闭症的哥哥遇到的问题相当。卡卢比不了解自闭症，所以他开始研究并寻找线索。也就是说，剑桥的自闭症研究中心正在实施一个巨大的项目，创建一个所有人类表情的目录，这将有助于自闭症患者的社交。研究中心更感兴趣的是自然易懂的肖像，而不是像艾克曼那样将表情分解成组件。在“思考”的主题下，它分为忧虑、选择、想象、判断和沉思。该中心雇佣了六名演员——男人和女人，不同年龄和种族——在镜头前表演。20名评委看着每一个片段，只有当几乎所有人都通过时，才能确定标记的表情。在项目结束时，总共确定了412个表达式。

卡卢比立即意识到，在这个目录中隐藏着一个前所未有的机会:丰富且经过验证的数据，非常适合计算机学习。在她完成博士学业之前，她已经建立了一个“读心术”，一个可以在相对混乱的情况下追踪几种复杂情绪的程序。当她意识到这个项目的潜力时，她想知道是否有可能为自闭症患者建立一个“情感助听器”。佩戴者需要携带一台小型电脑、耳机和照相机来扫描人们的表情。电脑会以柔和的语调指示适当的行为:继续说话或改变话题。

在完善这个想法的同时，卡卢比得知皮卡德计划参观她的实验室。她回忆说:“那是我整个夏天的亮点。”“她最初只和每个学生谈了五分钟，但最后我们谈了一个小时。”皮卡德认为卡卢比的系统是最稳定的。他们决心在这个领域进行合作，美国国家科学基金会已经给了他们近一百万美元来建造原型。

两位女科学家之间的密切合作

媒体实验室几乎是发明家的避难所。创始人曾经说过，“忘掉技术论文，专注于小的理论。让我们用实践证明它。”卡柳比发扬了这种精神，尽管皮卡德处于更高的位置。弗兰克·莫斯说他们紧密合作。实验室里的每个人都带着一个小型的可穿戴摄像头，皮卡德告诉我:“我们谈了很多关于‘嵌入’的话题。”在返回埃及期间，卡卢比将打电话参加会议。皮卡德在一次机器人展览会上回忆道:“拉娜通过笔记本电脑摄像头之类的东西加入了skype，然后我们把摄像头放在地板上观看了展览。”我感觉不太好。就像把拉娜的尸体丢在地板上。所以我想，我需要带上相机。然后，当我走来走去，拉娜就像我一样。”

Callubi专注于mindreader软件，Picard则在测试不同的设备，比如可以测试用户崩溃程度的鼠标，并试图通过跟踪生理反应来识别用户的感受。最有潜力的一个(后来被命名为Q)被绑在身体上记录反应，如皮肤电流传导。皮卡德一直戴着它，并根据他的个人经历记录跟踪数据。

卡柳比和皮卡德认为他们的系统可以互补，并于2007年开始测试一个为行为障碍儿童设计的系统。皮卡德希望她的生物传感器能够洞察愤怒或其他情绪爆发的根源；一个自闭症儿童可能看起来很平静，状态不佳，但是Q设备显示她的皮肤电导是正常的两倍。卡卢比的系统帮助他们在社交场合找到方向。

卡勒比回忆道:“我曾经真的很无助。”“有一个小男孩拒绝与人对视。这在儿童中非常普遍——表明他们正在经历信息过载。当我们在试验类似ipad的设备时，这个小男孩戴上相机获取反馈，但实际上是用这些设备来避免面对面的接触。他透过屏幕观察我。”当他与他人沟通良好时，他也持有这种设备，他们交谈越多，他的自信心就越强。”然后他开始放下平板电脑，直到我们两人对视。这真是一个特殊的时刻。天啊，科技真的可以帮助人们。”

适用于企业需求

当团队完善“读心术”时，卡卢比将软件上传到服务器，公司赞助商可以在那里测试他们感兴趣的任何实验室产品。令她惊讶的是，这个软件立即成为下载量最大的软件。百事想知道它是否可以用来衡量顾客的偏好习惯。美国银行对自动柜员机测试感兴趣。丰田想知道它是否可以用来更好地理解司机的行为——也许可以设计一个系统来检测司机的睡意。来自微软、惠普、雅马哈、本田、吉普森、何曼、美国宇航局、诺基亚和卡卢比的需求蜂拥而至，他们竭尽全力改造软件以满足每一个需求。“他们有很多问题。这些数据意味着什么？我们如何让它适应特定的环境？福克斯公司副总裁说:“我们想在所有试点项目中进行测试。我只想说:‘我们只是一个实验室，我们没有资源。"

这些需求如此之大，以至于淹没了自闭症研究。卡柳比制作了一块电子表来记录赞助商的需求，然后在2008年11月，她和皮卡德拿着手表去了实验室主任莫斯那里。“我们说，‘这是赞助商想要的，所以我们需要将团队扩大到现在的两倍。’”卡卢比说:“然后他说，‘解决的办法不是增加研究人员，而是独立出去’。”卡卢比不愿离开学术界:“我们真的想把重点放在技术的有益应用上。”“但莫斯认为，市场将使科学技术的发展变得更好、更灵活:可以应用于福克斯的设备也能更好地帮助自闭症患者。”他说建立一个“双底线”公司是可行的——它不仅运作良好，而且改变了人们的生活。

Calliubi和Picard着手在表达智能领域建立一个“小型IBM”，这是一家旨在开发一系列基于情感计算的产品的初创公司。政府机构开始询问这项技术，但卡卢比告诉我她拒绝了。一些与公司利益相关的事情也提醒了他们。皮卡德说:“有人来问，‘你能监视我们的员工而不被发现吗？’或者“你能告诉我顾客的感受吗？”。我想，“这就是为什么我不认为这是个好主意。”我记得有人想把我们的东西放在终端上测试人，然后我们又回到情感村拒绝了他们。我们说，‘我们不这样做——我们对主体有基本的尊重。但是对于一个小公司来说，这太难了。有些人愿意支持你，但你拒绝了他们。"

“读心术”是基于演员的表达，而不是真实的行为，所以代码应该完全重写。2011年，该公司在超级碗在线广告中进行了测试，并获得了一个真实情感反应的数据库；后来，卡勒比与哈佛商学院的泰勒斯·泰克塞拉教授合作。在一个更严格的实验中，250个主题播放了广告。affectiva首席执行官大卫伯曼(David berman)曾是一名推销员，他将公司从协助技术转向市场研究，从而吸引了数百万美元的风险资本。皮卡德说:“我们的首席执行官完全不适合医学。”所以情况很紧张。四年后，皮卡德被迫离开团队，她的研究团队被重新分配。Matthew goodwin是该公司的资深研究员，现在是技术委员会的成员，他告诉我:“我们从一系列极具竞争力的产品开始。”它们可以有效地帮助那些在感知和产生情感方面有困难的人。然后他们开始只强调和努力在广告上预测顾客是否喜欢产品，完全背离了原来的方向。”

卡柳比对皮卡德的离开感到非常沮丧。但是公司的新机会不可否认。2011年3月，她和她的团队被邀请向millwardbrown(全球市场研究公司)的高层管理人员介绍“读心术”。卡卢比坦率地谈到了系统的局限性——软件仍然不能有效地区分微笑和鬼脸——但是高级职员仍然感到震惊。广告测试通常依赖于广泛的研究，这通常涉及理性思考，而不是无意识或潜意识的情绪。正是这种情感因素让市场人员非常感兴趣；高科技可以带来好的结果。一年前，米尔沃德布朗成立了一个神经科学小组，试图将脑电图技术加入到他的工作中。并且还聘请了艾克曼系统专家来研究视频。然而，这些想法被证明无法进一步推进。公司管理层指出，公司之前已经研究了四个广告，如果affdex能够成功测量人们对这些广告的情绪反应，公司将成为客户和投资者。卡卢比告诉我:“赌注太大了。”“我记得这位首席执行官说过，‘我们所有的希望都寄托在这上面。’"

米尔沃德布朗选择的广告之一是鸽子。这部名为《影响》的短片以一张小女孩的照片开始。然后，镜头切换到主角的视角，一大堆图像向她涌来——将一个女人一生的经典画面压缩到32秒——或者以一个天真的小女孩为结尾，口号是“在美容产品影响到你的女儿之前，和她谈谈。”广告很受欢迎，但调查发现许多人觉得无法耐着性子看完。Affdex扫描了100多名受试者，发现了同样的反应。但同时，它也发现这种不适在某个时刻消失了。米尔沃德布朗公司的高级主管格雷厄姆·佩奇说:“这种软件可以告诉我们看不见的信息。”“人们往往不能说出这样的细节。当谈到负面内容时，他们往往很有礼貌。”millwardbrown的母公司Wpp在affectvia投资了450万美元。

很快，affdex被应用于每年成千上万的广告测试。