告别面瘫：EMO机器人自学掌握对口型，可精准模拟人类表情

IT之家 1 月 17 日消息，科技媒体 New Atlas 今天（1 月 17 日）发布博文，报道称哥伦比亚大学创意机器实验室（Creative Machines Lab）研发名为 EMO 的机器人面部系统，解决仿人机器人“恐怖谷”效应中的关键一环：唇形与语音的完美同步。

图源：哥伦比亚大学创意机器实验室（Creative Machines Lab）

不同于传统预编程的机器人，EMO 具备自我学习能力，能够通过观察人类行为来优化自身的面部表达，让其交互体验更接近《西部世界》中的科幻设定。

【资料图】

EMO 并未采用刚性外壳，而是覆盖了一层柔软的硅胶皮肤，质感接近真实人类。在这层皮肤之下，研究团队精密部署了 26 个微型电机（致动器）。

这些电机通过不同组合的协同运作，能够精细牵引皮肤，从而呈现出微妙的面部表情并控制唇形变化。这种硬件架构为 EMO 提供了极高的自由度，让其能够模拟出从微笑到惊讶等多种复杂神态。

为了让 EMO 掌握控制面部的技巧，研究团队引入了“视觉-动作”（Vision-to-Action, VLA）语言模型。训练初期，团队将 EMO 置于镜前，让其随机进行数千次面部运动。

EMO 通过摄像头观察镜中的自己，分析电机指令与最终面部表情之间的因果关系。这一过程类似于人类婴儿通过模仿和观察自我来学习控制肌肉，使机器人建立了内部的本体感官模型。

建立基础运动模型后，EMO 进入了进阶训练阶段。该机器人观看了数小时的人类说话和唱歌的 YouTube 视频，系统通过分析视频中的音频特征与对应的口型变化，映射听觉信号与视觉信号。

结合此前建立的 VLA 模型，EMO 最终实现了在发出合成语音的同时，实时生成高度吻合的唇部动作，甚至能在发声前几毫秒预判并调整口型。

尽管 EMO 目前在处理“B”和“W”等闭唇音时仍存在细微瑕疵，但其核心架构已展现出巨大的潜力。研究人员指出，随着训练数据的增加，这些问题将逐步得到解决。未来，团队计划将 EMO 与 ChatGPT 或 Gemini 等先进的对话式 AI 整合。

IT之家附上参考地址