反波胆·软件

作家 |Justine Moore 是风险投资公司 a16z 的结伴东谈主，专注于消费领域，稀奇是 AI 公司的投资。她领有斯坦福大学的经济学学士学位和工商不休硕士学位。

着手   | Z Potentials  管沉默慧 AI+

盘考互助 | 13699120588

著作仅代表作家本东谈主不雅点

图片着手：Youtube

摘抄

AI 虚构东谈主模子架构从 CNN、GANs 演进至 Transformer+ 扩散模子，罢了从单一面部驱动到半身 / 全身动态生成的跨越，口型同步与多模态协同弘扬权贵擢升。

AI 虚构东谈主应用场景深广，个东谈主消费者领域为创意抒发开辟新天地，中小企业可低老本制作告白，大型企业在职工培训等多领域深度应用。

当下 AI 虚构东谈主在变装连贯性、面部动作、体魄动作、与环境交互、及时应用等方面期待更多突破，将来有望催生诸多篡改及时应用场景。

当 AI 不再只是局限于内容生成，而是迈向内容具身化时，寰宇将会发生怎么的改变？当下，AI 已熟练掌抓生成高度传神像片、视频及语音的时期，得手通过了视觉与听觉维度的图灵测试。而其下一个紧要突破，正聚焦于 AI 虚构东谈主领域：将特定的东谈主脸与私有的声息交融，塑造出能够沉静交流的鲜嫩变装。

八成有东谈主会想，能否浮松生成一张东谈主脸图像，使其动起来并配上画外音？实质操作远非如斯肤浅。其中的挑战，绝非仅停留在精确罢了口型同步，更要害的是要确保面部颜料与肢体语言协团结致，罢了当然畅通的配合。试想，若一个东谈主嘴巴因骇怪而大张，可面颊与下巴却刻舟求剑，这场景该是何等歪邪；又或者，声息满含慷慨心情，可对应的面部却毫无波涛，那么尽心营造的类东谈主错觉已而便会鸡零狗碎。

值得欢乐的是，咱们决然目击这一领域获取了切实进展。AI 虚构东谈主现已深广应用于内容创作、告白推论以及企业交流等多个领域。虽说现时的虚构东谈主大多只是能言语的头部形象，虽具备一定实用性，但功能存在彰着局限。不外，纪念当年几个月，诸多令东谈主奋斗的篡改效果不绝清晰，足以意料，在不久的将来，该领域必将迎来更为紧要的突破与发展。

在本文中，基于对 20 余款 AI 虚构东谈主居品的切体魄验与深度测试，我将为寰球深入领悟目前切实可行的时期有缱绻、将来的发展趋势，以及现在商场上那些最为平地一声雷、令东谈主印象深入的 AI 虚构东谈主居品。

运筹帷幄如何发展演进？

AI 虚构东谈主号称一个极具私有挑战性的运筹帷幄课题。打造一个会言语的东谈主脸形象，模子得掌抓传神的音素到视位映射，也就是语音中的音素，与相应口型动作视位间的关系。一朝这种映射出现偏差，嘴巴动作和声息就会不同步，甚而显得所有这个词脱节。

问题的复杂之处还在于，言语时并非独一嘴巴在动。脸部其他部位会协同通顺，上半身就怕也会参与其中，甚而双手也可能会有动作。而且，每个东谈主都有私有的言语作风。不妨想想我方言语的花样，再对比一下可爱的名东谈主：即便说团结句话，两边嘴巴的动作也会有分裂。如若把我方的口型同步到名东谈主脸上，效果会很是歪邪。

当年几年，从运筹帷幄视角看，这一领域发生了权贵变化。自 2017 年起，我研读了 70 多篇相关 AI 会言语头像的论文，明晰地看到模子架构的发展条理：从卷积神经汇集（CNNs）和生成抵抗汇集（GANs），到基于三维的神经放射场（NeRFs）和三维可变形模子等方法，接着演进到变换器（transformers）和扩散模子，而近期则发展为基于变换器架构的扩散模子（DiT）。以下时候轴标注了每年援用量最高的论文。

图片着手：a16z

在 AI 领域，虚构东谈主关系模子的生成质料与智商罢了了飞跃式擢升，和早期比较，简直不可同日而谈。早期方法极为受限，以单张东谈主物像片为例，先将像片东谈主物脸辖下半部分遮住，再依据音频输入的缱绻面部特征点，生成新的嘴部动作。但这些模子试验所依赖的高质料口型同步数据语料库规模有限，且其中大多数数据都只是牢牢框定东谈主物面部进行裁剪。就拿"让奥巴马对口型言语"这类效果来说，要罢了相对传神的呈现，需要收罗缱绻东谈主物长达数小时的视频素材，况兼最终输出的收尾在种种性和弘扬力上都大打扣头。

反不雅当下，模子的机动性与强猛进度令东谈主咋舌。团结视频里，它们既能生成半身乃至全身动作，塑造跃然纸上、会言语的东谈主脸形象，还能让配景呈现动态变化。这些新式模子的试验方式，与传统文本转视频模子更为相似，况兼依托海量数据集伸开。为了在种种动态中恒久保持口型同步的精确度，模子哄骗了丰富种种的时期技能。

早在本年 2 月，字节进步推出的 OmniHuman-1 模子便当先展现出这种前沿趋势（该模子近期已在 Dreamina 平台上线供用户使用）。通盘行业发展势头迅猛，3 月，Hedra 发布 Character-3 模子，经咱们径直对比测试，该模子在大多数实质应用场景中弘扬号称顶尖。Hedra 的强硬之处不啻于东谈主类变装，像为 Waymo（着名自动驾驶公司）打造会言语的虚构形象也不在话下，用户还能通过输入文本，机动设定变装的情感现象与动作弘扬。

跟着吉卜力职责室作风激越等行业趋势的推动，围绕 AI 动画的全新应用场景如星罗棋布般不绝清晰。

AI 虚构东谈主在施行寰宇中的多元应用

AI 虚构东谈主的应用场景可谓包罗万象。不妨设计，凡是触及与变装交互，或是不雅看东谈主物讲话视频的场景，都有其用武之地。目前，从个东谈主消费者到中小企业，乃至大型企业，各个领域都已脱手应用 AI 虚构东谈主。

这是一张早期的商场阵势图。该领域正速即发展，居品之间的分裂界定仍较为闲居。表面上，好多居品都能为大多数乃至通盘这些应用场景打造虚构东谈主。然而在实质操作中，构建一套高效职责过程，并精确调校模子，使其在各个方面都能平地一声雷，绝非易事。以下，咱们将逐个梳理商场各细分领域利用 AI 虚构东谈主的具体实例。

个东谈主消费者领域：变装创作新风俗

现今，借助 AI，普通东谈主仅需一张图片，就能普通打造动画变装，这无疑为群众的创意抒发开辟了全新天地。关于渴慕哄骗 AI 论说故事的东谈主而言，这一突破真谛突出，若何夸赞都不为过。纪念早期的 AI 视频，常被东谈主吐槽为"图片堆砌的幻灯片"，缺点之一就在于穷乏能当然对话的变装，语音时常也只是单调的画外音形势。

而当创作的变装能够启齿交流，内容已而就鲜嫩风趣起来。除了传统叙事视频，东谈主们还能借助 AI 创造出作风互异的作品，比如虚构主播、AI 播客以及音乐视频等。此处附上的精彩视频，均出自 Hedra 平台。在 Hedra 上，用户只需上传一张脱手图片，再搭配一段音频裁剪或者剧本，就能塑造出灵动鲜嫩、能说会谈的变装形象。

如若你手头的素材是一段视频，Sync 器具可派上大用场，它能精确匹配口型，让变装的面部动作与音频严丝合缝。倘若你想借助确实东谈主类饰演驱动变装动作，Runway Act-One 和 Viggle 等专科器具便能助你居心叵测，罢了创意构想。

在广阔哄骗 AI 创作变装动画的创作家中，Neural Viz 是我的心头好。其打造的《单一寰宇》系列，勇猛畅想了一个由格卢伦东谈主主管的后东谈主类寰宇寰宇，充满奇妙遐想。如今，投身这一领域的门槛大幅控制，不难意料，AI 生成的精彩节目行将迎来爆发式增长，甚而会催生出一批独具特质的虚构网红，这都只是时候问题。

跟着虚构东谈主及时直播时期日益闇练，咱们不错意料想，诸多面向消费者的企业，将会把虚构东谈主深度融入用户界面，成为要害组成部分。设计一下，学习外语时，跟随你的不再是冷飕飕、毫残忍怀的电子语音，而是一位形象生动、性格澄莹，能及时互动的 AI "专属教练"。像 Praktika 这类前锋企业，决然开启了这一篡改尝试。假以时日，这种东谈主机交互模式必将愈发普及、当然，融入群众日常生存的方方面面。

中小企业：挖掘潜在客户的新利器

在现在数字化营销波浪中，告白领域当先成为 AI 虚构东谈主有所算作的"主战场"。以往，企业投放告白时常得遴聘专科演员，组建浩瀚制作团队，消耗普遍东谈主力、物力与财力。如今，借助 AI，企业只需轻点鼠标，就能让跃然纸上的虚构变装为自家居品逆风飞动。以 Creatify 和 Arcads 这类前沿公司为例，企业仅需提供居品皆集，它们便能一站式惩处告白制作全过程：从尽心砥砺剧本，到筛选适配的提拔镜头、居品图片，再到精确"选用"虚构演员，一气呵成，无缝衔尾。

这一变革绝对冲突了传统告白制作老本的壁垒，让广阔中小企业得以置身告白营销的舞台中央。在电商企业、游戏厂商以及消费类应用建树公司中，AI 生成告白的模式备受趣味，热度居高不下。说不定，你在刷 YouTube、TikTok 时，不经意间就已被这类 AI 告白"圈粉"。当下，不仅面向消费者的企业尝到了甜头，B2B 领域的企业也纷繁尖锐捕捉到商机，借助 Yuzu Labs、Vidyard 等先进器具，巧用 AI 虚构东谈主，开展内容营销，或是进行精确个性化推论，开辟业务新渠谈。

在具体制作过程中，诸多居品会将虚构演员形象（既关联词施行东谈主物的复刻，也能是原创私有变装），与居品靓照、精彩视频片断、适配音乐等多元素材有机交融。使用者既能自主把控各种素材的呈现位置、展示节拍，打造专属创意作风；也能一键开启"智能托管"模式，让系统依据居品性情、营销缱绻，自动生成吸睛视频。剧本创作法子一样机动，既支柱用户亲自操刀，融入私有构念念；也能借助 AI，快速生成专科剧本框架，为创作赋能。

大型企业：规模化内容产出的新引擎

关于大型企业而言，AI 虚构东谈主的应用规模早已突破营销领域，在多个要害领域深度赋能，阐扬着不可小觑的作用。

•职工学习与发展：大型企业东谈主员规模浩瀚，职工培训汲引需求阑珊。再行职工入职教导，到合规计谋解读、居品学问科普，再到技能进阶擢升，都离不开普遍培训汲引视频的复旧。传统制作方式耗时劳作，而 Synthesia 等前沿 AI 器具的登场，绝对改进了这一阵势。它能将内容创作过程自动化，极大裁汰制作周期，罢了高效、规模化产出。以销售岗亭为例，销售东谈主员可借助 Anam 等居品中的虚构东谈主，反复模拟谈判场景，千里浸式考验谈判技巧，切实擢升业务智商，让培训效果一本万利。

•内容腹地化定制：跨国企业客户与职工遍布全球，为契合不同地区文化、语言分裂，内容腹地化至关重要。以往腹地化职责繁琐复杂，如今 AI 虚构东谈主让这一难题治丝益棼。通过智能时期，企业能快速替换视频中的语言、文化元素，精确适配不同地域受众。再搭配 ElevenLabs 等公司提供的先进语音翻译时期，团结视频可普通回荡为数十种语言版块，且语音当然畅通，毫无违和感，助力企业跨越语言鸿沟，深度融入全球商场。

•高管形象拓展与影响力擢升：在大型企业里面交流与对外品牌塑造中，高管形象至关重要。借助 AI 虚构东谈主，企业能克隆高管形象，打造专属数字分身。从此，居品发布、重要节日请安等场地，无需高管亲临拍摄，其数字分身就能精确传递信息，大幅拓展高管影响力放射范围。此外，Delphi、Cicero 等篡改公司，还为企业念念想魁首搭建起与群众深度互动的桥梁，冲突时空限制，让魁首们普通恢复来自各方的疑问，进一步强化企业品牌的巨擘性与亲和力。

AI 虚构东谈主的组成因素解析

打造一个令东谈主信服的 AI 虚构东谈主，号称一项极具挑战性的任务。每一个关乎确实感呈现的因素，都藏匿着辣手的时期难题。这可不只纯是遁入"恐怖谷效应"那么浮松，实则触及攻克动画制作、语音合成以及及时渲染等领域的要害难题。底下，咱们深入领悟构建虚构东谈主所需的中枢因素，接头罢了完整效果为何艰涩重重，以及当下获取的进展情况：

•面部：不论是复刻施行东谈主物，照旧塑造全新变装，都条件虚构东谈主的面部在不同画面帧间保持连贯一致，且在言语时，面部动作能作念到跃然纸上。不外，让虚构东谈主依据所处情境，当然展现出相应面部颜料，照旧一大挑战。比如，虚构东谈主说"我累了"时，要同步作念出打哈欠的动作，这绝非易事。

•声息：声息不仅要确实当然，还得与虚构东谈主的变装形象高度契合。试想，一个芳华青娥边幅的虚构东谈主，如若配上中年女性的声息，那违和感简直扑面而来。目前，咱们战斗到的多数 AI 虚构东谈主企业，都趣味使用 ElevenLabs。这个平台语音库资源丰富，还支柱用户克隆专属我方的私有声息。

•口型同步：罢了精确、高质料的口型同步，时期难度颇高。Sync 等企业就专注于攻克这一难题。而像 Meta 推出的 MoCha，以及 OmniHuman 这类模子，则依托海量数据集伸开试验，哄骗多元时期，让面部生成过程与配套音频紧密绑定，使每一帧面部画面都能精确匹配音频，罢了口型同步。

•体魄：虚构东谈主可不行只是个"光杆司令"，只自大个脑袋飘在空中。新一代模子已能罢了全身虚构东谈主的创建，且支柱动作呈现。但不管是进一步拓展其功能丰富度，照旧优化用户使用体验，现时仍处于起步摸索阶段，还有很长的路要走。

•配景：虚构东谈主非孑然存在于真空环境中。其所处环境的色泽效果、空间景深，以及与周遭物体的互动现象，都得与全体场景融合融合。梦想现象下，虚构东谈主应具备与环境物体交互的智商，比如普通提起一件居品，确凿融入场景之中。

倘若盼愿虚构东谈主能及时参与对话，比如加入 Zoom 视频会议，还需增添以下要害因素：

•"智能大脑"：虚构东谈主得具备"念念考"智商。当下支柱对话功能的居品，大多允许用户上传学问库，或接入现存学问库。猜测将来，更先进的居品版块有望赋予虚构东谈主更强的顾虑智商，塑造澄莹个性。这么一来，虚构东谈主便能明晰难忘与用户过往的交流内容，在互动中展现私有作风。

•及时流传输：要在保证低延长的前提下，畅通罢了上述通盘功能的及时流传输，时期难度极大。LiveKit、Agora 等居品已在该领域获取一定突破，但要让各种模子协同运作，同期将延长适度在最低限制，仍靠近诸多挑战。虽说像 Tolan 这种集语音与面部形象于一体的 AI 外星东谈主伙伴，在及时流传输方面弘扬出色，但从行业全体来看，后续仍有普遍优化职责亟待鼓吹。

咱们期待怎么的突破？

AI 虚构东谈主领域依旧蕴含着巨大的发展后劲，亟待咱们去开辟与完善。以下几个方面是当下柔软的重中之重：

•变装的连贯性与可塑性：当年，AI 虚构东谈主的形象千人一面，时常仅有单一、固化的外不雅设定。不论是着装作风、肢体姿态，照旧所处的环境配景，均处于静态，穷乏变化。如今，情况脱手出现篡改，部分居品已尝试为用户提供种种化遴荐。以 HeyGen 推出的变装劳尔（Raul）为例，他领有多达 20 种不同形象，令东谈主目前一亮。但咱们盼愿将来能领有更简便、更强硬的功能，让用户能够控制自如地对变装进行全方向塑造与变换，确凿罢了创意开脱。

•面部动作与颜料的进阶：遥远以来，面部弘扬一直是 AI 虚构东谈主难以攻克的薄弱法子。以往虚构东谈主的面部呈现效果生硬、寂寥，犹如机械木偶，穷乏不满与灵动性。不外，跟着时期的迭代更新，这一阵势正慢慢得到扭转。举例，Captions 公司全新发布的 Mirage 模子，便得手罢了了质的飞跃，能够展现出更为当然传神的面部外不雅，以及更为丰富多元的颜料神态。咱们迫切期待将来的 AI 虚构东谈主能够深度知道剧本中的情感内涵与语境信息，并作念出精确、顺应的反馈。遐想一下，当变装在逃离怪物的孔殷场景中，能已而流自大惊悸万分的颜料，无疑将极大增强虚构东谈主的千里浸感与感染力。

•体魄动作的当然呈现：现时，绝大多数 AI 虚构东谈主在面部以下的体魄部位动作匮乏，即即是最基础的手势动作，也极为苍凉。现存的手势适度方式多依赖于事先设定的圭表逻辑，机动性与确实感严重不及。以 Argil 为例，用户仅能在有限的选项中，为视频的不同片断挑选特定类型的肢体语言，难以满足对当然交互的需求。猜测将来，咱们进攻期盼能够见证更多当然畅通、贴合情境的体魄动作，让虚构东谈主在简之如走间尽显确实与生动。

•与"施行寰宇"的交互拓展：现阶段，AI 虚构东谈主与周围环境的交互智商近乎为零，这成为限制其应用场景拓展的要害瓶颈。短期内，一个切实可行且极具价值的缱绻是赋予虚构东谈主在告白场景中与居品进行互动的智商，比如当然地提起并展示居品。值得欢乐的是，Topview 公司已在这方面迈出了坚实步骤。跟着模子性能的持续优化，咱们对将来在这一领域的更多突破满怀期待。

•及时应用场景的全面拓展：在将来，AI 虚构东谈主有望深度融入东谈主们的日常生存，催生诸多极具篡改性与实用性的及时应用场景。设计一下，与 AI 医师进行视频问诊，在专科的 AI 销售助理跟随下浏览中意居品，或是通过 FaceTime 与喜爱的电视剧变装畅聊……尽管目前在延长适度与富厚性方面，距离东谈主类当然交互的梦想现象仍存在一定差距，但时期的速即发展已使咱们越来越接近这一缱绻。

行业将驶向何方？

纪念当年几年在基础模子企业与 AI 应用领域的投履历程，咱们深入相识到一个风趣：准确预判某个特定领域的将来走向，险些是一项不可能完成的任务。然而，有极少不错服气：跟着底层模子质料的权贵擢升，如今已能生成不雅感精良、不再令东谈主"不忍直视"的 AI 会言语头像，这无疑为应用层的爆发式增长奠定了坚实基础。

咱们勇猛预测，这一领域将滋长出广阔市值达数十亿好意思元的行业巨头。届时，商场将依据不同的应用场景与缱绻客户群体，对居品进行邃密化细分。举例，相较于粉丝为一又友制作一段浮松的动漫变装短视频，企业高管若盼愿借助 AI 克隆体为客户拍摄专科视频，他们对居品的质料与确实感条件将更为严苛，同期也安静为此支付更高的用度。

此外，高效的职责过程一样不可或缺。倘若你议论借助 AI 虚构网红制作告白，一款能够自动提真金不怕火居品珍重信息、精确撰写剧本、智能添加提拔镜头与居品图片、一键将视频推送至各大酬酢平台，并及时评估告白效果的抽象性平台，将成为你的牛逼助手。反之，若你费力于于哄骗 AI 变装创作故事，那么一款支柱变装与场景保存复用、方便快捷拼接各种视频片断的器具，无疑将更契合你的创作需求。

原文：AI Avatars Escape the Uncanny Valley

https://a16z.com/ai-avatars/