使用你自己的 3D 模型
使用你托管的 MetaHuman GLB 模型渲染一个 Convai 角色,包括 Full 和 Lite 文件以及你自己的动画片段。
使用你自己托管的 3D 模型来渲染 Convai 角色,而不是使用 Convai 为该角色提供的身体。当前页面适用于你已有并已导出为 GLB 的 MetaHuman。最后,你的模型会替代默认身体加载,并通过角色正常的 Convai 连接进行唇形同步、视线和眨眼。
前提条件
一个已经能够渲染角色的页面。参见 向 React 应用添加 3D 角色 或 向 three.js 场景添加 3D 角色.
你的模型是基于 Unreal Engine MetaHuman 骨架构建的 GLB 文件。下一节列出了该文件必须包含的内容。
用于托管该文件的位置,页面可以从那里获取它,并且如果主机不同,还需要允许你页面的 CORS 标头。
模型需要什么
Convai Embody 通过骨骼和 blendshape 的名称来驱动身体。它执行所有操作所依赖的骨架是 convai-mha-1,即 Unreal Engine MetaHuman 骨架;使用与 Unreal Engine 导出名称完全一致的 MetaHuman 命名文件,可以获得唇形同步、眨眼、眼球运动、视线和呼吸。其他面部和骨架会按其已有内容加载(参见 来自其他工具的模型 下文)。
头部和脊柱骨骼
head, neck_01, neck_02, spine_02, spine_04
视线和呼吸。缺少某个骨骼会关闭由它驱动的运动。
身体骨骼
MetaHuman 骨架的其余部分,从 pelvis 和 spine_01 一直到 spine_05 并延伸到四肢
动画片段,它们按名称定位骨骼。
面部 blendshape
MetaHuman 表情形变目标, CTRL_expressions_*
唇形同步、眨眼和眼球运动。
面部材质(可选)
名称为 Eyes*, Teeth*,以及 Eyeocclusion*
的材质。眼睛和牙齿着色。可通过以下方式关闭: faceMaterials: false.
Draco 压缩文件会按原样加载;解码器会从以下地址获取: dracoDecoderPath.
来自其他地方的模型
来自其他工具的模型会在加载时进行检查。Convai Embody 会读取模型已有内容,并报告它能做什么、不能做什么,以及每个问题对应的修复方式:
ARKit 面部 (Ready Player Me、Apple face capture、大多数 VRM 和 Character Creator 导出)以及 重命名的 MetaHuman 面部 会自动映射,因此唇形同步、眨眼和眼球运动都能工作。映射位于
character.report.face.morphMap;将其作为morphMap传入,以固定它或更正某一项。没有 blendshape 的模型 无法移动面部。报告会指出这一点;身体仍会播放动画。
动画 来自 Mixamo、Unreal mannequin 和 Rigify 的动画会重定向到身体上。当你未声明任何动画时,会使用模型文件内部的动画。文件中缺失、无法加载或没有驱动身体任何骨骼的片段会按名称报告。
视线和呼吸 需要 MetaHuman 的头部、颈部和脊柱骨骼名称;在其他骨架上,这些功能会关闭,报告会指出缺少哪些骨骼。
在将对话绑定到模型之前,先检查模型:
使用解析器描述你的模型
Convai Embody 通过解析器来了解一个身体文件所在的位置:解析器是一个对象,包含一个 resolve 方法,该方法返回身体的清单。默认解析器会向 Convai 请求。你也可以提供自己的解析器来指向你的文件。
characterId
你被要求解析的角色 ID。原样返回。
avatarId
此模型的任意稳定标识符。它会显示为 character.bundle.avatarId.
representations
每个骨架对应的模型。列出一个,并带有 rig: 'convai-mha-1'.
representations[].model
模型文件。一个条目就足够;参见 发送完整文件和精简文件 了解两个文件的做法。
representations[].clips
动画片段,名称到 { url }的映射。每个名称必须等于该文件内部某个动画的名称。可选;参见 添加你自己的动画.
使用你的模型渲染角色
传入你已经在使用的角色 ID 和凭证以及该解析器。模型来自你的解析器,而对话仍来自角色的 Convai 连接,因此角色会保留其声音、知识和记忆。
在 React 中,请将解析器定义在组件外部,或将其包裹在 useMemo中。新的解析器对象会再次加载模型,因此在组件内联编写的解析器会在每次渲染时重新加载模型。只有在模型需要变化时才修改它。
保留 Convai 的动画并与模型一起使用
如果要将你的模型与 Convai 为角色提供的动画一起使用,请向默认解析器请求该角色的清单,并且只替换其模型文件。
这些片段是为 MetaHuman 骨架制作的,因此它们适用于任何使用相同骨架的模型。
发送完整文件和精简文件
许多手机总共只允许 256 个顶点着色器 uniform,而 three.js 每个 blendshape 会占用一个,所以拥有全部 251 个 MetaHuman blendshape 的头部无法在这些设备上绘制。身体可以发布两个文件: 完整版,包含全部 blendshape,以及 精简版,包含减少后的集合。将两者都列出,使用 lod 0 表示 Full,1 表示 Lite,并将任一网格上最多的 blendshape 数量写为 morphTargets.
Convai Embody 会在手机和平板上加载 Lite,也会在任何对 Full 的 blendshape 来说过小的 GPU 上加载 Lite,而在其他设备上加载 Full。请将 Lite 保持在 192 个或更少的 blendshape,这样在 256-uniform 的手机上还能给着色器的其余部分留出空间。 character.model 会报告加载的是哪个文件,而 modelVariant: 'full' 或 'lite' 会强制使用其中一个,例如在桌面上检查 Lite。
在没有对话的情况下预览模型
若要在没有 Convai 连接的情况下渲染模型,例如在资产审核页面中,请传入 connect: false。配合解析器和 connect: false,就不需要凭证。
模型会播放其动画、呼吸、眨眼并跟随摄像机,但没有声音,也没有唇形同步。 character.client 是 null.
验证模型
运行应用并向角色发送一条消息。
故障排查
no supported representation: character offers [<rigs>], embody supports [convai-mha-1]
解析器的 representation 指向了另一个骨架。将 rig: 'convai-mha-1' 用于 MetaHuman 模型。
控制台警告 rig "convai-mha-1": missing required bone(s) — …
模型缺少警告中列出的头部或脊柱骨骼,因此它们的视线或呼吸会失效。请使用其 Unreal Engine 骨骼名称导出完整的 MetaHuman 骨架。
身体已加载,但角色说话时面部保持静止
模型的 blendshape 没有 MetaHuman CTRL_expressions_* 名称。请从 MetaHuman 导出面部表情形变目标。
某些手机上头部没有被绘制出来
模型的 blendshape 数量超过了手机 GPU 允许的上限。请像在 发送完整文件和精简文件.
模型尺寸不对,或者在地板下方
模型在加载时会缩放到 targetHeight (1.7 米),并且其鞋底会放置在 groundY。设置任一选项即可更改它们。
文件从未加载,或者 Draco 解码器失败
查看浏览器的网络面板。位于其他主机上的文件需要 CORS,而内容安全策略阻止 gstatic.com 的页面则需要 dracoDecoderPath 指向自托管的解码器。
下一步
为角色添加你自己的动画createCharacter 参考最后更新于
这有帮助吗?