For the complete documentation index, see llms.txt. This page is also available as Markdown.

肢体语言如何运作

了解 Body Language 如何在每个 tick 驱动 Convai 角色的姿态、呼吸和手势,以及它如何让位于脚本手势。

每个 tick, ConvaiBodyLanguageController 读取角色的对话状态和情绪,确定其此刻的行为应当呈现为何种样子,并将该行为与 Body Animation 和 Gaze 已经写入的内容一起合成到骨骼上。本页介绍驱动该决策的因素、生成动作的各个部分,以及防止 Body Language 与脚本化手势相互冲突的规则。关于这些机制所依赖的 composition-root 模型,请参见 角色 Embodiment.


每个 tick 驱动身体的因素

在具身化中 认知 tick 中,控制器读取角色当前的 对话状态 及其情绪读数,然后解析该状态对应的配置文件策略——手势强度、倾听时的前倾、姿态偏向、呼吸频率和深度、小动作频率。状态变化绝不会突然切换策略:各项数值会在配置文件的 策略过渡秒数 内平滑混合,因此角色在刚开始说话时不会出现明显的顿挫。

在后面的 表情 tick 中,在 Animator 或 PlayableGraph 已为骨骼完成姿态设置,并在 Gaze 之前,控制器的求解器会朝该 tick 的目标收敛,并将所有通道——脊柱、肩膀、骨盆、头部手势回退——累积到一个共享的合成器上;该合成器对每根骨骼恰好执行一次受保护的写入。两个 Body Language 行为绝不可能在同一根骨骼上产生无限制的增量,因为始终只有一个写入者。


合成到身体上的行为

在内部,十个协同组件各自生成该行为的一部分。它们都不是公共 API——你通过 调优表现力 以及 配置文件参考中涵盖的配置文件字段来塑造它们的效果,而不是直接调用它们。

行为
它产生的内容

姿态

当前状态和情绪下持续性的开放度、前倾和肩部紧张轮廓。

呼吸

持续的胸部和肩部扩张循环,以及吸气停顿、叹息和说话前吸气事件。

手势动作

说话时与语音能量同步的头部节拍和姿态脉冲,以及手势之间的闲置手腕和手部微动。

倾听姿态

角色在倾听时采用的前倾和静止。

小动作

让静止角色看起来不会像被冻结一样的缓慢闲置重心转移。

站姿

站立身体所进行的周期性骨盆重心转移和偏航循环。

姿态摇摆

脊柱上持续的、不到一度的漂移,读起来更像持续的微平衡,而不是抖动。

闲置宏周期

在呼吸深度、摆动和小动作节奏上极其缓慢、持续数分钟的漂移,使长时间闲置不会稳定成一个明显循环的基线。

反应

由突然的情绪激增自动触发,或按需触发的一次性惊跳退缩和受逗弹跳。

头部手势

点头、摇头和倾斜,无论是来自与语音同步的节拍、倾听时的倾斜保持,还是脚本化请求。

这些行为旁边还会运行一个相机距离缩放:主摄像机离角色越远,摆动和手部微动的读感就越大,这样小幅摆动在远处不会消失,在特写中也不会显得过度。它从不影响呼吸、姿态或手势——只影响环境质感。


它如何与 Gaze 和 Body Animation 共享骨骼

Body Language、Gaze 和 Body Animation 都可能关注同一组脊柱、肩膀和头部。Convai 通过协调来解决这一点,而不是让一个模块压制另一个模块:Gaze 自己的躯干朝向行为会通过 Body Language 写入时所用的同一个共享合成器进行合成,因此两者永远不会持有彼此独立、可能在同一根骨骼上竞争的写入保护。当 Body Animation 播放行走循环或全身动作时,它会在持续期间把身体接管回来——这是有意的移交,而不是冲突。

这种协调背后的契约——Gaze 如何注册其躯干朝向入口,Body Animation 如何报告它正在播放什么——都属于包内部实现。你不会直接实现或调用它们;你只会在角色的动作表现中看到它们的效果。


它如何让位于脚本化手势

Body Animation 的 talk-clip 系统可以在每个 tick 报告一个抑制级别,而 Body Language 的整个伴随语音系统会在决定要做多少之前读取它:

抑制
头部节拍
姿态脉冲
语义手势提示
姿态和呼吸

无(或未注册表演者)

完全

完全

可用

完全权重

上半身(正在播放上半身 talk clip 或运动)

完全

减少

拒绝

姿态减弱,呼吸保持完全权重

全身(正在播放全身动作或转身)

无

无

拒绝

两者都淡出到零

这就是为什么这两个模块看起来从不会彼此对抗:当 Body Animation 播放一个预先编排的上半身手势时,Body Language 会继续让角色呼吸并保持头部节拍运作,但会退一步,不再在同一动作之上叠加自己的姿态脉冲。呼吸是有意从不被抑制的,即使在完全抑制下姿态和手势会褪去——一个在做手势时停止呼吸的角色,会以一种其他任何东西都无法比拟的方式显得已损坏。


下一步

肢体语言快速入门调节表现力肢体语言故障排查

最后更新于

这有帮助吗?