肢体语言如何运作
了解 Body Language 如何在每个 tick 驱动 Convai 角色的姿态、呼吸和手势,以及它如何让位于脚本手势。
每个 tick, ConvaiBodyLanguageController 读取角色的对话状态和情绪,确定其此刻的行为应当呈现为何种样子,并将该行为与 Body Animation 和 Gaze 已经写入的内容一起合成到骨骼上。本页介绍驱动该决策的因素、生成动作的各个部分,以及防止 Body Language 与脚本化手势相互冲突的规则。关于这些机制所依赖的 composition-root 模型,请参见 角色 Embodiment.
每个 tick 驱动身体的因素
在具身化中 认知 tick 中,控制器读取角色当前的 对话状态 及其情绪读数,然后解析该状态对应的配置文件策略——手势强度、倾听时的前倾、姿态偏向、呼吸频率和深度、小动作频率。状态变化绝不会突然切换策略:各项数值会在配置文件的 策略过渡秒数 内平滑混合,因此角色在刚开始说话时不会出现明显的顿挫。
在后面的 表情 tick 中,在 Animator 或 PlayableGraph 已为骨骼完成姿态设置,并在 Gaze 之前,控制器的求解器会朝该 tick 的目标收敛,并将所有通道——脊柱、肩膀、骨盆、头部手势回退——累积到一个共享的合成器上;该合成器对每根骨骼恰好执行一次受保护的写入。两个 Body Language 行为绝不可能在同一根骨骼上产生无限制的增量,因为始终只有一个写入者。
合成到身体上的行为
姿态
当前状态和情绪下持续性的开放度、前倾和肩部紧张轮廓。
呼吸
持续的胸部和肩部扩张循环,以及吸气停顿、叹息和说话前吸气事件。
手势动作
说话时与语音能量同步的头部节拍和姿态脉冲,以及手势之间的闲置手腕和手部微动。
倾听姿态
角色在倾听时采用的前倾和静止。
小动作
让静止角色看起来不会像被冻结一样的缓慢闲置重心转移。
站姿
站立身体所进行的周期性骨盆重心转移和偏航循环。
姿态摇摆
脊柱上持续的、不到一度的漂移,读起来更像持续的微平衡,而不是抖动。
闲置宏周期
在呼吸深度、摆动和小动作节奏上极其缓慢、持续数分钟的漂移,使长时间闲置不会稳定成一个明显循环的基线。
反应
由突然的情绪激增自动触发,或按需触发的一次性惊跳退缩和受逗弹跳。
头部手势
点头、摇头和倾斜,无论是来自与语音同步的节拍、倾听时的倾斜保持,还是脚本化请求。
这些行为旁边还会运行一个相机距离缩放:主摄像机离角色越远,摆动和手部微动的读感就越大,这样小幅摆动在远处不会消失,在特写中也不会显得过度。它从不影响呼吸、姿态或手势——只影响环境质感。
它如何与 Gaze 和 Body Animation 共享骨骼
Body Language、Gaze 和 Body Animation 都可能关注同一组脊柱、肩膀和头部。Convai 通过协调来解决这一点,而不是让一个模块压制另一个模块:Gaze 自己的躯干朝向行为会通过 Body Language 写入时所用的同一个共享合成器进行合成,因此两者永远不会持有彼此独立、可能在同一根骨骼上竞争的写入保护。当 Body Animation 播放行走循环或全身动作时,它会在持续期间把身体接管回来——这是有意的移交,而不是冲突。
它如何让位于脚本化手势
Body Animation 的 talk-clip 系统可以在每个 tick 报告一个抑制级别,而 Body Language 的整个伴随语音系统会在决定要做多少之前读取它:
无(或未注册表演者)
完全
完全
可用
完全权重
上半身(正在播放上半身 talk clip 或运动)
完全
减少
拒绝
姿态减弱,呼吸保持完全权重
全身(正在播放全身动作或转身)
无
无
拒绝
两者都淡出到零
这就是为什么这两个模块看起来从不会彼此对抗:当 Body Animation 播放一个预先编排的上半身手势时,Body Language 会继续让角色呼吸并保持头部节拍运作,但会退一步,不再在同一动作之上叠加自己的姿态脉冲。呼吸是有意从不被抑制的,即使在完全抑制下姿态和手势会褪去——一个在做手势时停止呼吸的角色,会以一种其他任何东西都无法比拟的方式显得已损坏。
下一步
肢体语言快速入门调节表现力肢体语言故障排查最后更新于
这有帮助吗?