发行说明

Convai Unreal Engine 插件的版本历史和重要变更，涵盖公开的 4.x Beta 版本和完整的 3.x 历史。

跟踪 Convai Unreal Engine 插件在各个发布版本中的变更。当前版本是 4.0.0-beta.21，支持 Unreal Engine 5.0 及更高版本。

此插件处于 beta 阶段。Beta 版本在次版本之间可能包含破坏性变更。插件清单将当前包标识为 4.0.0-beta.21.

2026年5月25日

4.0.0-beta.21

动画和手势

• 全面改造了随附的 MetaHuman 动画。
• 新增了由 LLM 发出的角色动作自动触发的手势和指向动画。
• 新增了复制的 PointAtTarget 以及 LookAtTarget 在聊天机器人组件上。

对象感知和凝视

• 新增了 UConvaiObjectComponent 用于标记 Actor，并将其实时属性作为上下文提供给聊天机器人。
• 新增基于凝视的注意力：玩家注视下的 Actor 会成为当前关注对象，并带有轮廓高亮和屏幕光标。
• 新增基于邻近性的状态：当对象组件可从聊天机器人的 Pawn 到达时会报告，以便机器人作出反应。

Actions

• 在 Blueprint 图表中新增右键菜单项“创建 Convai Action Handler”，用于生成类型化的动作处理器骨架。
• 新增“设置 Convai Pawn Movement”内容浏览器操作，可在任意 Pawn Blueprint 上填充导航默认值。
• 为动作新增组件和 Socket 目标定位，以及按条目覆盖移动设置。
• 改进了动作完成处理：处理器可在下一步动作前等待机器人语音结束，在同一次调用中发布动态上下文事件，并可干净地中止无法恢复的序列。
• 为枚举和选项动作参数新增模糊匹配，因此轻微的 LLM 拼写偏差不再会导致动作丢失。
• 将动作线格式切换为 {name} 大括号形式，并改进了响应解析的可靠性。
• 默认在聊天机器人环境中启用动作。

音频和嘴型同步

• 在项目设置和连接请求中新增 VAD（语音活动检测）参数。
• 改进了句尾音频处理，以减少软尾辅音的裁剪。
• 通过在帧短暂停止到达时提供饥饿回退，改进了嘴型同步稳定性。
• 修复了麦克风热切换，因此在会话中切换设备不再需要重启流。

其他改进

• 新增 Convai 认证缓存，因此后续连接无需从头重新认证。
• 新增了 GetBodyAndFaceSkeletalMeshComponents 用于解析 MetaHuman 和 CC5 骨骼的辅助工具。

错误修复和兼容性

• 修复了 Android 在应用关闭时崩溃的问题。
• 修复了多个 UE 5.0 / 5.4 / 5.5 / 5.7 的编译和兼容性问题，使插件可在所有受支持的引擎版本上干净构建。
• 在 UE 5.1 及更早版本中禁用了 Convai 编辑器 UI（其依赖的属性绑定编辑器功能在这些版本中不可用）。
• 在 UE 5.0 下重新生成了凝视高亮材质，使该资源可在所有受支持的引擎版本中加载。

2026年5月1日

4.0.0-beta.19

• 与 WebRTC 集成动作：聊天机器人现在在连接时发送 action_config ，当 bEnableActions 开启时，并将结构化动作响应载荷解析为类型化动作序列。
• 重构了 环境 从 UConvaiEnvironment UObject 到 FConvaiEnvironmentData USTRUCT。聊天机器人针对对象、角色和动作提供细粒度的 Add/Remove/Clear 方法；对场景元数据的防抖刷新； bFlushImmediately 用于时间关键更新的高级可选项。
• 拆分了旧版 MainCharacter 到 ConversationPartner （已复制，场景感知）和 LookAtTarget （仅动画）。新增 bAutoFillConversationPartnerFromPlayer 切换项会自动使用第一个已注册的 Convai Player 组件填充对话伙伴。
• 新增 SetObjectInAttention 会沿用动态上下文刷新，并在缺失时自动将条目注册到 Environment.Objects 中。
• 新增了 bEnableActions 聊天机器人切换项。 Environment.Actions 默认由以下内容填充： 移动到, 跟随, 停止移动，以及 等待.
• Actions V2 —— 类型化动作模板： FConvaiAction 以及结构化的 参数 通过以下方式进行类型化： EConvaiActionParamType。可选 连接符 用于复合动作， 选项 用于固定列表约束，或者 EnumType 以从一个 UENUM.
• 统一的动作结果结构： FConvaiResultAction.Parameters 为 TMap<FString, FConvaiResultParam>。旧版 RelatedObjectOrCharacter 和 ConvaiExtraParams 作为已弃用的镜像保留。
• 新的 Blueprint 纯函数访问器： Get First Param, Get Param, 获取参数类型, 以字符串/数字/布尔/引用/字节获取参数, Has Param.
• HandleActionCompletion 获得可选的 AdditionalNote 和 ShouldRespond。新增 AbortActionSequence 接受可选的 EventText 并在不重试的情况下清空队列。
• 移除了 EnableNewActionSystem 全局开关——动作队列路径现在始终启用。
• 向后兼容：旧版 UConvaiEnvironment 和 UConvaiActionContext 被恢复为已弃用的兼容层，因此较旧的 Blueprint 图表仍可编译，但会显示弃用警告。

2026年4月24日

4.0.0-beta.18

• 新增 Android 打包支持。
• 新增聊天机器人交互的动态上下文批处理和日志记录，以减少重复更新。
• 新增饥饿混合和可播放帧检查，以提升嘴型同步稳定性。
• 新增嘴型同步动画参数的命令行覆盖项和模拟冻结功能。
• 在以下模块中新增自定义参数处理和客户端版本获取： ConvaiUtils.
• 新增重置空闲计时器和用户空闲警告支持。
• 增强了 FaceSync Animation Node 中的组件解析，在查找时会包含父 Actor UConvaiChatbotComponent.
• 重命名 RunLLM 参数为 ShouldRespond ，以便在上下文更新方法中提高 API 清晰度。
• 更新了嘴型同步计时行为，以更好地对齐音频和动画。当前源默认值为 LipSyncTimeOffset 为 0.02 秒（20 毫秒）。
• 更新了动态上下文防抖行为，以提升批处理一致性。当前源设置为 ContextDebounceWindow，默认值为 0.5 秒。
• 重构了叙事触发器处理，以简化上下文处理。

2026年4月13日

4.0.0-beta.17

• 优化了 MetaHuman Face Animation Blueprint 中的嘴型同步计算性能。
• 改进了音频播放时间估算，并移除了已弃用的 FSoundSource 缓存。
• 增强了音频结束检测的容错性，以避免浮点舍入边界情况。
• 在调试模式下新增音频流和面部同步组件的性能计时统计。
• 新增详细的音频播放调试日志。
• 改进了音频捕获清理，以确保在组件销毁和结束播放期间安全释放资源。
• 通过改用弱指针，修复了异步任务中可能出现的悬挂引用。
• 修复了 Convai 客户端断开连接期间的可重入回调。
• 修复了在 BeginDestroy 中跨对象委托清理导致的聊天机器人和玩家组件崩溃。
• 修复了玩家转写内容未正确追加的问题。
• 新增情绪提供器管线。
• 修复了 ConvaiConnectionConfig 结构布局与 DLL 不匹配的问题。

2026年4月9日

4.0.0-beta.16

• 新增 Android 支持。

2026年4月5日

4.0.0-beta.15

• 修复了嘴型同步接收缓慢的问题。

2026年3月31日

4.0.0-beta.14

• 新增更新上下文功能。
• 更新了 OutputFPS 为 60，以提升嘴型同步输出。
• 改进了嘴型同步音频处理，并清理了未使用变量。
• 提升了音频播放时间计算的准确性，并简化了播放语音数据流。

2026年3月16日

4.0.0-beta.13

• 新增连接指示器 UI 小部件。
• 修复了与会者断开连接状态通知处理。
• 修复了编辑器 UI，使其仅显示已安装插件版本的变更日志。
• 提高了连接管理器的可靠性和状态处理。
• 修复了连接处于孤立状态时不会发送音频的问题。
• 改进了服务器事件分发。
• 增强日志记录以便更好调试。

2026年3月9日

4.0.0-beta.12

• 已弃用旧版 ConvaiBaseCharacter 和 ConvaiBasePlayer Blueprint 类。
• 新增连接指示器小部件用于显示连接状态。
• 新增 LLM 启动/停止事件（OnLLMStarted, OnLLMStopped）设置为 ConvaiChatbotComponent.
• 新增情绪支持。
• 新增切换 STT 功能。
• 改进了响应结束时的嘴型同步。
• 修复了因使用前一轮响应的帧而导致的嘴型同步错位边缘情况。
• 修复了在开始新连接的同时录音时的 PIE 崩溃。
• 修复了最小缓冲时长更新为 0.2 秒。

2026年2月19日

4.0.0-beta.11

• 提升了与 CC5 Reallusion 角色的兼容性。

2026年2月11日

4.0.0-beta.10

• 修复了 DLL 加载问题。
• 修复了 Convai Dashboard 中的崩溃。
• 新增对仅 Blueprint 项目的支持。

2026年2月10日

4.0.0-beta.9

• 改进了角色中断处理。
• 提高了嘴型同步准确性。
• 向 ConvaiSubsystem 和 ConvaiChatbotComponent.

2026年1月15日

4.0.0-beta.7

• 修复了部分转写字符损坏的问题。

2026年1月5日

4.0.0-beta.6

• 新增 ARKit blendshape 嘴型同步支持。
• 更新默认 LipSyncMode 到 BS_MHA （MetaHuman）中的 ConvaiFaceSyncComponent.
• 新增了 RequiresPrecomputedFaceData 方法为 ConvaiConnectionInterface.
• 修复了 blendshape 选择逻辑，使其按条件使用 ARKit 名称。

2025年12月20日

4.0.0-beta.5

• 更新了 BlendShapesNames 采用 ARKit 的新命名约定。

2025年12月5日

4.0.0-beta.4

• 实现了批量 NeuroSync blendshape 处理，并带有统计日志。
• 在以下模块中新增音频帧跟踪并改进语音处理： ConvaiAudioStreamer 和 ConvaiChatbotComponent.
• 新增最终用户 ID 功能和设备唯一 ID 支持。
• 通过在音频开始时停止语音，修复了语音播放重叠问题。
• 新增 MetaHuman 控制名称支持。
• 修复了编辑器冻结问题。
• 修复了 Linux 库链接问题。
• 视觉优化改进。

2025年11月20日

4.0.0-beta.3

• 新增 UE 5.7 支持。
• 新增仅 Blueprint 项目支持。

2025年11月5日

4.0.0-beta.2

• 新增编辑器登录界面和仪表板。
• 新增更好的回声和噪声消除。
• 新增使用 FaceSync 组件的初始基于 viseme 的嘴型同步支持。
• 为视觉功能新增伽马校正。
• 修复了 F10 设置菜单。

2025年10月20日

4.0.0-beta.1

• 初始 WebRTC 集成。

---

3.x 版本发布

3.6.x 版本历史

3.6.7-Beta

• 新增了 UseSystemCertificates Windows 上 SSL 配置的选项。
• 修复了打包后 Convai 日志不显示的问题。
• 修复了因在非游戏线程上传递文本数据而导致的多人游戏崩溃。

3.6.6

• 新增了 EnableSync 用于音频和嘴型同步控制的参数。

3.6.5

• 调整了 MinBufferDuration 和 AudioLipSyncRatio 默认值，以减少音频卡顿。

3.6.4

• 改进了在 ConvaiAudioStreamer 中的数据验证，以防止无效输入导致崩溃。
• 修复了 MinBufferDuration 在嘴型同步启用时未按预期工作。

3.6.3

• 改进了 ConvaiGRPC.

3.6.2

• 可能修复 ElevenLabs 和部分 Azure 语音缺失音频的问题。
• 提升了接收 AI 音频响应时的性能。

3.6.1

• 修复了 Linux 构建的头文件。

3.6.0

• 支持 UE 5.6。
• 优化了内部组件注册表查找。
• 新增 Convai Logger。

3.5.x 版本历史

3.5.4-hotfix-1

• 修复了播放音频时的竞态条件。
• 将 Android Play Core 更新到 2.0.3。
• 重构了旧的未使用类和代码。

3.5.4

• 进一步提高了嘴型同步准确性和同步性。
• 修复了短角色回复后玩家语音转写失败的问题。
• 提高了 gRPC 连接稳定性，以防止会话失败。
• 解决了服务器以小块发送大量音频而导致的罕见崩溃。

3.5.3-beta

• 提高了嘴型同步准确性和同步性。
• 修复了 ElevenLabs 语音截断的问题。
• 修复了 Pixel Streaming 兼容性。

3.5.2

• 修复了当角色完成当前句子时，新语音数据开始播放而导致的罕见崩溃。

3.5.1

• 新增长期记忆 V0。
• 修复了多人游戏中语音未发送到客户端的问题。
• 新增动态环境信息。

3.5.0

• 支持 UE 5.5。

3.4.x 及更早版本

3.4.2-beta

• 修复了使用文本时玩家超时警告消息。
• 通过增加小延迟和读取重试，提高了 gRPC 连接鲁棒性。

3.4.1-beta

• 修复了 IsListening() 未能正确返回角色状态。

3.4.0-beta

• 修复了多个连接问题。
• 现在可以在 MetaHuman 面部动画上播放自定义 montage。

3.3.2

• 新增了音频在多人游戏中被截断的临时修复。
• 新增了 ConvaiGetAvailableVoices 函数。

3.3.1

• 修复了叙事键未正确设置的问题。
• 使用时间戳实现更好的嘴型同步。
• 新增了 通过 RPM 链接下载 Convai 图片 函数。
• 为 C++ 使用公开了 Convai Player 组件。

3.3.0

• 新增 Linux 支持。
• 修复了当与角色名称相似的对象会被识别为相关对象或角色的问题。

3.2.2-Beta

• 修复了在早期中断角色时 NPC2NPC 崩溃。

3.2.1-Beta

• 修复了说话时身体手势不动画的问题。
• 新增叙事触发键。
• 改进了 MetaHuman 的情绪动画。

3.2.0

• 新增 UE 5.4 支持。

3.1.4

• 新增 Pixel Streaming 支持和文档。
• 新增 x86_64 Android 支持。
• 新增叙事设计辅助函数。
• 新增更多 Blueprint 文档。
• 提高了对象和角色的动作准确性。
• 改进了 MetaHuman 面部和身体动画逻辑。
• 改进了嘴型同步。
• 更新了 Reallusion Animation Blueprint。
• 修复了添加自定义 MetaHuman 动画时的问题。
• 修复了 UE 5.3 在连接出现问题时的崩溃。
• 修复了多人游戏崩溃。
• 修复了在连接不佳时使用 Invoke Speech 造成的罕见崩溃。

3.0.1 热修复

• 修复了 Android 上音频捕获有时无法正确捕获的问题。
• 修复了 Android 上的嘴型同步崩溃并提升了性能。
• 修复了 Android 上当角色说出大量音频时的罕见崩溃。
• 改进了整体音频捕获。
• 修复了 更新角色 节点未更新语言。
• 更新了 Convai ReadyPlayerMe 插件，以提升头部跟踪。
• 修复了当玩家组件和聊天机器人组件位于同一角色 Blueprint 中时，嘴型同步失效的问题。
• 新增了针对 Mac 麦克风权限问题的文档指南。
• 修复了 macOS UE 5.3 上打包应用因麦克风权限导致的启动崩溃。

3.0.0

新增：

• 新的嘴型同步组件 FaceSync，这不再需要 ConvaiOVRLipsync 插件。
• Mac 口型同步支持。
• 情绪。
• 注意力中的对象。
• 新的 Convai Chatbot 组件函数： Invoke Speech, Invoke Narrative Design Trigger, 强制设置情绪, 重置情绪状态, 获取情绪分数, 获取已交谈时间, 获取剩余交谈时间, 设置口型同步组件, 清除动作队列.
• 新的 Convai Chatbot 组件事件： On Narrative Section Received, 情绪状态更改时.
• ConvaiGetLookedAtObjectOrCharacter 函数。
• 角色在预设时间后会失去对玩家的关注。
• 移动到 和 跟随 动作失败会触发角色响应。
• 用于多人游戏场景的环境复制。

改进：

• MetaHuman 身体动画、面部表情和视线跟随。
• Reallusion 动画蓝图、口型同步和视线跟随。
• 设置小部件 UI。
• 动作准确性。
• 低帧率下的音频采集。

修复：

• 如果在打包前场景中已有 Convai Player Component，则会出现打包问题。
• 当同时发生许多交互时会崩溃。
• ConvaiBasePlayerWithVoiceActivation Beta 类只在首次交互时有效。
• 插件整体稳定性和警告。

已弃用：

• ConvaiOVRLipsync 插件和组件。请从你的项目中删除该插件，并改用新的 FaceSync 组件。

下一步

快速入门