发行说明
Convai Unreal Engine 插件的版本历史和重要变更,涵盖公开的 4.x 测试版发布和完整的 3.x 历史。
跟踪 Convai Unreal Engine 插件跨版本的更改。当前版本是 4.0.0-beta.27,支持 Unreal Engine 5.0 到 5.8.
4.0.0-beta.27
蓝图破坏性更改
调用语音和调用叙事设计触发器不再公开生成操作和网络复制引脚。现在两者都遵循聊天机器人的自身配置。使用已移除引脚的现有蓝图需要先刷新节点,才能编译。调用语音新增了传递方式选项,因此一条线可以等待安静时机而不是打断,并且其消息现在只会被听到一次,而不会在对话上下文中不断累积。
动作
捆绑的
BP Convai Chatbot Component自带Escort操作,可直接使用,因此角色可以将玩家或其他角色带到目的地,而无需重建蓝图处理器。未使用的等待动作条目已禁用。改进了关卡关闭和垃圾回收期间的移动任务取消,因此正在取消的任务不再会去访问 Unreal 已经在销毁的导航组件。
空间感知
角色可以从玩家视角给出方向。现在每个被描述的对象还会说明其相对于玩家摄像机的位置,因此“它在哪里?”得到的回答会与玩家所见一致。由
从玩家视角描述在以下位置 项目设置 > 插件 > Convai,在 空间感知 类别控制,并且默认开启。
音频和动画
修复了在对话进行时麦克风测试无操作的问题。录音现在可在打开的流中正常工作,角色不会听到测试录音,项目的静音设置也会在之后恢复。
现在,身体和面部网格检测只会考虑带有运行中动画蓝图的网格,因此头发、布料和静态道具不再会被误认为角色的身体或面部。
其他
新增了可供蓝图访问的知识库操作,并修复了使用自定义 Convai 服务器 URL 的 REST 请求。
调试覆盖层始终显示完整信息:角色接收到的精确环境句子,以及
事实和事件部分,现在在所有构建中都可见。
4.0.0-beta.26
移动
新增了可复用的
Convai 移动到和Convai 陪护蓝图节点。护送角色可以带领某人前往目的地,在对方落后时等待,在对方追上时继续,并处理已经就在附近的目的地。改进了目标解析和合并对象导航,因此移动任务会选择可达目的地,并区分“到达”和“已经在那儿”。
动作
新增了协作式动作计划取消。角色可以在动作运行时改变路线,自定义蓝图动作也可以在其替代动作开始前进行清理。
改进了参数化动作:命名值、空格、标点、本地化选项和对象式响应的处理更可靠,而且大型动作列表和多字节文本不再会被固定大小缓冲区截断。
其他
通过正确报告受支持的协议和客户端版本、识别当前生命周期消息以及转发交互 ID,提升了实时兼容性。
为可选的 Convai Pak Manager 添加了所需的已认证编辑器路由,并修复了外部编辑器插件在解析其自身 Convai 服务时的链接问题。
更新了随附的 AgentSkills 和动作文档,以反映新的移动、护送、取消和响应行为。
4.0.0-beta.25
移动和场景感知
为场景对象新增了移动感知,涵盖方向、停止检测、五个灵敏度级别、可选移动状态,以及可配置的开始和停止响应。
新增了 Movement Points 和命名目的地,因此角色可以选择可达的接近点,识别自己是否已经到达,并在路径打开或关闭时作出反应。
减少了重复对象和空间事实中的提示重复,并改进了蓝图移动的动作目标解析。
动态上下文
新增了实时上下文更新的投递控制。响应式事件可以等待自然停顿,在时机重要时立即发送,或者静默更新角色。
通过嵌套对象路径、别名、蓝图重命名恢复、更清晰的 Details 面板以及更简洁的变更说明,改进了跟踪属性。
动作
新增了实验性的
提醒自己和监视属性动作,可帮助角色继续多步骤任务并响应下一个有意义的属性变化。
工具
新增了 Convai 调试覆盖层,用于在开发期间检查环境、上下文状态、可达性、跟踪属性和动作结果。
迁移说明
目标字段和
解析目标位置引脚在此版本中已重命名。升级后请刷新受影响的蓝图节点。
4.0.0-beta.24
AI 编码代理
在 Unreal Engine 5.8 上新增了 MCP(模型上下文协议)支持,使 AI 编码代理可以直接在编辑器中工作。
新增了用于连接代理的设置流程:Claude Code、Cursor、VS Code、Gemini 或 Codex。
新增了 Convai Toolset,一组可由 AI 调用的编辑器操作,使代理可以设置和扩展 Convai 角色,而不必手动编辑蓝图:
SetupConvaiCharacter,SetupConvaiPlayer,以及SetupConvaiPawnMovement将 MetaHuman 和玩家连接起来以进行对话和导航;AddNavMeshVolumeForCurrentLevel使关卡可导航;AddConvaiAction和CreateConvaiActionHandler声明动作并生成其处理器事件;以及SetBlueprintPropertyAndPropagate编辑属性并将更改推送到已放置在关卡中的角色。新增了 Convai AgentSkills,这是一个编辑器内知识库,供代理读取以正确使用 Convai,涵盖项目和角色设置、对话、动作、动画、动态上下文、凝视、场景感知、叙事、玩家输入、视觉和表现力。
兼容性
该插件仍可在 UE 5.0 到 5.8 中编译。新工具仅限编辑器使用,没有运行时依赖,并在 UE 5.8 及更高版本上启用。
4.0.0-beta.22
空间感知
新增了一个空间感知子系统,为每个聊天机器人提供对周围环境的持续感知,并以自然语言事实形式传递给角色。它会按距离带、方向和朝向描述附近的对象、其他角色和玩家,并受视线可见性限制。
新增了实体间关系,例如“在压力板上方”或“在喷泉左侧”,并锚定到最近的高优先级邻居。
在 项目设置 > 插件 > Convai,在 空间感知 类别下新增了总开关以及视线、距离带和关系控制,并带有每个聊天机器人的周围环境和关系切换。
废弃了按对象的接近机制。 空间感知取而代之。
场景对象
新增了将同名 Convai Object 组件合并为一个逻辑对象的能力,因此一堆箱子在角色看来会被视为一个整体。可通过每个组件上的
与同名对象合并选择加入,并使用合并组索引将不同集合分开。合并对象会暴露一个位置、一份描述和一个集体凝视高亮。新增了全局
重复名称后缀样式设置,数字或字母,用于消歧未合并的同名对象。
动态上下文
新增了临时上下文事件:
添加上下文事件新增了bEphemeral选项,可在下次更新时仅一次推动角色,而不会持久保存它。SetObjectInAttention现在默认发出一次性关注提示,因此凝视某个对象只会通知角色一次,不会留下持续状态。该调用还会记录一条警告,说明其无效原因,无论是聊天机器人禁用了动作、对象缺失于环境列表,还是对象缺失于连接时动作配置中。
其他
新增了
FConvaiAvatarInfo:获取角色请求现在返回完整角色详情,而不只是角色 ID。修复了指向动画,使其能够正确播放并根据角色发出的指向动作瞄准。
修复了踏上到达逻辑,因此站在宽对象占位范围内的角色会被视为已到达,而不会在宽于其接受半径的对象上永远不触发到达。
修复了空间感知和同名设置在运行时被忽略的问题;在 Project Settings 中切换它们现在无需重启编辑器即可生效。
修复了在聊天机器人断开连接时一次性临时上下文事件丢失的问题;该刷新会延迟到重新连接后执行。
修复了音频重采样器除零错误,该错误可能在报告无效采样率时发生。
修复了 Convai 编辑器更新检查,使其能够正确检测 V4 发布版本,并修复了编辑器主题初始化。
4.0.0-beta.21
动画和手势
全面重做了随附的 MetaHuman 动画。
新增了由 LLM 发出的角色动作自动触发的手势和指向动画。
新增了已复制的
PointAtTarget以及LookAtTarget在聊天机器人组件上。
对象感知和凝视
新增了
UConvaiObjectComponent,用于标记 Actor,并将其实时属性作为上下文暴露给聊天机器人。新增了由凝视驱动的注意力:玩家视线下的 Actor 会成为关注对象,并带有轮廓高亮和屏幕光标。
新增了由接近驱动的状态:当对象组件从聊天机器人的 pawn 可达时会进行报告,以便机器人作出反应。
动作
在蓝图图表中新增了右键条目“Create Convai Action Handler”,用于搭建类型化动作处理器。
新增了内容浏览器操作“Setup Convai Pawn Movement”,可在任何 pawn 蓝图上植入导航默认值。
为动作新增了组件和插槽目标定位,以及每条目的移动覆盖。
改进了动作完成流程:处理器可以等待机器人语音结束后再执行下一个动作,在同一次调用中发布动态上下文事件,并干净地中止不可恢复的序列。
为枚举和选择类动作参数新增了模糊匹配,因此轻微的 LLM 拼写偏差不再会丢失动作。
将动作线格式切换为
{name}花括号,并带来更可靠的响应解析。在聊天机器人环境中默认启用动作。
音频和口型同步
在项目设置和连接请求中新增了 VAD(语音活动检测)参数。
改进了语句尾部音频处理,以减少软尾辅音的削波。
通过在帧短暂停止到达时使用饥饿回退,提高了口型同步稳定性。
修复了麦克风热插拔,因此会话中途切换设备不再需要重启流。
其他改进
新增了 Convai 身份验证缓存,因此后续连接不会从头重新认证。
新增了
GetBodyAndFaceSkeletalMeshComponents用于解析 MetaHuman 和 CC5 骨架的辅助函数。
错误修复和兼容性
修复了 Android 在应用关闭时崩溃的问题。
修复了 UE 5.0 / 5.4 / 5.5 / 5.7 中的若干编译和兼容性问题,使插件可在所有受支持的引擎版本上干净构建。
在 UE 5.1 及更早版本上禁用了 Convai 编辑器 UI(其所依赖的属性绑定编辑器功能在那里不可用)。
在 UE 5.0 下重新生成了凝视高亮材质,因此该资源可在所有受支持的引擎版本中加载。
4.0.0-beta.19
与 WebRTC 的动作集成:聊天机器人现在在连接时发送
action_config,当bEnableActions开启时,并将结构化动作响应负载解析为类型化动作序列。重构了
环境来自UConvaiEnvironmentUObject 为FConvaiEnvironmentDataUSTRUCT。聊天机器人针对对象、角色和动作提供了更细粒度的 Add/Remove/Clear 方法;去抖动的场景元数据刷新;bFlushImmediately用于对时间敏感更新的高级选择加入。将旧版
MainCharacter拆分为ConversationPartner(已复制、感知场景)和LookAtTarget(仅动画)。新的bAutoFillConversationPartnerFromPlayer切换会自动用第一个已注册的 Convai Player 组件填充伙伴。新版
SetObjectInAttention沿用动态上下文刷新,并在Environment.Objects中缺失时自动注册该条目。新增了
bEnableActions聊天机器人切换。Environment.Actions默认由移动到,跟随,停止移动,以及等待.Actions V2 — 类型化动作模板:
FConvaiAction带有结构化Parameters通过EConvaiActionParamType进行类型化。可选连接词用于复合动作,Choices用于固定列表约束,或EnumType从一个UENUM.中抽取选择项。统一的动作结果形状:
FConvaiResultAction.Parameters中的TMap<FString, FConvaiResultParam>。旧版RelatedObjectOrCharacter和ConvaiExtraParams保留为已弃用的镜像。新的 Blueprint-pure 访问器:
Get First Param,获取参数,获取参数类型,Get Param As String/Number/Bool/Ref/Byte,是否有参数.HandleActionCompletion新增了可选的附加说明和ShouldRespond。新的AbortActionSequence接受可选的EventText并清空队列而不重试。移除了
EnableNewActionSystem全局切换——动作队列路径现在始终开启。向后兼容性:旧版
UConvaiEnvironment和UConvaiActionContext被恢复为已弃用的兼容层,因此旧蓝图图表仍可编译,但会带有弃用警告。
4.0.0-beta.18
新增了 Android 打包支持。
新增了聊天机器人交互的动态上下文批处理和日志记录,以减少冗余更新。
新增了饥饿混合和可播放帧检查,以提升口型同步稳定性。
新增了用于口型同步动画参数和模拟冻结功能的命令行覆盖项。
为
ConvaiUtils.新增了自定义参数处理和客户端版本获取。
增强了 FaceSync Animation Node 中的组件解析,在搜索
UConvaiChatbotComponent.时会包含父 Actor。
RunLLM参数重命名为ShouldRespond,以提高清晰度,适用于上下文更新方法中的 API。更新了口型同步计时行为,以实现更好的音频/动画对齐。当前源默认值为
LipSyncTimeOffset为0.02秒(20 毫秒)。更新了动态上下文去抖动行为,以提升批处理一致性。当前源设置为
ContextDebounceWindow,默认值为0.5之后推进到重构了叙事触发处理,以简化上下文处理。
4.0.0-beta.17
优化了 MetaHuman Face Animation Blueprint 中的口型同步计算性能。
改进了音频播放时间估算,并移除了已弃用的
FSoundSource缓存。增强了音频结束检测的容差,以避免浮点舍入边界情况。
在调试模式下为音频流和面部同步组件新增了性能计时统计。
新增了详细的音频播放调试日志。
改进了音频捕获清理,以确保组件销毁和结束播放期间安全释放资源。
通过改用弱指针,修复了异步任务中潜在的悬空引用。
修复了 Convai 客户端断开连接期间的重入回调。
修复了在
BeginDestroy中因聊天机器人和玩家组件的跨对象委托清理而导致的崩溃。修复了玩家转录内容无法正确追加的问题。
新增了情绪提供器管线。
修复了
ConvaiConnectionConfig与 DLL 的结构布局不匹配问题。
3.x 版本发布
下一步
快速开始最后更新于
这有帮助吗?