什么是 Convai Unreal Engine 插件
了解 Convai Unreal Engine 插件为项目添加了什么：Blueprint 组件、实时语音管线以及可选功能扩展。
最后更新于
这有帮助吗？
了解 Convai Unreal Engine 插件为项目添加了什么：Blueprint 组件、实时语音管线以及可选功能扩展。
Convai Unreal Engine 插件将 Unreal Engine 5 项目连接到 Convai，使场景中的角色能够实时说话、倾听、推理并行动。玩家可以对着麦克风说话或发送文本；插件会捕获输入，将其流式传输到 Convai 进行语音识别和语言理解，使用文本转语音生成回应，并将其播放到角色上，同时同步口型、面部情绪以及可选的场景内动作。该插件面向正在构建训练模拟、交互式体验和游戏的 Unreal 开发者。
该插件附带完整的对话流程以及一组可选启用的功能附加项。
连接后始终处于激活状态：
实时语音输入 —— 通过 UConvaiAudioCaptureComponent将麦克风采集内容流式传输到 Convai
语言理解与生成 —— Convai 处理语音并以角色身份回应
文本转语音播放 —— 由 Convai 生成语音，并通过 UConvaiChatbotComponent
可选启用，每项均可通过 Blueprint 或 Details 面板配置：
角色动作 —— 角色执行结构化的场景内命令（移动到, 跟随，自定义），由 Convai 下发
动态上下文 —— 在运行时将实时世界状态和事件推送到角色知识中
情绪 —— Convai 从对话中推断情绪，并驱动角色的 blendshape 表情
长期记忆 —— 角色使用终端用户 ID 记住每位玩家的跨会话信息
叙事设计 —— 在 Blueprint 中按名称触发脚本化对话分支和章节
场景元数据 —— 为关卡 Actor 添加标签，使角色能够感知并对其采取行动
视觉 —— 将摄像机画面流式传输到 Convai，使角色能够描述所见内容
注视注意力 —— 将玩家注视方向上的对象作为上下文路由给当前活动角色
口型同步 —— 由 Convai 提供的面部动画数据驱动 blendshape 口部运动，与语音音频同步，并可选择 基于 Viseme, MetaHuman 混合形状, ARKit 混合形状，以及 CC4 扩展混合形状 适用于不同绑定的模式
该 ConvaiEditor 模块在编辑器中添加了一个配置窗口，用于设置 API 密钥、角色仪表板浏览器，以及 Blueprint 图表实用工具，例如 创建 Convai 动作处理器 右键菜单项。
Convai 托管语言模型、语音合成、叙事设计引擎、长期记忆存储以及角色配置。该插件是一个客户端集成层：它捕获玩家的音频或文本，通过 WebRTC 将其流式传输到 Convai，并把响应返回到角色的音频和动画流程中。
该插件在游戏进程内运行客户端集成逻辑，包括会话路由、音频播放、动作处理、动态上下文、注视注意力和场景元数据。它不包含本地语言模型或 Convai 决策引擎。角色配置和对话决策仍保留在 Convai 中，因此仪表板端的更改无需重新编译 Unreal 项目。
UConvaiPlayerComponent 捕获麦克风音频并通过玩家会话代理发送。 UConvaiChatbotComponent 持有一个角色会话代理。 UConvaiSubsystem 拥有底层的 Convai 客户端，并在这些代理与 Convai 之间路由数据。聊天机器人接收响应数据，并协调音频播放、口型同步处理以及 Blueprint 动作处理器。
主要的游戏流程都通过 Blueprint 图表暴露出来。C++ 访问是可用的，但属于次要；大多数项目可以通过 Blueprint 组件、事件和可调用节点构建角色逻辑，然后仅在项目特定扩展时使用 C++。
Unreal Engine
5.0
平台
Win64, Android
网络
可连接到 Convai 的互联网连接
API 密钥
账户 https://convai.com
Android 需要处理麦克风权限。该插件将 AndroidPermission 引擎插件作为依赖项，并在连接到 Convai 时自动请求 RECORD_AUDIO 权限。
有关完整的平台和引擎版本支持矩阵，请参阅兼容性和要求。
安装插件并添加你的第一个 AI 角色。
在开始构建前，如需了解模块和组件结构，请参阅架构页面。
如需在一个页面中概览所有功能并查看对应指南的链接，请参阅功能地图。
最后更新于
这有帮助吗？
这有帮助吗？