什么是 Convai Unreal Engine 插件
了解 Convai Unreal Engine 插件为项目添加了什么：Blueprint 组件、实时语音管线以及可选功能扩展。
Convai Unreal Engine 插件将 Unreal Engine 5 项目连接到 Convai，使场景中的角色能够实时说话、倾听、推理并行动。玩家可以对着麦克风说话或发送文本；插件会捕获输入，将其流式传输到 Convai 进行语音识别和语言理解，使用文本转语音生成回复，并通过角色播放，同时同步口型、面部情绪以及可选的场景内动作。该插件面向构建训练模拟、交互式体验和游戏的 Unreal 开发者。
包含内容
该插件附带完整的对话流水线和一组可选启用的功能附加项。
对话流水线
连接后始终处于活动状态：
实时语音输入 — 通过
UConvaiAudioCaptureComponent进行麦克风采集，并通过 WebRTC 流式传输到 Convai语言理解与生成 — Convai 处理语音并以角色身份回应
文本转语音播放 — 由 Convai 生成的语音，通过
UConvaiChatbotComponent
功能附加项
可选启用，每项都通过 Blueprint 或 Details 面板进行配置：
角色动作 — 角色执行结构化的场景内命令（
Move To,Follow、自定义），由 Convai 下发动态上下文 — 在运行时将实时世界状态和事件推送到角色知识中
情绪 — Convai 从对话中推断情绪，并驱动角色上的 blendshape 表情
长期记忆 — 角色使用终端用户 ID 记住每位玩家的跨会话信息
叙事设计 — 通过 Blueprint 按名称触发脚本化的对话分支和片段
场景元数据 — 为关卡 Actor 添加标签，使角色能够识别并对其采取行动
视觉 — 将摄像机帧流式传输到 Convai，使角色能够描述所见内容
目光关注 — 将玩家视线方向上的对象作为上下文传递给当前角色
口型同步 — Convai 提供的面部动画数据驱动 blendshape 嘴部动作，并与语音音频同步，支持可选的
基于 Viseme,MetaHuman Blendshapes,ARKit Blendshapes以及CC4 扩展 Blendshapes模式，以适配不同骨骼/绑定
编辑器工具
“ ConvaiEditor ”模块增加了编辑器内配置窗口，用于设置 API 密钥、角色仪表板浏览器，以及 Blueprint 图表实用工具，例如 创建 Convai 动作处理器 右键菜单项。
与 Convai 的关系
Convai 托管语言模型、语音合成、叙事设计引擎、长期记忆存储以及角色配置。该插件是一个客户端集成层：它从玩家处捕获音频或文本，通过 WebRTC 流式传输到 Convai，并将回复传回角色的音频和动画流水线。
该插件在游戏进程内运行客户端集成逻辑，包括会话路由、音频播放、动作处理、动态上下文、目光关注和场景元数据。它不包含本地语言模型或 Convai 决策引擎。角色配置和对话决策仍保留在 Convai 中，因此仪表板端的更改无需重新编译 Unreal 项目。
语音 → Convai → 角色 流程
UConvaiPlayerComponent 捕获麦克风音频并通过玩家会话代理发送。 UConvaiChatbotComponent 保存一个角色会话代理。 UConvaiSubsystem 拥有底层的 Convai 客户端，并在这些代理与 Convai 之间路由数据。聊天机器人接收回复数据，并协调音频播放、口型同步处理以及 Blueprint 动作处理器。
以 Blueprint 为先的设计
主要的游戏流程都暴露给 Blueprint 图表。虽然也可以使用 C++，但它是次要的；大多数项目可以通过 Blueprint 组件、事件和可调用节点构建角色逻辑，然后仅在需要项目特定扩展时使用 C++。
要求
如需完整的平台和引擎版本支持矩阵，请参阅兼容性和要求。
后续步骤
安装插件并添加你的第一个 AI 角色。
在开始构建之前，如需了解模块和组件结构，请参阅架构页面。
如需在单页中概览所有功能及其对应指南链接，请参阅功能地图。
最后更新于
这有帮助吗？