视觉

查找在 Unity 中为 Convai 角色添加实时场景视觉的指南，包括帧源、发布策略、脚本和故障排查。

Vision 使 Convai 角色能够看到 Unity 场景中正在发生的事情。帧源会从 Unity 摄像机、物理网络摄像头或 Meta Quest 透视直通画面中捕获图像，SDK 会通过 WebRTC 将它们连同音频对话一起流式传输到 Convai。

平台支持

平台	支持的帧源	说明
PC / Mac / 主机	CameraVisionFrameSource, WebcamVisionFrameSource	完整 RenderTexture 管线；最高 30 fps
Android / iOS	CameraVisionFrameSource, WebcamVisionFrameSource	Webcam 源在启动时请求摄像头权限
WebGL	（Canvas，自动）	canvas.captureStream() 路径——不需要帧源组件；帧率上限为 15 fps； 需要 HTTPS
Meta Quest 3 / 3S	QuestVisionFrameSource	需要 Meta XR SDK 和 horizonos.permission.HEADSET_CAMERA

Vision 需要 ConvaiRoomManager.Connection Type 设置为 视频。如果它被设置为 音频, ConvaiVisionPublisher 无论其他组件如何配置，它都保持空闲。

WebGL：需要 HTTPS。 该 canvas.captureStream() 浏览器会在非 HTTPS 来源上阻止该 API。 http://localhost 是唯一的例外。在生产环境中测试 Vision 之前，请先将你的 WebGL 构建部署到 HTTPS 主机。

视觉工作原理 了解管线架构、关键概念、组件放置以及启动顺序。

视觉快速入门 通过逐步的 Inspector 演示，让角色接收实时摄像头画面——无需编写代码。

视觉帧源 为每个平台和用例配置 CameraVisionFrameSource、WebcamVisionFrameSource 和 QuestVisionFrameSource。

发布策略 选择发布策略，调整帧率和比特率，并了解包括 WebGL 在内的平台特定行为。

Vision 调试预览 将当前活动帧源可视化为屏幕叠加层，并在 Editor 中监控捕获状态。

自定义帧源 实现 IVisionFrameSource 以发布任何自定义视频管线——接口约定、Y 轴翻转要求以及最小实现。

Vision scripting API ConvaiVisionPublisher 的属性和方法、运行时状态监控，以及用于分析集成的领域事件。

视觉使用示例 面向安全培训、设备入门、VR 漫游以及手动触发会话的端到端示例。

排查视觉问题 使用结构化检查清单和决策树诊断发布失败、空白画面、权限错误以及平台特定问题。

下一步

从以下开始 视觉快速入门 以从场景摄像机获取可用流，然后使用 视觉帧源 来为你的平台选择正确的捕获方法。有关管线详情，请参见 视觉工作原理.