在 TypeScript 中构建自定义 UI
在原生 TypeScript 中基于 Convai Web SDK 构建你自己的聊天界面,包含连接状态、消息、角色语音和媒体控制。
在……之上构建你自己的聊天界面 ConvaiClient 而不是使用预构建的小部件。当小部件不符合你的设计时,请使用此页面。最终,你的页面会建立连接、显示对话、播放角色的语音,并切换麦克风。
前提条件
@convai/web-sdk已安装。参见 开始使用原生 TypeScript.Convai API 密钥或认证令牌,以及一个角色 ID。
添加标记
<div id="status">未连接</div>
<button id="connect">连接</button>
<button id="mic" disabled>取消静音</button>
<div id="chat"></div>
<input id="input" type="text" placeholder="输入消息" disabled />
<button id="send" disabled>发送</button>
<script type="module" src="/src/main.ts"></script>连接客户端
下面的脚本会在点击时连接,并使控件与 stateChange保持同步, messagesChange渲染来自 AudioRenderer.
console.error('麦克风切换失败:', error); 在默认的 WebRTC 传输上,麦克风默认处于关闭状态,除非你设置startWithAudioOn: true try.
在 WebSocket 传输上播放音频
使用 transport: 'websocket',该传输会播放语音;无需额外连接。Pipecat 的 WebSocket 传输会通过其自身的 Web Audio 播放器播放角色的音频,因此自定义 UI 无需 AudioRenderer 并且没有 botAudioTrack 监听器:
此处的 botAudioTrack 该事件不会在此传输上触发,因此一个 AudioRenderer 为其创建的对象会保持静默,不会造成任何影响。
参见 使用 WebSocket 传输 用于其余设置。
添加摄像头和屏幕共享控件
摄像头和屏幕共享需要视频连接。请在客户端配置中设置 enableVideo: true ,然后调用这些控件:
读取 client.videoControls.isVideoEnabled 和 client.screenShareControls.isScreenShareActive 以此为按钮设置标签,或订阅 videoStateChange 和 screenShareStateChange 同一控制对象上的
验证界面
点击 连接。状态显示 connected,一旦角色就绪,输入框即可启用,输入的消息会同时在聊天中和语音中得到回复。点击麦克风按钮并说话:你的话语会以转录文本形式出现,角色会作出回应。
后续步骤
在 TypeScript 中处理事件和消息ConvaiClient 参考在原生 TypeScript 中添加口型同步最后更新于
这有帮助吗?