问题从哪里开始
当用户举起手、问“这是几”，文字聊天会丢掉一半上下文。应用需要连接摄像头感知、语言理解、语音与角色状态反馈。
我做了什么
通过 KKChatBot 系列探索前后端、多模态输入和角色化反馈的集成。公开仓库保留了 Vue 3、FastAPI、手势识别和聊天界面的实现。
自然的交互，需要理解用户说了什么，也看见他正在做什么。
三个工程决策
01
把视觉作为上下文
使用 MediaPipe 手势识别，把近期视觉信息接入对话逻辑。
02
为确定性事件安排短路径
对特定手势设置直接响应路径，减少不必要的模型等待；不把文档中的速度描述当作实测指标。
03
让状态可以被感知
通过思考、说话等角色素材与流式反馈表达系统状态，同时考虑打断和挂断交互。
走到了哪一步
- 公开仓库包含前后端代码、容器部署配置与交互文档。
- 保留角色说话、思考等视频素材；下方可播放的短片仅演示角色素材，不连接模型或摄像头。
- 没有采用未经核验的准确率、延迟、用户量或上线规模。
验证与边界
公开代码与项目文档；不声明生产使用规模
角色素材短片
公开项目中的角色动画。可离线播放；不是实时 AI 对话或产品性能演示。
接下来
补充可复现的多模态交互录屏和端到端评测，明确各输入路径的体验与失败处理。
项目说明依据已核对的仓库、实验记录与本人确认整理。
内容核对：2026.10.28