Multimodal real-time interactive products

General Introduction RealtimeVoiceChat is an open source project focused on real-time, natural conversations with artificial intelligence via voice. Users use a microphone to input their voice, and the system captures the audio through a browser, quickly converts it to text, and a large-scale language model (LLM) generates back...

综合介绍 Stepsailor 是一个专为开发者打造的工具，核心是一个 AI 命令栏。开发者可以用它让自己的软件产品听懂用户的话，比如用户说“添加新任务”，软件就自动执行。它通过简单的 SDK 集成到...

综合介绍 OpenAvatarChat 是由 HumanAIGC-Engineering 团队开发的一个开源项目，托管在 GitHub 上。它是一个模块化的数字人对话工具，用户可以在单台 PC 上运行...

General Introduction VideoMind is an open source multimodal AI tool focused on inference, Q&A and summary generation for long videos. It was developed by Ye Liu of the Hong Kong Polytechnic University and a team from Show Lab at the National University of Singapore. The tool mimics human understanding of video...

综合介绍 MoshiVis 是 Kyutai Labs 开发的一个开源项目，托管在 GitHub 上。它基于 Moshi 语音-文本模型（7B 参数），新增了约 2.06 亿个适配参数和冻结的 Pal...

综合介绍 Qwen2.5-Omni 是阿里巴巴云 Qwen 团队开发的一款开源多模态 AI 模型。它能处理文本、图像、音频和视频等多种输入，并实时生成文本或自然语音响应。这款模型于 2025 年 3 ...

综合介绍 xiaozhi-esp32-server 是一个为 小智AI聊天机器人（xiaozhi-esp32）提供后端服务的工具。它用 Python 编写，基于 WebSocket 协议，帮助用户快速...

综合介绍 Baichuan-Audio 是由百川智能（baichuan-inc）开发的一个开源项目，托管于 GitHub 上，专注于端到端的语音交互技术。该项目提供了一个完整的音频处理框架，能够将语音...

综合介绍 PowerAgents 是一个专注于网页自动化任务的AI智能体平台，用户可以通过它创建并部署能够点击、输入和提取数据的AI智能体。该平台支持将任务设置为按小时、天或周自动运行，用户还能实时观...

Comprehensive Introduction Step-Audio is an open source intelligent speech interaction framework designed to provide out-of-the-box speech understanding and generation capabilities for production environments. The framework supports multi-language dialog (e.g., Chinese, English, Japanese), emotional speech (e.g., happy, sad), regional dialects (e.g., Cantonese, Szechuan ...

综合介绍 Gemini Cursor 是一个基于 Google 的 Gemini 2.0 Flash（实验性）模型的桌面智能助手。它能够通过多模态 API 实现视觉、听觉和语音交互，提供实时低延迟的用...

综合介绍 DeepSeek-VL2 是一系列高级的 Mixture-of-Experts (MoE) 视觉语言模型，显著提升了其前身 DeepSeek-VL 的性能。该模型在视觉问答、光学字符识别、文...

综合介绍 AI Web Operator 是一个开源的 AI 浏览器操作工具，旨在通过集成多种 AI 技术和 SDK，简化用户在浏览器中的操作体验。该工具基于 Browserbase 和 Vercel...

综合介绍 SpeechGPT 2.0-preview 是 OpenMOSS 推出的首个拟人化实时交互系统，基于百万小时级语音数据训练而成。该系统具备拟人口语化表达与百毫秒级低延迟响应，支持自然流畅的实...

综合介绍 OpenAI Realtime Agents是一个开源项目，旨在展示如何利用OpenAI的实时API来构建多智能体的语音应用。它提供了高级的智能体模式（借鉴 OpenAI Swarm），允许...

综合介绍 百聆（Bailing）是一个开源的语音对话助手，旨在通过语音与用户进行自然的对话。该项目结合了语音识别（ASR）、语音活动检测（VAD）、大语言模型（LLM）和语音合成（TTS）技术，实现了...

综合介绍 Weebo 是一个开源的实时语音聊天机器人，利用 Whisper Small 进行语音识别，Llama 3.2 进行自然语言生成，以及 Kokoro-82M 进行语音合成。该项目由 Aman...

综合介绍 OmAgent是由Om AI Lab开发的一个多模态智能体框架，旨在为智能设备提供强大的AI驱动功能。该项目通过整合最先进的多模态基础模型和智能体算法，使开发者能够在各种智能设备上创建高效...

综合介绍 Always-On AI Assistant是一个创新的AI助手项目，它通过整合Deepseek-V3、RealtimeSTT和Typer等先进技术，打造了一个功能强大的永久在线AI助理系统...