Ichigo（llama3-s）：本地实时语音AI助手，开源版Siri

일반 소개

Ichigo是一个开源的实时语音AI项目，旨在扩展基于文本的语言模型，使其具备原生的“听力”能力。该项目采用了早期融合技术，灵感来自Meta的Chameleon论文。Ichigo的目标是成为一个开源数据、开源权重的本地设备语音助手，类似于Siri。项目正在公开进行，欢迎合作伙伴加入，共同推动语音数据集的众包工作。

기능 목록

• 实时语音识别：能够实时处理和理解用户的语音输入。
• 多轮对话能力：支持多轮对话，能够在对话中保持上下文。
• 噪音处理：通过训练，能够拒绝处理非语音音频输入，提高用户体验。
• 开源和可扩展：项目代码和模型权重完全开源，用户可以自由下载和扩展。
• 本地部署：支持在本地设备上部署，保护用户隐私。

도움말 사용

설치 프로세스

1. 환경 준비 ::
   • 确保已安装Python 3.8或以上版本。
   • 安装必要的依赖库：pip install -r requirements.txt.
2. 下载模型 ::
   • 使用以下命令下载Ichigo模型：

     git clone https://github.com/homebrewltd/ichigo.git
     cd ichigo
     pip install -e .
     

3. 配置数据集 ::
   • 从HuggingFace下载所需的数据集，并在配置文件中设置数据集路径。
4. 启动Demo ::
   • 使用以下命令启动本地Gradio Demo：

     python demo.py --use-4bit --use-8bit
     

사용 프로세스

1. 서비스 시작 ::
   • 运行上述命令后，访问本地提供的URL，进入Ichigo的Web UI界面。
2. 语音输入 ::
   • 在Web UI界面中，点击麦克风图标开始录音，系统将实时处理并显示语音识别结果。
3. 多轮对话 ::
   • 系统支持多轮对话，用户可以连续输入语音，系统将保持上下文进行理解和回应。
4. 噪音处理 ::
   • 系统经过训练，能够识别并拒绝处理非语音音频输入，确保识别结果的准确性。
5. 自定义扩展 ::
   • 用户可以根据需要修改代码和模型，添加新的功能或改进现有功能。

세부 운영 절차

1. 다운로드 및 설치 ::
   • 访问Ichigo的GitHub页面，按照安装流程下载并安装必要的依赖和模型。
2. 配置和启动 ::
   • 根据项目提供的配置文件，设置数据集路径和模型参数，启动本地服务。
3. 使用Web UI ::
   • 通过Web UI界面进行语音输入和交互，体验Ichigo的实时语音识别和多轮对话功能。
4. 扩展和定制 ::
   • 根据项目文档和代码注释，了解系统的架构和工作原理，进行自定义扩展。