RWKV Runner: ferramenta de gerenciamento do modelo de linguagem em larga escala de código aberto RWKV

Introdução geral

O RWKV-Runner é uma ferramenta de gerenciamento e lançamento projetada especificamente para modelos RWKV, com o objetivo de fornecer uma ferramenta de gerenciamento e lançamento de RWKV fácil de usar. Ela é totalmente automatizada e compacta, com apenas 8 MB de tamanho, e oferece uma interface compatível com a API OpenAI.

Desenvolvido por josStorer, um membro da comunidade de código aberto RWKV. A ferramenta foi projetada para remover as barreiras ao uso de modelos de idiomas grandes e fornecer uma solução totalmente automatizada. O rWKV-Runner é pequeno, exigindo apenas alguns MB, e fornece uma interface compatível com a API do OpenAI, possibilitando a todos os usuários do RWKV a utilização de modelos de idiomas grandes. ChatGPT Os clientes estão disponíveis como clientes RWKV. O RWKV é um modelo de linguagem grande com desempenho comparável ao GPT, suporta treinamento direto como o GPT Transformer e é totalmente de código aberto e disponível comercialmente.

Lista de funções

• Gerenciamento totalmente automatizadoGerenciamento automático da inicialização e do gerenciamento dos modelos RWKV sem a necessidade de configuração manual pelo usuário.
• classe de peso leve (no atletismo)O tamanho do programa é de apenas alguns MB, o que o torna adequado para uma grande variedade de dispositivos.
• Compatível com a API da OpenAIInterface: fornece uma interface compatível com a API OpenAI para facilitar a integração com os sistemas existentes.
• Suporte a vários idiomasChinês simplificado, inglês e japonês são suportados.
• Suporte a várias plataformasCompatível com os sistemas Windows, MacOS e Linux.
• Aceleração CUDA personalizadaSuporte à aceleração personalizada do kernel CUDA para melhorar o desempenho e reduzir o uso de memória.
• Implementação do servidorSuporte à implantação do backend-python no servidor, e os clientes podem usá-lo simplesmente conectando-se ao servidor.

Usando a Ajuda

Visite o repositório do GitHub para obter instruções de instalação
Assista ao vídeo tutorial de instalação para obter instruções práticas
Confira a documentação no site oficial da RWKV

página inicial

Interface de bate-papo

Conclusão da interface de continuação

Tela de composição

Interface de configuração

Interface de gerenciamento de modelos

Ajuste fino da interface

Processo de instalação

1. Baixar o RWKV-Runner::
   • entrevistas Repositórios do GitHub Faça o download da versão mais recente do RWKV-Runner.
   • Selecione o pacote de instalação correspondente de acordo com o sistema operacional (Windows, MacOS, Linux).
2. Instalar o RWKV-Runner::
   • Usuários do Windows: Descompacte o arquivo ZIP baixado, execute o arquivo RWKV-Runner.exe.
   • Usuários do MacOS: Descompacte o arquivo ZIP baixado, execute o arquivo RWKV-Runner.app.
   • Usuários do Linux: descompacte o arquivo TAR baixado, execute o comando ./RWKV-Runner.
3. Configuração do RWKV-Runner::
   • Abra o RWKV-Runner e vá para a página Settings (Configurações).
   • Se você precisar se conectar ao servidor, preencha o endereço do servidor para API URL Médio.

Processo de uso

1. Iniciando o RWKV-Runner::
   • Clique duas vezes para executar o programa e aguarde a conclusão do carregamento.
   • O programa detecta e carrega automaticamente o modelo RWKV.
2. Usando a interface da API OpenAI::
   • Localize a seção API Configuration (Configuração da API) na página Settings (Configurações).
   • Preencha os parâmetros relevantes da API OpenAI na posição correspondente e salve as configurações.
3. Aceleração CUDA personalizada::
   • Vá para a página de configuração e localize a opção de aceleração CUDA.
   • Ative ou desative a aceleração personalizada do kernel CUDA conforme necessário.
4. Execução de tarefas::
   • Selecione o tipo de tarefa que precisa executar (por exemplo, bate-papo, escrita, composição, etc.) na tela principal.
   • Ajuste os parâmetros da API (por exemplo, temperatura, Top_P, etc.) de acordo com os requisitos da tarefa.
   • Clique no botão Iniciar e aguarde a conclusão da tarefa.
5. Implementação do servidor::
   • Baixe e instale o backend-python no servidor.
   • Configure o endereço do servidor e os parâmetros relacionados.
   • Preencha o endereço do servidor nas configurações do cliente para se conectar ao servidor.

problemas comuns

• O programa não pode ser iniciado.Verifique se você fez o download do pacote de instalação correto para garantir a compatibilidade do sistema.
• Exceção de aceleração CUDATente desativar a aceleração personalizada do kernel CUDA ou atualizar o driver da GPU.
• Falha na solicitação de APIVerifique se a API está configurada corretamente e se a conexão de rede está funcionando.

Edição especial do RWKV Automatic Novel Writing (25G)

Um verdadeiro modelo de escrita de romances dedicados com várias rodadas totalmente automatizadas de romances contínuos.

链接：https://pan.quark.cn/s/f078738521d5
提取码：42Us