Não implemente grandes modelos localmente, a Mistral está lançando um pacote de API gratuito para desenvolvedores com conectividade doméstica direta!

Notícias sobre IAPublicado há 10 meses Sharenet.ai
1.3K 0
吐司AI

Não acesse a ONE-API e solicite várias contas como uma carga de serviço de teste! Uma coisa é antiética e a outra é bloqueada.

 

A MistralAI lançou o pacote gratuito da API há alguns dias, mas tem hesitado em enviá-lo. O motivo é que a Mistral tem enganado repetidamente os desenvolvedores.... ...No final de agosto, foi dito que a API não estaria disponível em setembro sem a assinatura do plano, mas, no dia 17 de setembro, ela disponibilizou diretamente a maioria dos modelos gratuitamente.

 

Acesse diretamente o site https://console.mistral.ai/ e vá para a página de faturamento para abri-la.

Para participar do plano gratuito, primeiro você precisa ser verificado por telefone, o que eu fiz aqui. Usando o Google Virtual Number, também é possível inserir números de telefones celulares nacionais, mas eu não tentei.

不要在本地部署大模型了,Mistral为开发者推出免费API套餐,国内可直连!

 

Depois de meio dia procurando por limitações no pacote gratuito, não consegui encontrar nenhuma, e finalmente encontrei uma descrição das limitações dos tipos de modelos que podem ser usados, como segue:

Mistral Há dois tipos de modelos disponíveis: modelos gratuitos e modelos premium.

Modelos avançados

ModeloDisponibilidade de pesoDisponível via APIDescriçãoMáximo TokensPontos de extremidade da APIVersão
Mistral Large✔️
Licença de pesquisa Mistral
✔️Nosso modelo de raciocínio de alto nível para tarefas de alta complexidade, com a última versão v2 lançada em julho de 2024. Saiba mais em nosso postagem no blog128kmistral-large-latest24.07
Mistral Small✔️
Licença de pesquisa Mistral
✔️Nosso modelo pequeno de nível empresarial mais recente, com a última versão v2 lançada em setembro de 2024. Saiba mais em nosso postagem no blog32kmistral-small-latest24.09
Codestral✔️
Licença de não produção Mistral
✔️Nosso modelo de linguagem de ponta para codificação, lançado em maio de 202432kcodestral-latest24.05
Mistral Embed✔️Nossa semântica de última geração para extrair a representação de extratos de texto8kmistral-embed23.12

Modelos gratuitos

  • Modelos mais recentes
ModeloDisponibilidade de pesoDisponível via APIDescriçãoTokens máximosPontos de extremidade da APIVersão
Pixtral✔️
Apache2
✔️Um modelo 12B com recursos de compreensão de imagem, além de texto. Saiba mais em nosso postagem no blog128kpixtral-12b-240924.09
  • modelo de teste
ModeloDisponibilidade de pesoDisponível via APIDescriçãoTokens máximosPontos de extremidade da APIVersão
Mistral Nemo✔️
Apache2
✔️Nosso melhor modelo multilíngue de código aberto lançado em julho de 2024. Saiba mais em nosso postagem no blog128kopen-mistral-nemo24.07
Mamba Codestral✔️
Apache2
✔️Nosso primeiro modelo de código aberto do mamba 2, lançado em julho de 2024. Saiba mais em nosso postagem no blog256kopen-codestral-mambav0.1
Mathstral✔️
Apache2
Nosso primeiro modelo matemático de código aberto foi lançado em julho de 2024. Saiba mais em nosso postagem no blog32kNAv0.1
  • modelo desatualizado
ModeloDisponibilidade de pesoDisponível via APIDescriçãoTokens máximosPontos de extremidade da APIVersão
Mistral 7B✔️
Apache2
✔️Nosso primeiro modelo denso será lançado em setembro de 2023. Saiba mais em nosso postagem no blog32kopen-mistral-7bv0.3
Mixtral 8x7B✔️
Apache2
✔️Nossa primeira mistura esparsa de especialistas, lançada em dezembro de 2023. Saiba mais em nosso postagem no blog32kopen-mixtral-8x7bv0.1
Mixtral 8x22B✔️
Apache2
✔️Nosso melhor modelo de código aberto até o momento, lançado em abril de 2024. Saiba mais em nosso postagem no blog64kopen-mixtral-8x22bv0.1

 

Parece que os gratuitos estão disponíveis, solicite o formato de endereço: https://api.mistral.ai/v1/chat/completions

Em seguida, basta criar a chave e usá-la:

不要在本地部署大模型了,Mistral为开发者推出免费API套餐,国内可直连!

 

Observação: a API deles não é compatível com parâmetros de penalidade; você pode fazer com que um trabalhador a bloqueie, caso contrário, ela poderá ser anormal em muitos terminais.

不要在本地部署大模型了,Mistral为开发者推出免费API套餐,国内可直连!

 

Os scripts de trabalhadores de campo não são compatíveis com a filtragem mistral (atualização do processamento entre domínios):

/**
* Welcome to Cloudflare Workers! This is your first worker.
*
* - Run "npm run dev" in your terminal to start a development server
* - Open a browser tab at http://localhost:8787/ to see your worker in action
* - Run "npm run deploy" to publish your worker
*
* Learn more at https://developers.cloudflare.com/workers/
*/


export default {
async fetch(request, env) {
// 处理预检请求
if (request.method === 'OPTIONS') {
return handleOptions(request);
}

const url = new URL(request.url);
url.host = 'api.mistral.ai';

let body;
try {
// 获取 body 数据并解析为 JSON
body = await request.json();
} catch (error) {
return new Response('Invalid JSON', { status: 400 });
}

// 定义支持字段列表
const allowedFields = ['model', 'messages', 'temperature', 'top_p', 'max_tokens', 'min_tokens', 'stream', 'stop', 'random_seed','response_format','tools','tool_choice','safe_prompt'];

// 过滤 body 中不在支持字段列表中的字段
const filteredBody = filterFields(body, allowedFields);

const newBody = JSON.stringify(filteredBody);
const modifiedRequest = new Request(url, {
method: request.method,
body: newBody,
headers: request.headers
});

return fetch(modifiedRequest);
}
}
// 过滤不支持参数
function filterFields(obj, allowedFields) {
let result = {};
for (const key in obj) {
if (allowedFields.includes(key)) {
result[key] = obj[key];
}
}
return result;
}
// 处理预检请求的函数
function handleOptions(request) {
const headers = {
'Access-Control-Allow-Origin': '*', // 允许所有来源
'Access-Control-Allow-Methods': 'GET, POST, OPTIONS', // 允许的方法
'Access-Control-Allow-Headers': 'Content-Type, Authorization', // 允许的头部
'Access-Control-Max-Age': '86400', // 预检请求的缓存时间(秒)
};

return new Response(null, {
status: 204,
headers: headers
});
}

 

O modelo de código livre requer uma solicitação de chave separada para uso

不要在本地部署大模型了,Mistral为开发者推出免费API套餐,国内可直连!

 

Embora existam muitos modelos com preço baixo e bom desempenho (DeepSeek), e até mesmo APIs gratuitas para modelos grandes (Wisdom Spectrum), os modelos gratuitos devem ser selecionados entre os melhores.

O Mistral tem um modelo de código especializado Codestral, o conteúdo acima foi introduzido, a classificação do LMSYS é bastante alta, você pode acessar o Cursor para tentar usar a sensação de que está tudo bem.

不要在本地部署大模型了,Mistral为开发者推出免费API套餐,国内可直连!
© declaração de direitos autorais
AiPPT

Artigos relacionados

Sem comentários

nenhum
Nenhum comentário...