Tokenization(分词标记化)

Tokenização

各位好,今天我们要探讨大型语言模型(LLM)中的分词技术。遗憾的是,分词在当前顶尖的LLM中是一个比较复杂且棘手的部分,但理解它的某些细节非常必要,因为很多人将LLM的一些缺点归咎于神经网络或其他显得...
4 meses atrás
01.5K0
多样本(示例)越狱攻击

Ataque de jailbreak do Multibook (exemplo)

研究人员研究了一种“越狱攻击”技术——这种方法可以被用来绕过大语言模型 (LLM) 开发者设置的安全护栏。这项技术被称为“多样本越狱攻击”,在 Anthropic 自身模型以及其他 AI 公司生产的模...
4 meses atrás
06260
一文说清楚 知识蒸馏 (Distillation):让“小模型”也能拥有“大智慧”

Um artigo claro sobre Destilação de Conhecimento (Destilação): permitir que o "modelo pequeno" também possa ter "grande sabedoria".

A destilação de conhecimento é uma técnica de aprendizado de máquina que visa transferir o aprendizado de um modelo grande pré-treinado (ou seja, um "modelo de professor") para um "modelo de aluno" menor. As técnicas de destilação podem nos ajudar a desenvolver modelos generativos mais leves para diálogo inteligente, criação de conteúdo e outras áreas. Recentemente ...
4 meses atrás
01.1K0
什么是 Transformer?

O que é Transformer?

O Transformer é uma arquitetura de modelo de aprendizagem profunda para processamento de linguagem natural (NLP), proposta por Vaswani et al. em 2017. Ele é usado principalmente para processar tarefas de sequência a sequência, como tradução automática, geração de texto etc. Simples...
4 meses atrás
09490
PDL:声明式提示词编程语言

PDL: linguagem de programação declarativa de palavras solicitadas

Resumo Os Modelos de Linguagem Grande (LLMs) despertaram grande interesse em todo o mundo, possibilitando muitos aplicativos de IA que antes eram ilusórios. Os LLMs são controlados por solicitações textuais altamente expressivas e retornam respostas textuais. No entanto, essa entrada e saída de texto não estruturado faz com que os aplicativos baseados em LLM...
4 meses atrás
01.1K0