AI Engineering Institute: 3Fine-tuning (Feinabstimmung von großen Sprachmodellen)
📚 Aufbau der Datenbank
| Modelle/Katalog | Beschreibung und Inhalt |
|---|---|
| Axolotl | Ein Rahmen für die Feinabstimmung von Sprachmodellen |
| Gemma | Googles neueste Implementierung des Big Language Model |
- finetune-gemma.ipynb - gemma-sft.py - Gemma_finetuning_notebook.ipynb | Feinabstimmung von Notizbüchern und Skripten |
| LLama2 | Metas Open-Source-Modell für große Sprachen |
- generate_response_stream.py - Llama2_finetuning_notebook.ipynb - Llama_2_Fine_Tuning_using_QLora.ipynb | Leitlinien für die Umsetzung und Feinabstimmung |
| Llama3 | Kommende Experimente mit Meta Large Language Modelling |
- Llama3_finetuning_notebook.ipynb | Erste Versuche zur Feinabstimmung |
| LlamaFactory | Ein Rahmen für das Training und den Einsatz großer Sprachmodelle |
| LLMArchitektur/ParameterZahl | Technische Details der Modellarchitektur |
| Mistral-7b | Mistral AI Das Modell mit 7 Milliarden Parametern |
- LLM_evaluation_harness_for_Arc_Easy_and_SST.ipynb - Mistral_Colab_Finetune_ipynb_Colab_Final.ipynb - notebooks_chatml_inference.ipynb - notebooks_DPO_fine_tuning.ipynb - notebooks_SFTTrainer TRL.ipynb - SFT.py | Integriertes Notizbuch für Bewertung, Feinabstimmung und Argumentation |
| Mixtral | Mixtrals Modell der Expertenmischung |
- Mixtral_fine_tuning.ipynb | Feinabstimmung der Umsetzung |
| VLM | visuelles Sprachmodell |
- Florence2_finetuning_notebook.ipynb - PaliGemma_finetuning_notebook.ipynb | Implementierung des visuellen Sprachmodells |
🎯 Modulübersicht
1. die LLM-Architektur
- Untersuchen Sie die folgenden Modellimplementierungen:
- Llama2 (das quelloffene Modell von Meta)
- Mistral-7b (effizientes Modell mit 7 Milliarden Parametern)
- Mixtral (Expert Mixture Architecture)
- Gemma (der neueste Beitrag von Google)
- Llama3 (bevorstehendes Experiment)
2. 🛠️ Feinabstimmungstechnologie
- Umsetzungsstrategie
- LoRA-Methodik (Low Rank Adaptation)
- Fortgeschrittene Optimierungsmethoden
3. 🏗️ Analyse der Modellarchitektur
- Eine eingehende Untersuchung der Struktur des Modells
- Methode zur Berechnung der Parameter
- Überlegungen zur Skalierbarkeit
4. 🔧 Berufliche Entfaltung
- Code Llama für Programmieraufgaben
- Visuelle Sprachmodellierung:
- Florenz2
- PaliGemma
5. 💻 Praktische Anwendungen
- Integriertes Jupyter-Notebook
- Pipeline zur Erzeugung von Reaktionen
- Leitfaden zur Implementierung von Reasoning
6. 🚀 Erweiterte Themen
- DPO (Optimierung der Direktpräferenz)
- SFT (überwachte Feinabstimmung)
- Methodik der Bewertung
© urheberrechtliche Erklärung
Der Artikel ist urheberrechtlich geschützt und darf nicht ohne Genehmigung vervielfältigt werden.
Ähnliche Artikel
Keine Kommentare...
Deutsch 
简体中文 
English 
日本語 
한국어 
Español 
Français 
Português do Brasil