AI-Wissensdatenbank

导读 本文档旨在通过一系列提示词示例（部分），帮助读者快速理解并掌握提示词工程的核心概念与应用。这些示例均源自于一篇关于提示工程技术系统综述的学术论文（《The Prompt Report: A Sy...

各位好，今天我们要探讨大型语言模型（LLM）中的分词技术。遗憾的是，分词在当前顶尖的LLM中是一个比较复杂且棘手的部分，但理解它的某些细节非常必要，因为很多人将LLM的一些缺点归咎于神经网络或其他显得...

《Titans: Learning to Memorize at Test Time》原文：https://arxiv.org/pdf/2501.00663v1 Titans 架构 非官方实现：htt...

对于任何需要检索增强生成 (RAG) 系统的应用来说，将海量 PDF 文档变成机器能读懂的文本块（也就是 “PDF 分块”）都是个让人头疼的大难题。 市面上既有开源的方案，也有商业化的产品，但说实话...

OpenAI Function calling V2 特点 Function calling V2 的核心目标是赋予 OpenAI 模型与外部世界交互的能力，主要体现在以下两个核心功能： 数据获取 ...

研究人员研究了一种“越狱攻击”技术——这种方法可以被用来绕过大语言模型 (LLM) 开发者设置的安全护栏。这项技术被称为“多样本越狱攻击”，在 Anthropic 自身模型以及其他 AI 公司生产的模...

概述 自定义指令功能让您可以分享您希望ChatGPT在回应中考虑的任何信息。 您的指令将应用于新的对话中。 可用性 所有终端 网络、iOS 和 Android 您的数据的使用方式 您可以随时为...

介绍 和许多其他人一样，在过去几天里，我的新闻推送充斥着关于中国制造的 DeepSeek-R1 大语言模型的新闻、赞扬、抱怨和猜测，该模型于上周发布。该模型本身正被拿来与 OpenAI、Meta 等公...

原文：https://cdn.openai.com/o3-mini-system-card.pdf 1 引言 OpenAI o 模型系列使用大规模强化学习进行训练，以使用思维链进行推理。这些先进的推理...

文章速读 文章全面而深入地探讨了 大语言模型 (LLM) 规模定律（缩放法则/Scaling Law）的前世今生，以及 AI 研究的未来方向。作者 Cameron R. Wolfe 以清晰的逻辑和丰富...

摘要 大型语言模型（LLMs），如OpenAI的GPT-4、Google的PaLM和Meta的LLaMA，通过实现类人文本生成和自然语言理解，极大地改变了人工智能（AI）。然而，它们对静态训练数据的依...

人工智能（AI）是一个迅速发展的领域。语言模型已经发展到能够让AI Agent执行复杂任务和做出复杂决策。然而，随着这些Agent的技能不断提升，支持它们的基础设施难以跟上。 LangGraph，这是...

知识蒸馏是一种机器学习技术，目的是将预先训练好的大型模型（即 "教师模型"）的学习成果转移到较小的 "学生模型 "中。蒸馏技术可以帮助我们开发更轻量化的生成模型，用于智能对话、内容创作等领域。 最近 ...

Transformer 是一种用于自然语言处理 (NLP) 的深度学习模型架构, 由 Vaswani 等人在 2017 年提出. 它主要用于处理序列到序列的任务, 如机器翻译, 文本生成等. 简单...

CORAG 的主要贡献总结 CORAG（Cost-Constrained Retrieval Optimization for Retrieval-Augmented Generation）是一种...

最近，许多从事大模型训练和推理的朋友都在讨论模型参数量和模型大小之间的关系。例如，著名的羊驼系列 LLaMA 大模型，就包含了 LLaMA-7B、LLaMA-13B、LLaMA-33B 和 LLaMA...

摘要 大语言模型（LLMs）已在全球引发广泛关注，使得许多以前难以实现的AI应用成为可能。LLM通过高度表达性的文本提示进行控制并返回文本答案。然而，这种输入和输出的不结构化文本使基于LLM的应用程序...

原文：https://arxiv.org/pdf/2412.15479 解读：此文章本身创新不多，应用意义也不大。不过，让我想起很久很久以前阅读的三篇高含金量的文章，阅读此文结合之前的三篇文章，希望给...

原文：https://arxiv.org/pdf/2309.04269 速读：《从稀疏到密集：使用链式密度提示的GPT-4摘要生成》 收录到：总结知识常用prompts 摘要 在自动文本摘要中，确...