OpenAI-o3 与 Monte-Carlo 思想

OpenAI-o3 and Monte-Carlo Ideas

o3 来了,分享一些个人的浅见。关于 Test-time Scaling Law 的进展,比我们想象中的要快得多。但我想说的是,这条路其实有些曲折——它是 OpenAI 在追求 AGI 的道路上,采取...
5mos ago
08600
朴素、有效的RAG检索策略:稀疏+密集混合检索并重排,并利用“提示缓存”为文本块生成整体文档相关的上下文

Simple, effective RAG retrieval strategy: sparse + dense hybrid search and rearrangement, and use "cue caching" to generate overall document-relevant context for text chunks.

为了让 AI 模型在特定场景中发挥作用,它通常需要访问背景知识。例如,客户支持聊天机器人需要了解其服务的具体业务,而法律分析机器人需要掌握大量的过往案例。 开发者通常使用检索增强生成(Retrieva...
5mos ago
09880
Late Chunking×Milvus:如何提高RAG准确率

Late Chunking x Milvus: How to Improve RAG Accuracy

01.背景 在RAG应用开发中,第一步就是对于文档进行chunking(分块),高效的文档分块,可以有效的提高后续的召回内容的准确性。而对于如何高效的分块是个讨论的热点,有诸如固定大小分块,随机大小分...
6mos ago
09980