OpenAI-o3 与 Monte-Carlo 思想

OpenAI-o3 与 Monte-Carlo 思想

o3 来了,分享一些个人的浅见。关于 Test-time Scaling Law 的进展,比我们想象中的要快得多。但我想说的是,这条路其实有些曲折——它是 OpenAI 在追求 AGI 的道路上,采取...
hace 5 meses
08600
朴素、有效的RAG检索策略:稀疏+密集混合检索并重排,并利用“提示缓存”为文本块生成整体文档相关的上下文

朴素、有效的RAG检索策略:稀疏+密集混合检索并重排,并利用“提示缓存”为文本块生成整体文档相关的上下文

为了让 AI 模型在特定场景中发挥作用,它通常需要访问背景知识。例如,客户支持聊天机器人需要了解其服务的具体业务,而法律分析机器人需要掌握大量的过往案例。 开发者通常使用检索增强生成(Retrieva...
hace 5 meses
09880
小白也能看懂的大模型微调知识点

小白也能看懂的大模型微调知识点

大模型微调全流程 建议在微调过程中严格按照以上流程执行,避免跳步,否则可能导致无效劳动。比如,如果没有充分构建数据集,最终发现微调模型效果不佳是数据集质量的问题,那么前期的努力将付诸东流,事倍功半...
hace 5 meses
09080