企业官网建设流程全解析

网站开发设计有哪些,wordpress get请求,嵌入式开发面试题,制作网站一般是多大在 RAG、推荐系统、搜索引擎等场景中#xff0c;粗排#xff08;Coarse-grained Ranking#xff09; 和 精排#xff08;Fine-grained Ranking#xff09; 是一套 **“先海选、再精选”** 的两级检索排序策略#xff0c;核心目的是在保证检索效率的前提下#xff0c;大幅…在 RAG、推荐系统、搜索引擎等场景中粗排Coarse-grained Ranking和精排Fine-grained Ranking是一套 **“先海选、再精选”** 的两级检索排序策略核心目的是在保证检索效率的前提下大幅提升结果的精准度。简单类比粗排 简历初筛HR 快速扫一遍简历把 “学历、工作年限” 达标的候选人挑出来不纠结细节精排 复试面试对初筛通过的候选人深入考察专业技能、项目经验最终确定录用名单。在 RAG 的向量检索流程中这套策略尤其适合海量数据场景比如向量库中有百万 / 千万级文档片段直接全局精排会严重拖慢速度两级排序能兼顾 “快” 和 “准”。一、粗排快速筛选缩小范围1. 核心目标从全量向量数据中快速筛选出与问题 “可能相关” 的候选集过滤掉明显不相关的数据减少后续精排的计算量。2. 技术特点计算速度快采用轻量级模型 / 规则不追求高精度只做 “快速过滤”向量检索中常用近似最近邻ANN算法比如 Milvus 的 IVF_FLAT、HNSW牺牲一点点精度换速度其他场景也可以用关键词匹配、标签过滤等简单规则比如用户问 Spark直接过滤掉 Hadoop 相关文档。召回率优先粗排要保证 “不漏掉潜在相关数据”所以筛选条件比较宽松候选集的数量通常是最终需要结果的10~100 倍比如要最终返回 10 条结果粗排先选出 200 条候选。3. 在 RAG 中的应用示例假设 Milvus 中有 100 万条技术文档向量用户提问 “Spark 宽依赖和窄依赖的区别”粗排步骤用问题向量通过 HNSW 算法检索快速返回200 条候选片段耗时毫秒级这些片段都和 Spark 相关但可能包含部署、调优、依赖关系等不同内容。二、精排精准排序择优输出1. 核心目标对粗排筛选出的候选集进行精细化相关性计算最终按 “与问题的匹配度” 排序选出最相关的 Top-K 结果。2. 技术特点计算精度高采用更复杂的模型 / 算法深入计算 “问题与候选片段” 的语义相关性向量检索中常用余弦相似度、点积等精准度量方式或引入交叉编码器Cross Encoder—— 专门用于计算 “文本对” 的相关性得分比单向 Embedding 更精准其他场景也可以用深度学习模型如 BERT 变体建模问题与文本的深层语义关联。效率要求低因为候选集已经被粗排缩小所以即使精排算法复杂整体耗时也可控。3. 在 RAG 中的应用示例对粗排选出的 200 条 Spark 相关候选片段精排步骤 1用 Cross Encoder 计算 “用户问题 ↔ 每个候选片段” 的相关性得分置信度精排步骤 2按得分从高到低排序选出 Top-5 最相关的片段比如直接讲解依赖关系的文档最终把这 5 条片段传给大模型生成答案。三、粗排 精排的完整流程RAG 场景用户提问 → 问题向量化 → 粗排ANN 检索全量数据选出 N 条候选 → 精排Cross Encoder 计算相关性选出 K 条 Top 结果 → 传给大模型生成答案阶段核心算法目标速度精度粗排近似最近邻HNSW/IVF、关键词过滤快速召回候选集快毫秒级较低精排余弦相似度、交叉编码器Cross Encoder精准排序候选集中等百毫秒级较高四、为什么需要两级排序只做粗排速度快但结果精度低可能混入很多弱相关数据影响 RAG 效果只做精排对全量数据逐一计算精准相似度在海量数据下速度极慢比如千万级数据需要几秒甚至几十秒无法满足实时检索需求粗排 精排平衡了效率和精度是海量数据场景下的最优解。五、实操小技巧LangChain Milvus 实现粗排 精排粗排用 Milvus 的 HNSW 索引做近似检索获取候选集精排用 LangChain 的CrossEncoderReranker对候选集重新排序。from langchain.retrievers import ContextualCompressionRetriever from langchain.retrievers.document_compressors import CrossEncoderReranker from langchain_community.cross_encoders import HuggingFaceCrossEncoder from langchain_community.vectorstores import Milvus # 1. 初始化 Milvus 粗排检索器 vector_db Milvus(...) coarse_retriever vector_db.as_retriever(search_kwargs{k: 200}) # 粗排召回 200 条 # 2. 初始化精排重排器用 HuggingFace 的 Cross Encoder 模型 model HuggingFaceCrossEncoder(model_nameBAAI/bge-reranker-base) compressor CrossEncoderReranker(modelmodel, top_n5) # 精排选 Top-5 # 3. 组合粗排精排 compression_retriever ContextualCompressionRetriever( base_retrievercoarse_retriever, base_compressorcompressor ) # 4. 检索 docs compression_retriever.get_relevant_documents(Spark 宽依赖和窄依赖的区别)