企业官网建设流程全解析

什么网站比较容易做权重,运营推广策略有哪些,计算机网络技术课程,深圳网站建设公司哪里有文章详细介绍了大模型应用开发的三种模式#xff1a;提示工程、RAG和微调#xff0c;重点解析了RAG技术的核心原理、流程、优势与局限性。通过DeepSeekFaiss实例展示了本地知识库检索系统的搭建方法#xff0c;包括文档预处理、知识库构建和问答查询流程。文章还探讨了Query…文章详细介绍了大模型应用开发的三种模式提示工程、RAG和微调重点解析了RAG技术的核心原理、流程、优势与局限性。通过DeepSeekFaiss实例展示了本地知识库检索系统的搭建方法包括文档预处理、知识库构建和问答查询流程。文章还探讨了Query改写技术包括上下文依赖型、对比型、模糊指代型和反问型改写以及Query联网搜索功能的实现旨在提升RAG系统的检索准确性和回答质量。一、大模型应用开发的三种模式提示工程Prompt Engineering、RAG检索增强生成和微调Fine-tuning分别代表了不同维度的优化手段。提示工程 (Prompt Engineering)不改变模型通过优化输入Prompt来引导输出。一般用于快速原型开发需要立即看到效果。通用任务总结、翻译、改写、简单的逻辑推理。改变语气或格式如“请以专业律师的口吻回复”或“输出 JSON 格式”。预算极低几乎没有额外成本。RAG (检索增强生成)在模型回答前先去外部数据库如公司文档、实时新闻检索相关知识再把知识喂给模型。一般用于需要准确的事实需要模型回答特定的、私有的或最新的信息如“我公司去年的差旅报销规定”。知识库频繁更新数据每天甚至每小时都在变微调无法跟上这种速度。需要引用来源用户需要知道答案是从哪篇文档里找出来的减少“幻觉”。长文本处理数据量巨大超出了单个提示词的长度限制。微调 (Fine-tuning)使用特定领域的数据集对模型进行二次训练改变其内部参数权重。一般用于特定的行为/风格习惯你需要模型极度符合某种特定风格如模仿某个作家的文风。极度专业的术语模型在理解特定垂直领域如病理学影像报告、底层代码库的特殊表达时表现不佳。为了降本增效通过微调一个小模型如 Llama-3-8B使其表现接近大模型如 GPT-4从而降低推理成本和延迟。遵循复杂指令当提示工程无法让模型稳定遵循某些及其复杂的输出规则时。二、RAG的核心原理与流程1、什么是RAGRAG (Retrieval-Augmented Generation检索增强生成) 是目前大模型应用中最火热的技术架构之一。RAG是一种结合信息检索Retrieval和文本生 成Generation的技术RAG技术通过实时检索相关文档或信息并将其作为上下文输入到生成模型中从而提高生成结果的时效性和准确性。简单来说RAG 就是给大模型配了一个“外部知识库”。当用户提问时系统先去知识库里查资料把查到的资料和问题一起喂给模型让模型参考这些资料来回答。RAG的优势解决知识时效性问题大模型的训练数据通常是静态的无法涵盖最新信息而RAG可以检索外部知识库实时更新信息。减少模型幻觉通过引入外部知识RAG能够减少模型生成虚假或不准确内容的可能性。提升专业领域回答质量RAG能够结合垂直领域的专业知识 库生成更具专业深度的回答。2、RAG的核心原理与流程RAG 的核心思想是将检索Retrieval能力与生成Generation能力结合。传统生成 (LLM Only) 靠模型脑子里记的知识回答闭卷考试。如果知识点没学过或记错了就会胡说八道幻觉。RAG 生成 先找资料再根据资料组织语言回答开卷考试。这样回答更准确且能通过引文溯源。一个完整的 RAG 流程通常分为两个阶段数据准备阶段离线和检索生成阶段在线。第一阶段数据准备文档加载 (Load)读取各种格式的私人文档PDF、Word、Markdown、数据库等。文本切割 (Split/Chunking)将长文章切成一小块一小块的“语义片段”比如每段 500 字因为模型的输入窗口有限。向量化 (Embedding)利用Embedding 模型将这些文字片段转化成一串数字向量。这些数字代表了文字的“语义含义”。存入向量数据库 (Store)将这些向量存入专门的向量数据库如 Milvus, Pinecone, FAISS 等。第二阶段检索与生成这是当用户输入问题后的实时处理过程问题向量化把用户的提问比如“公司出差报销标准是什么”也转化成向量。语义检索 (Retrieve)在向量数据库中进行“相似度搜索”找出与问题语义最接近的几个文档片段Top-K。提示词增强 (Augment)将“用户问题”和“搜到的片段”塞进一个模板里。 *模板示例“请参考以下背景资料资料A回答用户的问题[用户问题]。如果资料中没有提到请回答不知道。”模型生成 (Generate)大模型阅读这些“背景资料”生成一个准确且有据可依的回答。RAG 流程图解用户问题➔向量化➔去数据库捞资料➔问题资料组合➔大模型➔最终答案3、RAG的核心优势与局限性核心优势解决“幻觉”问题模型必须参考给定的资料回答大大降低了瞎编的概率。知识实时性不需要重新训练模型。只要把最新的新闻或文档存入数据库模型立刻就能掌握新知识。私有数据安全企业不需要把敏感数据传给云端模型进行微调只需在本地检索后将相关片段传给模型。可解释性模型的回答可以标注出处例如“根据《2023年财务手册》第三章…”方便人工核对。虽然 RAG 很强但也有挑战检索质量如果搜出来的片段本身就不相关模型就会被带偏。上下文长度如果需要参考的资料太多超出了模型的处理能力效果会打折。三、DeepSeek Faiss搭建本地知识库检索该系统的核心逻辑是将文档向量化并存入 Faiss查询时通过相似度匹配找出相关内容最后交给 DeepSeek 进行总结回答。技术栈选择向量数据库Faiss作为高效的向量检索嵌入模型阿里云DashScope的text-embedding-v1大语言模型deepseek-v3文档处理PyPDF2用于PDF文本提取1、环境准备首先安装必要的 Python 库pip install dashscope faiss-cpu PyPDF2 openai numpy langchain_community2、核心代码实现整个流程分为文档预处理PDF文本提取、文本分割、页码映射处理→知识库构建向量数据库构建、数据持久化→问答查询相似度检索、问答链处理、答案生成与展示from PyPDF2 import PdfReader from langchain_text_splitters import RecursiveCharacterTextSplitter from langchain_community.embeddings import DashScopeEmbeddings from langchain_community.vectorstores import FAISS from typing import List, Tuple import os import pickle DASHSCOPE_API_KEY os.getenv(DASHSCOPE_API_KEY) if not DASHSCOPE_API_KEY: raise ValueError(请设置环境变量 DASHSCOPE_API_KEY) def extract_text_with_page_numbers(pdf) - Tuple[str, List[Tuple[str, int]]]: 从PDF中提取文本并记录每个字符对应的页码 参数: pdf: PDF文件对象 返回: text: 提取的文本内容 char_page_mapping: 每个字符对应的页码列表 text char_page_mapping [] for page_number, page in enumerate(pdf.pages, start1): extracted_text page.extract_text() if extracted_text: text extracted_text # 为当前页面的每个字符记录页码 char_page_mapping.extend([page_number] * len(extracted_text)) else: print(fNo text found on page {page_number}.) return text, char_page_mapping def process_text_with_splitter(text: str, char_page_mapping: List[int], save_path: str None) - FAISS: 处理文本并创建向量存储 参数: text: 提取的文本内容 char_page_mapping: 每个字符对应的页码列表 save_path: 可选保存向量数据库的路径 返回: knowledgeBase: 基于FAISS的向量存储对象 # 创建文本分割器用于将长文本分割成小块 text_splitter RecursiveCharacterTextSplitter( separators[\n\n, \n, ., , ], chunk_size1000, chunk_overlap200, length_functionlen, ) # 分割文本 chunks text_splitter.split_text(text) print(f文本被分割成 {len(chunks)} 个块。) # 创建嵌入模型 embeddings DashScopeEmbeddings( modeltext-embedding-v1, dashscope_api_keyDASHSCOPE_API_KEY, ) # 从文本块创建知识库 knowledgeBase FAISS.from_texts(chunks, embeddings) print(已从文本块创建知识库。) # 为每个文本块找到对应的页码信息 page_info {} current_pos 0 for chunk in chunks: chunk_start current_pos chunk_end current_pos len(chunk) # 找到这个文本块中字符对应的页码 chunk_pages char_page_mapping[chunk_start:chunk_end] # 取页码的众数出现最多的页码作为该块的页码 if chunk_pages: # 统计每个页码出现的次数 page_counts {} for page in chunk_pages: page_counts[page] page_counts.get(page, 0) 1 # 找到出现次数最多的页码 most_common_page max(page_counts, keypage_counts.get) page_info[chunk] most_common_page else: page_info[chunk] 1 # 默认页码 current_pos chunk_end knowledgeBase.page_info page_info print(f页码映射完成共 {len(page_info)} 个文本块) # 如果提供了保存路径则保存向量数据库和页码信息 if save_path: # 确保目录存在 os.makedirs(save_path, exist_okTrue) # 保存FAISS向量数据库 knowledgeBase.save_local(save_path) print(f向量数据库已保存到: {save_path}) # 保存页码信息到同一目录 with open(os.path.join(save_path, page_info.pkl), wb) as f: pickle.dump(page_info, f) print(f页码信息已保存到: {os.path.join(save_path, page_info.pkl)}) return knowledgeBase def load_knowledge_base(load_path: str, embeddings None) - FAISS: 从磁盘加载向量数据库和页码信息 参数: load_path: 向量数据库的保存路径 embeddings: 可选嵌入模型。如果为None将创建一个新的DashScopeEmbeddings实例 返回: knowledgeBase: 加载的FAISS向量数据库对象 # 如果没有提供嵌入模型则创建一个新的 if embeddings is None: embeddings DashScopeEmbeddings( modeltext-embedding-v1, dashscope_api_keyDASHSCOPE_API_KEY, ) # 加载FAISS向量数据库添加allow_dangerous_deserializationTrue参数以允许反序列化 knowledgeBase FAISS.load_local(load_path, embeddings, allow_dangerous_deserializationTrue) print(f向量数据库已从 {load_path} 加载。) # 加载页码信息 page_info_path os.path.join(load_path, page_info.pkl) if os.path.exists(page_info_path): with open(page_info_path, rb) as f: page_info pickle.load(f) knowledgeBase.page_info page_info print(页码信息已加载。) else: print(警告: 未找到页码信息文件。) return knowledgeBase # 读取PDF文件 pdf_reader PdfReader(./浦发上海浦东发展银行西安分行个金客户经理考核办法.pdf) # 提取文本和页码信息 text, char_page_mapping extract_text_with_page_numbers(pdf_reader) print(f提取的文本长度: {len(text)} 个字符。) # 处理文本并创建知识库同时保存到磁盘 save_dir ./vector_db knowledgeBase process_text_with_splitter(text, char_page_mapping, save_pathsave_dir) # 示例如何加载已保存的向量数据库 from langchain_community.llms import Tongyi llm Tongyi(model_namedeepseek-v3, dashscope_api_keyDASHSCOPE_API_KEY) # qwen-turbo # 设置查询问题 query 客户经理被投诉了投诉一次扣多少分 if query: # 执行相似度搜索找到与查询相关的文档 docs knowledgeBase.similarity_search(query,k10) # 构建上下文 context \n\n.join([doc.page_content for doc in docs]) # 构建提示 prompt f根据以下上下文回答问题:{context} 问题: {query} # 直接调用 LLM response llm.invoke(prompt) print(response) print(来源:) # 记录唯一的页码 unique_pages set() # 显示每个文档块的来源页码 for doc in docs: text_content getattr(doc, page_content, ) source_page knowledgeBase.page_info.get( text_content.strip(), 未知 ) if source_page not in unique_pages: unique_pages.add(source_page) print(f文本块页码: {source_page})五、Query改写RAG 的核心在于“检索-生成”。如果第一步“检索”就走偏了那么后续的“生成”质量也会降低。用户提出的问题往往是口语化的、承接上下文的、模糊的甚至是包含了情绪的。 而知识库里的文本切片/Chunks通常是陈述性的、客观的。因此需要一个翻译官的角色将用户的“口语化查询”转换成“书面化、精确的检索语句”1、上下文依赖型Query改写instruction “” 你是一个智能的查询优化助手。请分析用户的当前问题以及前序对话历史判断当前问题是否依赖于上下文。 如果依赖请将当前问题改写成一个独立的、包含所有必要上下文信息的完整问题。 如果不依赖直接返回原问题。 “”prompt f“”###指令###{instruction}###对话历史###{conversation_history}###当前问题###{current_query}###改写后的问题###“”例如2、对比型Query改写instruction “” 你是一个查询分析专家。请分析用户的输入和相关的对话上下文识别出问题中需要进行比较的多个对象。然后将原始问题改写成一个更明确、更适合在知识库中检索的对比性查询。 “”prompt 同上3、模糊指代型Query改写instruction “” 你是一个消除语言歧义的专家。请分析用户的当前问题和对话历史找出问题中都、“它”、“这个” 等模糊指代词具体指 向的对象。 然后将这些指代词替换为明确的对象名称生成一个清晰、无歧义的新问题。 “”prompt 同上4、反问型Query改写instruction “” 你是一个沟通理解大师。请分析用户的反问或带有情绪的陈述识别其背后真实的意图和问题。 然后将这个反问改写成一个中立、客观、可以直接用于知识库检索的问题。 “”prompt 同上六、Query联网搜索RAG 系统的 Query 联网搜索功能是将 RAG 的检索源从“本地静态向量库”扩展到了“动态的互联网”。核心流程5步法查询分析与重写 (Query Analysis)模型判断用户的问题是否需要联网意图识别。如果需要它会将自然语言问题改写成适合搜索引擎的“关键词”。用户问“DeepSeek 刚发的那个模型咋样”改写后“DeepSeek-V3 评测 性能 参数介绍”执行搜索 (Web Search)调用搜索 API获取搜索结果列表标题、Snippet、URL。直接用 Google/Baidu 的 HTML 结果给大模型看太乱了。现在流行使用专为 LLM 设计的搜索引擎 API它们直接返回干净的 JSON 或纯文本。Tavily是目前最火的 AI 搜索 API专为 RAG 优化直接返回清洗好的答案片段不用自己写爬虫。网页抓取与清洗 (Scraping Parsing)访问具体的 URL把网页里的广告、导航栏去掉只提取正文内容。上下文组装 (Context Construction)把清洗后的网页内容作为 Context。生成回答 (Generation)LLM 根据网页内容回答用户并附上链接。AI时代未来的就业机会在哪里答案就藏在大模型的浪潮里。从ChatGPT、DeepSeek等日常工具到自然语言处理、计算机视觉、多模态等核心领域技术普惠化、应用垂直化与生态开源化正催生Prompt工程师、自然语言处理、计算机视觉工程师、大模型算法工程师、AI应用产品经理等AI岗位。掌握大模型技能就是把握高薪未来。那么普通人如何抓住大模型风口AI技术的普及对个人能力提出了新的要求在AI时代持续学习和适应新技术变得尤为重要。无论是企业还是个人都需要不断更新知识体系提升与AI协作的能力以适应不断变化的工作环境。因此这里给大家整理了一份《2026最新大模型全套学习资源》包括2026最新大模型学习路线、大模型书籍、视频教程、项目实战、最新行业报告、面试题、AI产品经理入门到精通等带你从零基础入门到精通快速掌握大模型技术由于篇幅有限有需要的小伙伴可以扫码获取1. 成长路线图学习规划要学习一门新的技术作为新手一定要先学习成长路线图方向不对努力白费。这里我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。2. 大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。书籍含电子版PDF3. 大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。4. 大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。5. 大模型行业报告行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。6. 大模型面试题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。为什么大家都在学AI大模型随着AI技术的发展企业对人才的需求从“单一技术”转向 “AI行业”双背景。企业对人才的需求从“单一技术”转向 “AI行业”双背景。金融AI、制造AI、医疗AI等跨界岗位薪资涨幅达30%-50%。同时很多人面临优化裁员近期科技巨头英特尔裁员2万人传统岗位不断缩减因此转行AI势在必行这些资料有用吗这份资料由我们和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。大模型全套学习资料已整理打包有需要的小伙伴可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】