企业官网建设流程全解析

精品课程网站,企业网站推广的重要性,网站设计和平面设计,小学课程建设网站目标0 前言 当我们有着数千上万本证券研究报告#xff0c;即使使用标题关键字搜索#xff0c;依旧存在着不少对应的研报#xff0c;此时只能一本一本地去阅读去筛选#xff0c;十分消耗脑力#xff0c;那么能不能使用大模型来代替我们的操作#xff0c;让它给出相对完整的答案…0 前言当我们有着数千上万本证券研究报告即使使用标题关键字搜索依旧存在着不少对应的研报此时只能一本一本地去阅读去筛选十分消耗脑力那么能不能使用大模型来代替我们的操作让它给出相对完整的答案并给出引用我们直接看这些引用的文章来获取细节即可。本文首先概述了 RAG 的原理与优势同时面向个人应用对主流的开源 RAG 产品进行选择然后介绍基于深度文档解析的 RagFlow 知识库产品与如何在 Mac M1 进行源码部署最后对 RAG 系统的缺点和近期流行的长文本模型进行简短的探讨。一、RAG 的原理与优势RAG 系统Retrieval-Augmented Generation system是一种自然语言处理技术这种方法区别于原生大语言模型它通过外挂知识库来协助大模型解决一些问题不仅提高了回答的准确性和一致性同时还能避免敏感信息被大模型直接学习而出现信息泄露风险。它结合了搜索引擎和原生大模型的优点工作流程类似于传统搜索引擎的两阶段模式分为语义检索和召回生成两大过程首先系统根据用户的提问转换为 embedding 从向量数据库中检索出语义相似信息然后配合大模型通过喂入检索召回的 top-k 个文本信息与相应提示词来生成归纳回答。其中检索系统能提供具体、相关的事实和数据而生成模型则能够灵活地构建回答并融入更广泛的语境和信息。这种结合使得 RAG 系统在处理复杂的查询和生成信息丰富的回答方面非常有效被广泛应用于需要高质量文本生成和信息查询的场景如智能客服、问答系统和内容生成等领域。RAG 技术的相较于原生的大模型具有如下几种天然的优势减轻幻觉问题RAG 通过检索外部信息来辅助大模型回答问题能显著减少生成信息不准确的问题增加回答的可追溯性与解释性。保护数据隐私RAG 可以将知识库作为外部组件来管理企业或机构的私有数据进而避免数据在微调阶段被模型学习后以不可控的方式泄露。信息的实时性RAG 允许从外部数据源实时检索信息并添加至知识库使得系统回复可以获取当前最新的、领域特定的知识解决知识时效性问题。搭建的性价比RAG 通过外挂业务知识库即可使大模型得到当前业务的知识拓展无需进行高成本的模型微调优化操作。可见RAG 系统对于个人搭建本地私有化金融知识库来说是一个性价比最好的解决方案。二、RAG 开源系统选择如果你是一个资深程序爱好者你可能在想该如何搭建出对应的 RAG 系统这里我也提前进行了调查。简单来说RAG 系统主要由 RAG引擎、前端页面、向量数据库、语言大模型和外部搜索引擎这五块部件组成因此我们只要确定每个部件的开发工具就可以自行构建下面认为合理的组合RAG引擎langchain前端页面chainlit向量数据库elasticsearch语言大模型qwen2外部搜索引擎searxnglangchain 是一个为自然语言模型应用到构建提供诸多功能接口的框架chainlit 是用于快速开发和部署对话系统的开源工具elasticsearch 是一个支持全文搜索和分析的分布式向量数据库qwen2 是阿里巴巴开源的国产大模型经过调研它是中文、日文和金融综合能力最高的开源模型searxng 是能够整合多个搜索引擎结果的元搜索引擎。那么有人问我没有精力去搭建一个系统那怎么办别担心我也调研了现在比较主流的开源 RAG 系统它们都是端到端的产品开箱即用。目前有AnythingLLMRagFlowopen-webuiQAnythingFastGPTMaxKBLangchain-Chatchat这些开源系统都有着各自的特点我虽然都进行了体验但由于篇幅就不一一列举了简单来说AnythingLLM 可以配合 LMStuido 完成应用程序的配合使用只需下载无需编程知识open-webui 是小M最喜欢的界面使用体验也是最好的但是文本解析依旧有短板FastGPT 具有许多友好的接口设置方便用户将应用部署到诸如微信等其余平台提供功能服务。这里还有一个待解决的问题那就是上述系统只是提供了 RAG 使用环境对于大模型的选择是需要用户自行确定的这里主要有模型厂家的收费接口和本地部署大模型权重两种选择。一般而言对于大多数人如果没有使用大模型权重进行任务开发的需求的话建议使用收费接口即可因为随着国内私募幻方旗下的 DeepSeek 开始打起价格战国内模型厂家的收费接口也开始更加低廉大约每百万的 tokens 只是收费三四块人民币。同时使用接口也无需担忧硬件限制导致的模型文本生成的质量和效率问题。如果确实有本地构建任务开发的需求比如想使用大模型来进行每日新闻情感极性分析以辅助中低频交易中给出合理的交易信号。此时如果采用收费接口的方法可能会由于大量的文本传输而导致成本费用上升此时便需要进行本地大模型权重的部署。考虑这篇文章主要面向个人计算机的场景这里也提供一点本地部署大模型的建议。如果硬件存在约束可以首先使用 ollama.cpp 将大模型权重进行轻量化根据配置甚至可以减少一两倍的内存空间。当然一般而言开源厂家一般也会提供多个量化版本的模型权重直接用 ollama 进行下载即可。三、RagFlow 介绍与源码部署对于个人搭建 RAG 系统更推荐大多数人直接使用端到端的开源产品毕竟大家都有自己的事情如果有一个现成且效果还好的成品也没必要一定要自行开发这里我介绍 RagFlow 。RAGFlow 是一款完整的 RAG 解决方案允许用户上传和管理各种文档PDF、Word、PPT、Excel、TXT。通过重新研发的智能文档理解系统RAGFlow 自动识别文档布局标题、段落、图片、表格等并对表格内容进行详细解析。它提供行业和岗位定制化模板适应会计、HR、科研等不同需求并且支持用户查看和校对解析结果确保数据从垃圾输入垃圾输出Garbage In Garbage Out转变为优质输入优质输出Quality In Quality Out。此外RAGFlow 强调文档处理的可视化和可解释性允许用户查看文档解析结果并定位到原文提高答案的准确性和可追溯性。RAGFlow 也通过提供原文引用链接和详细的处理结果展示帮助用户高效管理和利用文档数据显著减少生成信息不准确的风险满足各行业的文档管理需求。目前 RagFlow 提供两种方法分别是使用开源社区提供的 RagFlow 镜像本地下载即可启动使用另一种是使用开源社区提供的源代码进行编译运行。两种方法都有使用过第一种方法是最方便的但由于只能使用 CPU 处理在文本深度解析的过程中往往会出现时间耗费较长的现象这也是为什么小木这里给出源码部署的原因。由于 RagFlow 主要是支持 Linux而小木使用的是 Mac M1 在本地部署的时候还是花了不少时间这里也感谢官方给予的帮助这里就为 Mac M1 提供整理好的步骤分享给大家 Linux 的话官方文档已经足够详细。创建并激活 Anaconda 虚拟环境$ conda create -n ragflow python3.11.0 $ conda activate ragflow克隆仓库安装对应 python 依赖包$ git clone https://github.com/infiniflow/ragflow.git $ cd ragflow/ $ pip install -r requirements_arm.txt拷贝入口脚本并配置环境变量$ cp docker/entrypoint.sh . $ vi entrypoint.shPY命令 which python 的返回值export PYTHONPATH命令 pwd 的返回值export HF_ENDPOINThttps://hf-mirror.com export MACOSTRUE使用 docker 启动第三方基础服务$ cd docker $ vi docker-compose-base.yml将 mysql/image 修改成 mariadb:10.5.8$ docker compose -f docker-compose-base.yml up -d检查 /conf/service_conf.yaml 配置文件将 ragflow/host 修改成 127.0.0.1将 mysql/host 修改成 ‘127.0.0.1’将 minio/host 修改成 ‘127.0.0.1:9000’将 es/hosts 修改成 ‘http://127.0.0.1:9200’将 redis/hosts 修改成 ‘127.0.0.1:6379’启动 ragflow 后端服务$ chmod x ./entrypoint.sh $ bash ./entrypoint.sh启动 ragflow 前端服务$ cd web $ npm install --registryhttps://registry.npmmirror.com --force $ vim .umirc.ts将 proxy.target 修改成 http://127.0.0.1:9380$ npm run dev安装 ragflow 前端服务器 nginx$ cd web $ npm install --registryhttps://registry.npmmirror.com --force $ umi build $ mkdir /Users/xxx/ragflow $ mkdir /Users/xxx/ragflow/web $ sudo ln -s /Users/xxx/ragflow /ragflow $ cp -r dist /ragflow/web $ brew install nginx拷贝配置文件并启动 ragflow 前端服务vim ../docker/nginx/proxy.conf将 error_log 修改成 /opt/homebrew/var/log/nginx/error.log notice;将 pid 修改成 /opt/homebrew/var/run/nginx.pid;将 include 修改成 /opt/homebrew/etc/nginx/mime.types;将 access_log 修改成 /opt/homebrew/var/log/nginx/access.log将 include 修改成 /opt/homebrew/etc/nginx/ragflow.conf;vim ../docker/nginx/ragflow.conf将 proxy_pass 修改成 http://127.0.0.1:9380;$ cp ../docker/nginx/proxy.conf /opt/homebrew/etc/nginx $ cp ../docker/nginx/nginx.conf /opt/homebrew/etc/nginx $ cp ../docker/nginx/ragflow.conf /opt/homebrew/etc/nginx/conf.d $ sudo nginx -s reloadxxx 表示自己的账户目录名称。如果显示没有 conf.d则杀死先行 ragflow 前端所有进程再次执行 nginx -s reload。四、总结尽管 RAG 系统可以显著提高语言模型的事实准确性但它们并不是对抗错误信息的万能药。正如前文所讲的RAG 系统分为语义检索和召回生成两大过程然而语义检索的效果也直接影响了大模型的生成效果这往往要求了更加强力的 embedding 模型来增强语义表征同时由于 RAG 不是直接对文件进行总结而是进行拆分后再进行召回因此生成也存在诸多影响因素如召回阶段检索到的知识片段可能存在缺失使用的 top k 限制和相似度匹配机制也可能导致检索过程不够完美。随着月之暗面推出长文本大模型 kimi 后用户可以很方便地上传几十篇 PDF大模型可以根据这些文件进行回答问题并且还可以识别复杂图表里的内容。但是对于普通中小企业而言搭建一个低成本高可靠的私有化知识库系统搭建过程中大模型所需的 tokens 依旧需要着重考量。五、最后分享全套大模型学习资料AI大模型作为人工智能领域的重要技术突破正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口掌握AI大模型的知识和技能将变得越来越重要。可能大家都想学习AI大模型技术也_想通过这项技能真正达到升职加薪就业或是副业的目的但是不知道该如何开始学习_因为网上的资料太多太杂乱了如果不能系统的学习就相当于是白学。为了帮助大家打破壁垒快速了解大模型核心技术原理学习相关大模型技术。从原理出发真正入局大模型。在这里我和MoPaaS魔泊云联合梳理打造了系统大模型学习脉络这份LLM大模型资料分享出来包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 有需要的小伙伴可以扫描下方二维码免费领取**⬇️⬇️⬇️【大模型全套视频教程】教程从当下的市场现状和趋势出发分析各个岗位人才需求带你充分了解自身情况get 到适合自己的 AI 大模型入门学习路线。从基础的 prompt 工程入手逐步深入到 Agents其中更是详细介绍了 LLM 最重要的编程框架 LangChain。最后把微调与预训练进行了对比介绍与分析。同时课程详细介绍了AI大模型技能图谱知识树规划属于你自己的大模型学习路线并且专门提前收集了大家对大模型常见的疑问集中解答所有疑惑深耕 AI 领域技术专家带你快速入门大模型跟着行业技术专家免费学习的机会非常难得相信跟着学习下来能够对大模型有更加深刻的认知和理解也能真正利用起大模型从而“弯道超车”实现职业跃迁【精选AI大模型权威PDF书籍/教程】精心筛选的经典与前沿并重的电子书和教程合集包含《深度学习》等一百多本书籍和讲义精要等材料。绝对是深入理解理论、夯实基础的不二之选。【AI 大模型面试题 】除了 AI 入门课程我还给大家准备了非常全面的**「AI 大模型面试题」**包括字节、腾讯等一线大厂的 AI 岗面经分享、LLMs、Transformer、RAG 面试真题等帮你在面试大模型工作中更快一步。【大厂 AI 岗位面经分享92份】【AI 大模型面试真题102 道】【LLMs 面试真题97 道】【640套 AI 大模型行业研究报告】【AI大模型完整版学习路线图2025版】明确学习方向2025年 AI 要学什么这一张图就够了点击下方卡片链接免费领取全部内容抓住AI浪潮重塑职业未来科技行业正处于深刻变革之中。英特尔等巨头近期进行结构性调整缩减部分传统岗位同时AI相关技术岗位尤其是大模型方向需求激增已成为不争的事实。具备相关技能的人才在就业市场上正变得炙手可热。行业趋势洞察转型加速传统IT岗位面临转型压力拥抱AI技术成为关键。人才争夺战拥有3-5年经验、扎实AI技术功底和真实项目经验的工程师在头部大厂及明星AI企业中的薪资竞争力显著提升部分核心岗位可达较高水平。门槛提高“具备AI项目实操经验”正迅速成为简历筛选的重要标准预计未来1-2年将成为普遍门槛。与其观望不如行动面对变革主动学习、提升技能才是应对之道。掌握AI大模型核心原理、主流应用技术与项目实战经验是抓住时代机遇、实现职业跃迁的关键一步。01 为什么分享这份学习资料当前我国在AI大模型领域的高质量人才供给仍显不足行业亟需更多有志于此的专业力量加入。因此我们决定将这份精心整理的AI大模型学习资料无偿分享给每一位真心渴望进入这个领域、愿意投入学习的伙伴我们希望能为你的学习之路提供一份助力。如果在学习过程中遇到技术问题也欢迎交流探讨我们乐于分享所知。*02 这份资料的价值在哪里*专业背书系统构建本资料由我与MoPaaS魔泊云的鲁为民博士共同整理。鲁博士拥有清华大学学士和美国加州理工学院博士学位在人工智能领域造诣深厚在IEEE Transactions等顶级学术期刊及国际会议发表论文超过50篇。拥有多项中美发明专利。荣获吴文俊人工智能科学技术奖中国人工智能领域重要奖项。目前我有幸与鲁博士共同进行人工智能相关研究。内容实用循序渐进资料体系化覆盖了从基础概念入门到核心技术进阶的知识点。包含丰富的视频教程与实战项目案例强调动手实践能力。无论你是初探AI领域的新手还是已有一定技术基础希望深入大模型的学习者这份资料都能为你提供系统性的学习路径和宝贵的实践参考助力你提升技术能力向大模型相关岗位转型发展。抓住机遇开启你的AI学习之旅