企业官网建设流程全解析

创意网站布局,小程序是怎么赚钱的,网站开发人员定罪,做动漫网站通过通过将原始输入转换为固定大小的高维向量#xff0c;捕捉语义信息#xff0c;embedding#xff08;嵌入#xff09;模型在构建RAG、推荐系统#xff0c;甚至自动驾驶的模型训练过程中都产生着至关重要的影响。 即使 OpenAI、Meta 和 Google 等科技巨头#xff0c;也…通过通过将原始输入转换为固定大小的高维向量捕捉语义信息embedding嵌入模型在构建RAG、推荐系统甚至自动驾驶的模型训练过程中都产生着至关重要的影响。即使 OpenAI、Meta 和 Google 等科技巨头也选择在近些年来在 embedding 模型的研发上持续加大投入。以 OpenAI 为例其最新的 text-embedding-3-small生成 1536 维向量在保持高语义表达能力的同时实现了更低的延迟和更小的模型体积适用于对性能敏感的大规模语义检索场景。Meta 则早在 2019 年就推出了 DLRMDeep Learning Recommendation Model以 embedding 层为基础构建用户和物品的向量表示用于广告点击率预测。DLRM 至今仍是支撑 Meta 推荐系统的核心组件服务于其每天数千亿次的推荐请求。但要如何选择 embedding 模型本文将提供一个实用的评估框架我们可以根据自身需求选择最合适的 embedding 模型。01明确任务和业务需求在选择模型前首先需要明确你的核心目标任务类型你要构建的是语义搜索、推荐系统、分类管道还是其他类型的应用不同任务对 embedding 表征信息的方式有不同要求。例如语义搜索需要如 Sentence-BERT 等模型能够捕捉查询与文档之间的语义细节使相似概念在向量空间中彼此接近。分类任务embedding 需要反映类别结构相同类别的输入应靠得更近方便下游分类器区分。常用模型如 DistilBERT 和 RoBERTa。推荐系统embedding 需反映用户-物品的关联可采用如神经协同过滤NCF等基于隐反馈训练的模型。ROI 评估根据业务上下文权衡性能与成本。对于如医疗诊断等关键任务提升准确率可能事关生死可接受使用更昂贵但更精准的模型。而高并发的成本敏感应用则要精打细算判断性能提升是否值回成本。其他限制条件多语言支持通用模型往往对非英文内容表现不佳可能需要多语言专用模型。专业领域支持通用模型无法理解特定术语比如医疗中的 “stat” 或法律中的 “consideration”。需考虑 BioBERT、LegalBERT 等专业模型。硬件/延迟要求模型体积和推理速度直接影响部署的可行性。02评估数据特性你的数据特性将直接影响模型选择。需考虑以下几点数据模态文本、图像、音频还是多模态选用匹配的数据类型模型文本BERT、Sentence-BERT图像CNN 或 Vision Transformer多模态CLIP、MagicLens音频CLAP、PNN 等。领域特定性是否需要专用模型OpenAI 等通用模型对大众话题表现良好但在医疗、法律等专业场景下可能抓不到细微差别需考虑 BioBERT 等行业专用模型。Embedding 类型选择稀疏 embedding如 BM25擅长关键词匹配稠密 embedding如 BERT擅长语义理解实践中常用混合方案用稀疏 embedding 做精准匹配稠密 embedding 做语义召回。03调研可用模型了解任务与数据后开始调研候选模型受欢迎程度选择社区活跃、使用广泛的模型更有保障易于排障、更新快、文档丰富。文本OpenAI embeddings、Sentence-BERT、E5/BGE图像ViT、ResNet文本图像对齐可用 CLIP、SigLIP音频PNN、CLAP 等。版权与许可开源模型MIT、Apache 2.0适合自建部署灵活性高但需运维能力第三方 API 模型部署简单但费用持续、存在数据隐私和合规性顾虑特别是金融、医疗等行业自托管部署可能是唯一选择。04评估候选模型初步筛选后需在真实数据上测试模型质量质量评估对于语义检索、RAG 应用重点关注结果的真实性faithfulness、相关性relevance、上下文精度和召回率。可借助工具如 Ragas、DeepEval、Phoenix、TruLens-Eval统一评估流程。数据集选择也很重要可基于真实案例、用 LLM 合成、或使用工具如 Ragas、FiddleCube构造。基准测试可参考公开 benchmark如 MTEB用于语义检索。注意不同场景排名差异大通用 benchmark 表现佳不代表真实环境中也优。应用自己的样本测试防止模型对 benchmark 过拟合、在实际数据上反而不如人意。负载测试自部署模型时需模拟真实并发请求测试 GPU 利用率、内存占用、吞吐和延迟。有些模型单机测试效果不错但在高负载下资源消耗过大影响上线。一般来说比较常见的基准测试榜单有以下几种1文本数据MTEB 排行榜HuggingFace 的 MTEB leaderboard 是一个一站式的文本 Embedding 模型榜我们可以了解每个模型的平均性能。可以将“Retrieval Average”列进行降序排序因为这最符合向量搜索的任务。然后寻找排名最高、占内存最小的模型。Embedding 向量维度是向量的长度即 f(x)y 中的 y模型将输出此结果。最大 Token 数是输入文本块的长度即 f(x)y 中的 x 您可以输入到模型中。除了通过 Retrieval 任务排序外还可以根据以下条件进行过滤语言支持法语、英语、中文、波兰语。例如taskretrieval, Languagechinese。法律领域文本。例如taskretrievalLanguagelaw2图像数据ResNet50有时候我们可能想要搜索与输入图像相似的图片。比如当我们想寻找更多苏格兰折耳猫的图片。在这种情况下您可以上传一张苏格兰折耳猫的图片并要求搜索引擎找到类似的图片。ResNet50 是一种流行的 CNN 模型最初由微软在 2015 年使用 ImageNet 数据训练。同样对于视频搜索ResNet50 仍然可以将视频转换为 Embedding 向量。然后对静态视频帧进行相似性搜索返回给用户最相似的视频作为最匹配结果。3音频数据PANNs类似于以图搜图也可以基于输入的音频片段搜索相似音频。PANNs预训练音频神经网络是常用的音频搜索 Embedding 模型因为 PANNs 基于大规模音频数据集预训练并且擅长音频分类和标记等任务。4多模态图像与文本数据SigLIP近几年涌现了一批针对多种非结构化数据文本、图像、音频或视频混合训练的 Embedding 模型。这些模型能够在同一向量空间内同时捕获多种类型的非结构化数据的语义。多模态 Embedding 模型支持使用文本搜索图像、为图像生成文本描述或以图搜图。OpenAI 在 2021 年推出的 CLIP 是标准的 Embedding 模型。但由于其需要用户自行进行微调并不好用所以到了 2024 年谷歌推出了的 SigLIPSigmoidal-CLIP。该模型在使用 zero-shot prompt时取得了不错的表现。5多模态文本、音频、视频数据多模态文本-音频 RAG 系统大多使用多模态生成型 LLM。这类应用首先将声音转换为文本生成声音-文本对然后将文本转换为 Embedding 向量。之后我们可以像往常一样使用 RAG 来检索文本。在最后一步文本被映射回音频。OpenAI 的 Whisper 可以将语音转录为文本。此外OpenAI 的 Text-to-speech (TTS) 模型也可以将文本转换成音频。多模态文本-视频的 RAG 系统使用类似的方法首先将视频映射到文本转换为 Embedding 向量搜索文本并返回视频作为搜索结果。OpenAI 的 Sora 可以将文本转换成视频。与 Dall-e 类似您提供文本提示而 LLM 生成视频。Sora 还可以通过静态图像或其他视频生成视频。05集成部署规划选定模型后考虑集成策略权重选择直接使用预训练权重上手快但若需领域定制化需投入资源微调。微调虽能提升效果但需评估其投入产出比。部署方式选择自托管控制力强、可降低大规模使用成本数据私密性好但需运维能力云服务 API部署快、运维省心但存在网络延迟、成本累积问题。系统集成设计包括 API 设计、缓存策略、批处理方案选择合适的向量数据库存储与检索 embedding如 Milvus、Faiss 等。06端到端测试在生产上线前务必进行闭环测试性能验证用实际业务数据验证是否符合预期检查检索相关指标MRR、MAP、NDCG准确率指标Precision、Recall、F1以及运行效率吞吐、P95/P99 延迟。鲁棒性测试模拟不同输入情况确保模型能稳定应对边缘情况与复杂数据。如有必要我们可以可以在自己的数据集上评估Embedding模型。以下是一个Embedding模型的流程示例数据集准备如下接下来我们采用pymilvus[model]对于上述数据集生成相应的向量Embedding。关于pymilvus[model]使用参见https://milvus.io/blog/introducing-pymilvus-integrations-with-embedding-models.mddef gen_embedding(model_name): openai_ef model.dense.OpenAIEmbeddingFunction( model_namemodel_name, api_keyos.environ[OPENAI_API_KEY] ) docs_embeddings openai_ef.encode_documents(df[description].tolist()) return docs_embeddings, openai_ef然后把生成的Embedding存入到Milvus 的collection。def save_embedding(docs_embeddings, collection_name, dim): data [ {id: i, vector: docs_embeddings[i].data, text: row.language} for i, row in df.iterrows() ] if milvus_client.has_collection(collection_namecollection_name): milvus_client.drop_collection(collection_namecollection_name) milvus_client.create_collection(collection_namecollection_name, dimensiondim) res milvus_client.insert(collection_namecollection_name, datadata)查询我们定义查询函数方便对于向量Embedding进行召回。def query_results(query, collection_name, openai_ef): query_embeddings openai_ef.encode_queries(query) res milvus_client.search( collection_namecollection_name, dataquery_embeddings, limit4, output_fields[text], ) result {} for items in res: for item in items: result[item.get(entity).get(text)] item.get(distance) return result评估Embedding模型性能我们采用 OpenAI的两个 Embedding模型text-embedding-3-small和text-embedding-3-large对于如下两个查询进行比较。有很多评估指标例如准确率、召回率、MRR、MAP等。在这里我们采用准确率和召回率。准确率Precision 评估检索结果中的真正相关内容的占比即返回的结果中有多少与搜索查询相关。Precision TP / (TP FP)其中检索结果中与查询真正相关的内容 True PositivesTP, 而 False PositivesFP 指的是检索结果中不相关的内容。召回率 Recall评估从整个数据集中成功检索到相关内容的数量。Recall TP / (TP FN)其中False Negatives FN 指的是所有未包含在最终结果集中的相关项目对于这两个概念更详细的解释参见 https://zilliz.com/learn/information-retrieval-metrics查询 1auto garbage collection相关项 Java Python JavaScript GolangRanktext-embedding-3-smalltext-embedding-3-large1❎ Rust❎ Rust2❎ C/C❎ C/C3✅ Golang✅ Java4✅ Java✅ GolangPrecision0.500.50Recall0.500.50查询 2suite for web backend server development相关项 Java, JavaScript, PHP, Python (答案包含主观判断)Ranktext-embedding-3-smalltext-embedding-3-large1✅ PHP✅ JavaScript2✅ Java✅ Java3✅ JavaScript✅ PHP4❎ C#✅PythonPrecision0.751.0Recall0.751.0在这两个查询中我们通过准确率和召回率对比了两个Embedding模型text-embedding-3-small和text-embedding-3-large。我们可以以此为起点增加数据集中数据对象的数量以及查询的数量如此才能更有效地评估Embedding模型。总结选型的关键是遵循以下六步明确业务目标与任务类型分析数据特性与领域需求调研现有模型与授权模式用测试集和 benchmark 严格评估设计部署与集成方案进行全链路上线前测试要记住最合适的模型不一定是 benchmark 分最高的而是最契合你业务实际需求与技术约束的模型。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】