想让大模型回答你公司内部文档的问题?直接喂文档太占 Token,而且模型会「忘记」长内容。RAG(检索增强生成) 的做法是:把文档切块、转成向量存起来,用户提问时先检索相关片段,再把片段和问题一起发给模型,让它基于这些上下文回答。实现一套 RAG 服务,核心就三步:文档切块、向量化、检索。
大模型有两个局限:上下文长度有限(不能塞太多文档)、知识有时效性(训练数据可能过时)。RAG 的做法是:
想让大模型回答你公司内部文档的问题?直接喂文档太占 Token,而且模型会「忘记」长内容。RAG(检索增强生成) 的做法是:把文档切块、转成向量存起来,用户提问时先检索相关片段,再把片段和问题一起发给模型,让它基于这些上下文回答。实现一套 RAG 服务,核心就三步:文档切块、向量化、检索。
大模型有两个局限:上下文长度有限(不能塞太多文档)、知识有时效性(训练数据可能过时)。RAG 的做法是:
用 Go 做语义检索、推荐或 RAG 时,总要算向量相似度。做法大致三种:自己写几行、用数值库、或者交给向量数据库。下面按「方案」捋一捋,方便你按场景选。
向量相似度用在语义检索、推荐、去重聚类等场景很常见,但数据量差别很大:有时就几百几千个向量在内存里算,有时是百万级要做近似最近邻(ANN)检索。所以没有一种写法能通吃,有的场景适合手写,有的适合用库,有的直接上向量库。下面分别说。
专业企业官网建设,塑造企业形象,传递企业价值
系统软件开发,用心思考,用心设计,用心体验
打破技术瓶颈,让不堪重负的项目起死回生
构建全渠道一体化运营能力,实现全链路数字化
文案撰写、营销策划,专注品牌全案
一站式解决企业互联网营销痛点和难题
以技术的力量,改变互联网
联系我们