归档: 2023/11 | flyuprun

2023

11

15

一个标准的检索增强生成 (RAG) 管道在处理随时间演变的知识时，表现得非常脆弱。当系统的知识库不是一组静态事实，而是一个不断更新、版本化的文档集合时，向大语言模型（LLM）提供过时或无关的上下文，不仅会产生错误的答案，还会严重侵蚀用户信任

2023-11-15 数据工程与存储

ChromaDB Memcached 时序 LangChain

15

我们面临一个具体的工程挑战：需要部署一个基于 LangChain 的文档问答（RAG）服务。这个服务的核心工作流包含几个计算密集且耗时较长的步骤：接收用户查询、从向量数据库检索相关文档片段、构建复杂的提示（Prompt）、最后调用大语言模型

2023-11-15 架构设计

LangChain 架构模式 AWS EKS SQLite Vercel Functions 云原生

15

一个基本的 RAG (Retrieval-Augmented Generation) 管道通常止步于向量相似度搜索。实践中，这种方案返回的上下文质量常常参差不齐，导致大语言模型 (LLM) 的生成结果偏离预期，甚至产生幻觉。单纯依赖 top

2023-11-15 后端架构

Pinecone LLM Shadcn UI RAG FastAPI

15

为技术文档站点集成一个基于生成式AI的问答系统，常规思路是搭建一个独立的RAG（Retrieval-Augmented Generation）服务。这个服务需要连接一个向量数据库，并设置一个数据同步管道，持续将文档内容摄取、分块、向量化后存

2023-11-15 AI工程

GraphQL Client RAG Serverless Gatsby 生成式AI

15

我们团队的 Scrum 回顾会议陷入了一种困境。讨论总是围绕着“感觉这个 Sprint 交付慢了”或者“感觉最近线上问题变多了”这类模糊的主观感受。作为工程师，我们都清楚，没有数据的支撑，任何改进措施都可能是凭空臆想，甚至南辕北辙。我们需要

2023-11-15 数据工程

可观测性 Vercel Functions ClickHouse Scrum DORA