flyuprun
本站致力于IT相关技术的分享
开始阅读
构建支持时序感知的多层检索架构以优化 RAG 管道 构建支持时序感知的多层检索架构以优化 RAG 管道
一个标准的检索增强生成 (RAG) 管道在处理随时间演变的知识时，表现得非常脆弱。当系统的知识库不是一组静态事实，而是一个不断更新、版本化的文档集合时，向大语言模型（LLM）提供过时或无关的上下文，不仅会产生错误的答案，还会严重侵蚀用户信任
2023-11-15 数据工程与存储
ChromaDB Memcached 时序 LangChain
利用 Vercel 与 EKS 构建混合架构实现 LangChain 异步任务处理及 SQLite 状态持久化 利用 Vercel 与 EKS 构建混合架构实现 LangChain 异步任务处理及 SQLite 状态持久化
我们面临一个具体的工程挑战：需要部署一个基于 LangChain 的文档问答（RAG）服务。这个服务的核心工作流包含几个计算密集且耗时较长的步骤：接收用户查询、从向量数据库检索相关文档片段、构建复杂的提示（Prompt）、最后调用大语言模型
2023-11-15 架构设计
LangChain 架构模式 AWS EKS SQLite Vercel Functions 云原生
构建支持 Rerank 与流式响应的 LLM RAG 管道：Pinecone、Shadcn UI 与服务端的深度整合实践 构建支持 Rerank 与流式响应的 LLM RAG 管道：Pinecone、Shadcn UI 与服务端的深度整合实践
一个基本的 RAG (Retrieval-Augmented Generation) 管道通常止步于向量相似度搜索。实践中，这种方案返回的上下文质量常常参差不齐，导致大语言模型 (LLM) 的生成结果偏离预期，甚至产生幻觉。单纯依赖 top
2023-11-15 后端架构
Pinecone LLM Shadcn UI RAG FastAPI
利用 Gatsby 构建时 GraphQL 层为生成式 AI 实现 RAG 管道的架构实践 利用 Gatsby 构建时 GraphQL 层为生成式 AI 实现 RAG 管道的架构实践
为技术文档站点集成一个基于生成式AI的问答系统，常规思路是搭建一个独立的RAG（Retrieval-Augmented Generation）服务。这个服务需要连接一个向量数据库，并设置一个数据同步管道，持续将文档内容摄取、分块、向量化后存
2023-11-15 AI工程
GraphQL Client RAG Serverless Gatsby 生成式AI
使用 Vercel Functions 与 ClickHouse 构建低延迟的研发效能度量管道 使用 Vercel Functions 与 ClickHouse 构建低延迟的研发效能度量管道
我们团队的 Scrum 回顾会议陷入了一种困境。讨论总是围绕着“感觉这个 Sprint 交付慢了”或者“感觉最近线上问题变多了”这类模糊的主观感受。作为工程师，我们都清楚，没有数据的支撑，任何改进措施都可能是凭空臆想，甚至南辕北辙。我们需要
2023-11-15 数据工程
可观测性 Vercel Functions ClickHouse Scrum DORA
使用 Axum 与 Tower 中间件构建支持 OAuth 2.0 鉴权的通用二阶段提交协调器 使用 Axum 与 Tower 中间件构建支持 OAuth 2.0 鉴权的通用二阶段提交协调器
多服务原子操作是个老生常谈的难题。在一个典型的微服务场景中，一个用户下单操作可能需要同时调用订单服务创建订单和钱包服务扣减余额。如果其中一个服务调用成功而另一个失败，系统就会进入数据不一致的状态。在真实项目中，这种不一致性是灾难性的，尤其是
2023-10-27 分布式系统
Two-Phase Commit (2PC) Rust Axum OAuth 2.0 分布式事务
1 / 9