DATA FLOW · INGESTION AND INDEX PROJECTION

文档入库与三路检索投影

文档入库与三路检索投影原始文件经过解析、清洗、切片和元数据关联后,按后端的数据模型分别构建搜索投影;Snowflake 路线先装载文本与属性,再刷新 Cortex Search。DATA FLOW · INGESTION AND INDEX PROJECTION文档入库与三路检索投影原始文件经过解析、清洗、切片和元数据关联后,按后端的数据模型分别构建搜索投影;Snowflake 路线先装载文本与属性,再刷新 Cortex Search。SOURCES3 / 文档仓库PDF · Word · HTML原件、版本与对象 URITRIGGER事件 / 批处理Object event · CDC增量或周期性扫描PROCESS解析与规范化文本 · 表格 · 版面去重、清洗与实体识别CHUNKINGChunk + 元数据document_id · page · URI版本、实体与安全属性EMBEDDINGEmbedding 策略模型 · 维度 · 版本外部生成或服务侧生成OPENSEARCHOpenSearch Indexchunk + BM25 fields + vectormetadata filter · source URIPOSTGRESPostgreSQL chunk 表text + embedding + entity idsGIN / pgvector / ACL 关系SNOWFLAKESnowflake text / attribute tableCortex Search 源查询服务刷新托管索引Embedding 可由处理层或检索服务生成;不要默认跨后端复用未经验证的模型、维度和版本。

概念架构图。图中的服务边界、数据路径和执行职责以正文说明及对应产品文档为准。