DATA FLOW · INGESTION AND INDEX PROJECTION
文档入库与三路检索投影
文档入库与三路检索投影
原始文件经过解析、清洗、切片和元数据关联后,按后端的数据模型分别构建搜索投影;Snowflake 路线先装载文本与属性,再刷新 Cortex Search。
DATA FLOW · INGESTION AND INDEX PROJECTION
文档入库与三路检索投影
原始文件经过解析、清洗、切片和元数据关联后,按后端的数据模型分别构建搜索投影;Snowflake 路线先装载文本与属性,再刷新 Cortex Search。
SOURCE
S3 / 文档仓库
PDF · Word · HTML
原件、版本与对象 URI
TRIGGER
事件 / 批处理
Object event · CDC
增量或周期性扫描
PROCESS
解析与规范化
文本 · 表格 · 版面
去重、清洗与实体识别
CHUNKING
Chunk + 元数据
document_id · page · URI
版本、实体与安全属性
EMBEDDING
Embedding 策略
模型 · 维度 · 版本
外部生成或服务侧生成
OPENSEARCH
OpenSearch Index
chunk + BM25 fields + vector
metadata filter · source URI
POSTGRES
PostgreSQL chunk 表
text + embedding + entity ids
GIN / pgvector / ACL 关系
SNOWFLAKE
Snowflake text / attribute table
Cortex Search 源查询
服务刷新托管索引
Embedding 可由处理层或检索服务生成;不要默认跨后端复用未经验证的模型、维度和版本。
概念架构图。图中的服务边界、数据路径和执行职责以正文说明及对应产品文档为准。