Architecting Conversational Data Systems for Stateless LLM APIs: The Hydration Proxy Pattern

Abstract: As enterprise platforms transition to conversational reasoning interfaces, the stateless nature of LLM APIs creates an architectural gap. While statelessness enables horizontal scalability for AI providers, it forces client applications to manage the entire burden of conversational state and semantic memory. The work identifies the Hydration Proxy Pattern, an architecture that decouples session persistence from the reasoning engine. The framework ensures platform sovereignty over conversational data while enabling secure, multi-stage semantic grounding. We further propose the Context Stabilization Mandate to resolve the tradeoff between sovereign state management and KV caching.

背景动机：为什么“无状态”成了企业的枷锁？

LLM API 的无状态设计（stateless-by-design）是云原生 AI 服务的基石——它让 vLLM、TGI 或 Triton 推理服务能轻松水平伸缩，Pod 自动扩缩容（HPA/VPA）不依赖会话亲和性，GPU 利用率曲线平滑，运维复杂度显著降低。这在模型即服务（MaaS）场景下堪称优雅。

但当企业级应用（如金融客服中台、医疗问诊工作流、SRE 智能排障助手）将 LLM 接入真实业务链路时，问题陡然浮现：

客户端被迫承担语义状态管理：前端 App 或 Backend-for-Frontend（BFF）需拼接 messages 数组、维护 session_id、处理多轮指代消解（如“它”指上文哪个实体）、缓存历史 embedding —— 这不仅违反分层架构原则，更导致状态逻辑在数十个微服务间重复实现、版本不一致；
平台丧失数据主权：对话上下文散落于客户端 localStorage、CDN Edge Cache、甚至用户设备本地，企业无法审计、合规脱敏、做 GDPR 右撤回，也无法构建统一的语义记忆图谱（Semantic Memory Graph）；
KV 缓存 vs 真实持久化陷入两难：用 Redis 做 session_id → messages 映射？延迟低但易丢失、不支持事务；用 PostgreSQL 存全量对话？强一致性但推理 RT 增加 120ms+，且 embedding 向量检索与结构化查询耦合，拖垮 SLO。

ArXiv 论文直指本质：这不是一个“缓存策略”问题，而是一个架构分层失效问题。当 LLM 推理层（stateless）与业务语义层（stateful）被强行压平到同一抽象层级，所有工程妥协都只是技术债的利息。

核心技术：Hydration Proxy Pattern 深度解析

Hydration Proxy（水合代理）不是中间件，而是一种反向代理 + 上下文编排器 + 语义网关三位一体的模式。其核心思想是：让无状态 LLM API 保持纯粹，把“状态感知”下沉为独立的、可治理的网络层能力。

架构图示意（逻辑分层）

[Client] 
    ↓ (HTTP/JSON, session_id in header)
[Hydration Proxy] ←→ [Session Store (PostgreSQL + pgvector)]
    ↓ (stateless request: enriched messages + context_token)
[LLM Inference Service (vLLM/TGI)] 
    ↓ (raw response)
[Hydration Proxy] ←→ [Semantic Grounding Engine]
    ↓ (hydrated response: with citations, grounded entities, audit_log_id)
[Client]

关键创新点有三：

Session-aware Request Hydration
Proxy 在转发前，根据 X-Session-ID 从 Session Store 中拉取该会话的完整上下文（含结构化 metadata、embedding 向量、用户权限标签），并执行 context stabilization（见后文）——非简单拼接，而是对历史消息做语义去重、时效衰减、敏感字段 redaction。
Context Stabilization Mandate（上下文稳定化规范）
这是论文提出的硬性约束：任何进入 LLM 的 prompt 必须满足：
- ✅ 最大 token 长度 ≤ 8K（防 OOM）
- ✅ 历史消息按时间倒序，但超过 3 轮且相似度 >0.85 的对话块自动折叠为摘要（调用轻量 summarizer）
- ✅ 所有 PII 字段（身份证、手机号）必须经 FPE（Format-Preserving Encryption）或 tokenized masking
- ❌ 禁止 raw user input 直接透传（杜绝 prompt injection 风险）
Response Hydration & Grounding
LLM 返回后，Proxy 不直接透传，而是：
- 调用 RAG 引擎匹配知识库（Chroma/Weaviate），注入 source_id 和置信度；
- 对输出中的实体（如“Kubernetes Pod”）打标 entity_type: k8s_resource，供后续策略引擎消费；
- 注入审计元数据：audit_log_id, grounding_score, session_ttl.

实战 YAML：K8s 部署 Hydration Proxy（基于 Envoy + WASM）

yaml

# hydration-proxy-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: hydration-proxy
spec:
  replicas: 3
  selector:
    matchLabels:
      app: hydration-proxy
  template:
    metadata:
      labels:
        app: hydration-proxy
      annotations:
        # 启用 WASM 扩展做 context stabilization
        proxy.istio.io/config: |
          wasm:
            image: ghcr.io/knoai/hydration-wasm:v0.4.2
            config: '{"session_store": "postgres://session-store:5432", "stability_threshold": 0.85}'
    spec:
      containers:
      - name: envoy
        image: us-docker.pkg.dev/istio-release/releases/proxyv2:1.22.2
        ports:
        - containerPort: 8080
        env:
        - name: SESSION_STORE_URL
          valueFrom:
            secretKeyRef:
              name: hydration-secrets
              key: postgres-url
        # 关键：强制 TLS + mTLS 验证下游 LLM 服务
        args: ["--service-cluster", "hydration-proxy",
               "--service-node", "$(POD_NAME)",
               "--log-level", "warning"]
---
# hydration-proxy-gateway.yaml（Istio Gateway + VirtualService）
apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
  name: llm-api-vs
spec:
  hosts:
  - "llm-api.internal"
  http:
  - route:
    - destination:
        host: hydration-proxy
        port:
          number: 8080
    # 插入 Istio EnvoyFilter 实现 WASM 钩子
    fault:
      abort:
        percentage:
          value: 0.1
        httpStatus: 503

代码片段：WASM Filter 核心逻辑（Rust）

rust

// src/lib.rs —— Context Stabilization 的核心判断
#[no_mangle]
pub extern "C" fn on_request_headers() -> Status {
    let session_id = get_header("x-session-id")?;
    let mut history = load_session_history(session_id)?; // from PG + pgvector
    
    // Step 1: Semantic deduplication
    history.retain(|msg| {
        let similarity = cosine_sim(&msg.embedding, &current_embedding);
        similarity < 0.85 || msg.timestamp > Utc::now() - Duration::hours(1)
    });
    
    // Step 2: PII redaction via FPE
    for msg in &mut history {
        msg.content = fpe_redact(&msg.content, "ssn|phone|email");
    }
    
    // Step 3: Enforce token budget (using tiktoken-rs)
    let total_tokens = count_tokens(&history) + count_tokens(&prompt);
    if total_tokens > 8192 {
        return Status::Abort;
    }
    
    inject_header("x-context-stable", "true");
    Ok(Status::Continue)
}

💡 技术判断：Hydration Proxy 并非“银弹”。它在高并发短会话场景（如电商导购）可能引入 15–25ms P95 延迟；但对于金融/医疗等长周期、高合规要求场景，其带来的可观测性提升、审计闭环能力、以及将语义逻辑从 BFF 层剥离的架构收益，远超延迟成本。建议通过 session_ttl 分级（VIP 用户 TTL=24h，普通用户=2h）平衡资源开销。

运维建议：SRE 视角下的落地 Checklist

作为面向中高级 SRE 的实践指南，我们提炼出 5 项必须监控与治理的关键项：

维度	指标	SLO 建议	工具链建议
Session Store 健康度	`pg_stat_database.blks_read/sec > 10k`	P99 < 50ms	Prometheus + `pg_stat_statements` + Grafana Dashboard
Hydration 延迟分布	`hydration_proxy_request_duration_seconds{stage="stabilize"}`	P95 < 80ms	OpenTelemetry Collector → Tempo/Jaeger
Context Stability Rate	`rate(hydration_stabilization_rejected_total[1h])`	< 0.5%	Alert on spike + auto-trigger `kubectl logs -l app=hydration-proxy --since=5m \| grep 'token_budget_exceeded'`
Grounding Coverage	`% of responses with non-empty grounding.source_ids`	≥ 92%	Log-based metric via Loki + PromQL
Audit Log Integrity	`audit_log_id` missing rate	0%	E2E synthetic probe (e.g., curl with `X-Session-ID: test-123`)

特别提醒：

禁止将 Session Store 与 LLM 推理服务部署在同一节点——避免 GPU 内存争抢导致 PostgreSQL OOM Killer 杀掉 PG 进程；
Hydration Proxy 的 HorizontalPodAutoscaler 必须基于 custom metric（而非 CPU）：推荐使用 hydration_proxy_queue_length（Envoy 的 active_requests）；
所有 Session Store 的备份必须启用 pg_dump --inserts --column-inserts：确保恢复时兼容 schema evolution（如新增 grounding_score 字段）。

Architecting Conversational Data Systems for Stateless LLM APIs: The Hydration Proxy Pattern ​

背景动机：为什么“无状态”成了企业的枷锁？ ​

核心技术：Hydration Proxy Pattern 深度解析 ​

架构图示意（逻辑分层） ​

实战 YAML：K8s 部署 Hydration Proxy（基于 Envoy + WASM） ​

代码片段：WASM Filter 核心逻辑（Rust） ​

运维建议：SRE 视角下的落地 Checklist ​

延伸阅读：超越论文的工程纵深 ​