Pathway 实时数据框架

项目概览

Pathway 是一个面向实时数据的 Python ETL 框架，官方定位为「Live Data Framework」。它把批处理与流处理统一到同一套 API 中，底层由基于 Differential Dataflow 的 Rust 引擎驱动，执行增量计算。

你写的 Python 代码会交给 Rust 引擎运行，从而获得多线程、多进程和分布式计算能力，突破纯 Python 的性能瓶颈。

核心特性

• 统一批流处理：同一份代码可用于本地开发、CI 测试、批处理作业和实时流处理。
• 丰富连接器：支持 Kafka、PostgreSQL、Google Drive、SharePoint 等数据源，并通过 Airbyte 连接器接入 300+ 数据源。
• 有状态转换：支持 join、窗口、排序等有状态操作，也可直接调用任意 Python 函数或库。
• 持久化与一致性：可保存计算状态，管道在更新或崩溃后可恢复；免费版提供 at-least-once 语义，企业版提供 exactly-once。
• LLM 工具链：提供 LLM 封装、解析器、Embedder、文本切分器，以及内存实时向量索引，并集成 LlamaIndex 与 LangChain。

典型使用场景

实时 ETL 与事件处理

适合从 Kafka 等消息队列读取数据，做实时清洗、聚合与告警。官方提供了 Kafka ETL、实时日志监控等可运行模板。

实时分析与时间序列

对持续到达的数据做增量计算，迟到或乱序数据到达时会自动更新结果，保证计算一致性。

LLM 与 RAG 管道

可结合 Ollama、Mistral AI、GPT-4o 等模型搭建私有 RAG、自适应 RAG 或多模态 RAG 应用，并让文档索引保持实时更新。

快速上手

通过 pip 安装后即可编写管道：

pip install -U pathway

import pathway as pw

# 示意：定义数据表并做简单转换
table = pw.debug.table_from_markdown("""
    | name | score
    | Alice | 90
    | Bob | 85
""")
result = table.select(name=table.name, passed=table.score > 80)
pw.debug.table_to_pandas(result)

具体 API 与连接器用法请以官方文档和模板为准。

部署与生态

管道数据常驻内存，可通过 Docker 与 Kubernetes 部署。项目提供大量 notebook 与 Docker 形式的模板，覆盖实时 ETL、告警、实时分析、RAG 等场景，社区主要通过 Discord 交流。

注意事项

项目采用 BSL 许可证，商业使用前应仔细阅读授权条款；同时建议先熟悉流处理与增量计算的基本概念，再进入生产实践。