Pathway：即時串流數據處理與 LLM 管道的 Python ETL 框架
資料工具Pathway 是一個基於 Python 的 ETL 框架，專為串流處理、實時分析、大型語言模型管道和檢索增強生成設計，提供高效能和易用性。
此 GitHub 開源專案 Pathway 是一個 Python ETL 框架，專注於串流處理、實時分析、LLM 管道和 RAG。它提供易於使用的 Python API，可無縫整合各種 Python 機器學習庫，適用於開發和生產環境，能有效處理批量和串流數據。Pathway 使用基於 Differential Dataflow 的 Rust 引擎，執行增量計算，支持多線程、多進節點和分佈式計算，提升效能。整個管道保持在內存中，並可輕鬆通過 Docker 和 Kubernetes 部署。專案適用於即時數據分析、IoT 分析、時間序列處理等場景，幫助開發者構建高效的數據管道和 AI 應用。