數據載入工具 dlt
資料工具開源自動化 Python 庫,簡化數據載入任務,支持多種數據源、目的地及與大型語言模型集成。
此 GitHub 開源專案 dlt 是一個 Python 庫,專門用於自動化數據載入任務。根據 README 說明,它支持從 REST API、SQL 數據庫、雲存儲等多種數據源提取數據,並載入到數據倉庫或其他目的地。特色包括自動 schema 推斷、數據類型處理、嵌套數據結構支援,以及增量載入和 schema 演進功能。此外,dlt 設計為與大型語言模型(LLM)原生集成,允許在筆記本等環境中使用超過 5000 個數據源,適用於數據工程師、分析師和 AI 開發者,用於構建可擴展的數據管道。