GitHub AI 開源專案地圖

透過 API 將結構化數據如腦電圖、金融數據轉換為高維推理輸出，支援即時分析與多種模式。

SGLang 為大型語言模型及多模態模型提供高效能服務框架，支援快速推理與最佳化部署，適用於高吞吐量應用場景。

以純 C/C++ 實現的大型語言模型推理庫，支援多種硬體平台，著重於本地與雲端環境的高效能運行。

這是一個用 Rust 開發的高性能大型語言模型推理框架，支持多種模型和優化，提供快速推理能力。

提供文字、視覺、音頻和多模態機器學習模型的定義框架，支援訓練與推理。

vLLM 是一個開源框架，專為大型語言模型提供快速、記憶體高效的推論和服務，支援多種硬體和模型架構。

GPUStack 是一個開源 GPU 集群管理工具，支持 vLLM、SGLang 等推理引擎，用於高性能 AI 模型部署。

LMCache 是一個 KV 快取管理層，專為大型語言模型推理設計，能減少首 token 時間並提升吞吐量。

Mooncake 是 Moonshot AI 的 Kimi LLM 服務平台，開源 Transfer Engine 和 Mooncake Store，支援分散式 KVCache 架構以提升推論效能。

TensorRT-LLM 是 NVIDIA 提供的開源框架，用於在 GPU 上優化大型語言模型的推理效率，支援多種模型架構和硬體。

通過一行程式碼替換 GPT，在雲端、本地或筆記型電腦上運行開源、語音和多模態模型，提供統一生產就緒的推理 API。

WebLLM 是一個在瀏覽器中執行的高效能 LLM 推論引擎，支援 WebGPU 加速，完全相容 OpenAI API。