FlagGems：大型語言模型高效運算子庫
開發工具基於 Triton 語言的高效運算子庫，用於加速大型語言模型的訓練和推理，支援多種硬體平台。
此 GitHub 開源專案 FlagGems 是一個基於 Triton 語言的高效運算子庫，專為大型語言模型（LLM）設計。根據 README 說明，它屬於 FlagOS 系統軟體堆疊的一部分，旨在提供「開發一次，到處運行」的工作流程，支援多樣化的 AI 加速器硬體。FlagGems 透過註冊 PyTorch 的 ATen 後端，允許開發者在不改變底層 API 的情況下使用 Triton 加速，同時保持熟悉的 PyTorch 操作。它提供大量 PyTorch 相容運算子、手動優化效能、自動程式碼生成、多後端支援等特色，適用於需要高效能 LLM 訓練和推理的 AI 開發者和研究人員。