異構大型語言模型推理與微調優化框架
開發工具KTransformers 是一個靈活框架，透過 CPU-GPU 異構計算優化大型語言模型的推理與微調效能。
此 GitHub 開源專案 KTransformers 專注於透過異構計算（如 CPU-GPU 協作）提升大型語言模型（LLM）的推理與微調效率。專案提供靈活的框架，支持多種硬體平台（包括 CPU、GPU、NPU）和最新模型（如 DeepSeek-V4、GLM-5、Kimi-K2 等），並具備多層級緩存與專家調度機制。適用於 AI 研究者、開發者，在消費級硬體上高效運行大型模型或進行微調實驗。README 說明詳細，提供多個教學文件與整合方案，如與 LLaMA-Factory 集成，方便用戶快速上手。