llama.cpp 新增 EXAONE 4.5 模型支援
GitHub 發布中,llama.cpp 專案官方公告表示,新版本 b9453 正式加入了 EXAONE 4.5 模型的實現。此次更新詳細描述了技術改進,包括添加 EXAONE 4.5 和 GQA for MMproj,並修正了視覺標記和投影路徑,使 EXAONE 4.5 通過 Qwen2.5-VL 風格的編碼路徑運作,同時保持 Qwen 的原始標記。官方還更新了投影權重和轉換腳本,以確保模型在 GGUF 格式下的正確導出和加載。此外,發布修復了多個問題,如張量註冊和避免重複 rope_freqs 的跳過標誌傳播,提升模型穩定性。在平台支持方面,新版本提供了全面的預編譯二進制檔案,涵蓋 macOS Apple Silicon、Intel 架構、iOS、多種 Linux 發行版和 Windows 系統,支持 CPU、CUDA、Vulkan、ROCm 和 OpenVINO 等硬體加速。這些檔案可通過 GitHub 釋放頁面直接下載,方便開發者快速集成和使用 EXAONE 4.5 模型進行推理任務。
來源
來源:GitHub Release
- GitHub Releaseb9453