本地運行 AI 的跨平台工具套件

本地 AI

一套生產就緒的 SDK,讓開發者能在 iOS、Android、Web 等平台上本地運行 LLM、語音和圖像生成 AI。

此 GitHub 開源專案 RunAnyWhere 是一個生產就緒的工具套件,專為在設備上本地運行 AI 功能而設計。它提供跨平台的 SDK,支持 Swift(iOS/macOS)、Kotlin(Android)、Web(瀏覽器)、React Native 和 Flutter 等平台。專案涵蓋多種 AI 模態,包括大型語言模型(LLM)聊天、語音轉文字(STT)、文字轉語音(TTS)、圖像生成以及視覺語言模型(VLM),所有推理均在設備上完成,確保數據隱私和離線可用性。README 說明,支持模型如 Llama、Mistral、Whisper 等,並提供詳細的安裝和使用文檔。適用場景包括開發隱私優先的移動應用、離線語音助手、邊緣設備上的圖像處理和實時 AI 功能集成。

Stars10,334
Forks360
語言C++
分類本地 AI
標籤
llmon-device-aiinferencevoice-aimultimodaledge
GitHub Topics
androidapple-intelligencecppdiffusion-modelsedgeflutterinferenceioskotlinllamacppllmmultimodalollamaon-device-aireact-nativeswiftvlmvoice-aiwebwebsdk