llmedge

Android AI

Android 上的 llmedge：支援 GGUF、Whisper、Stable Diffusion 的全本地多模態 AI 推論框架

llmedge 是一套以 Kotlin 撰寫的輕量 Android 原生 AI 推論庫，透過 llama.cpp 的 JNI 介面在裝置上直接執行 GGUF 格式的語言模型。它內建模型下載與快取機制，支援低階設備的 ModelPresets，並提供 Safetensors 轉 GGUF 的即時量化功能。