Android AI
Android 上的 llmedge:支援 GGUF、Whisper、Stable Diffusion 的全本地多模態 AI 推論框架
llmedge 是一套以 Kotlin 撰寫的輕量 Android 原生 AI 推論庫,透過 llama.cpp 的 JNI 介面在裝置上直接執行 GGUF 格式的語言模型。它內建模型下載與快取機制,支援低階設備的 ModelPresets,並提供 Safetensors 轉 GGUF 的即時量化功能。
Android AI
llmedge 是一套以 Kotlin 撰寫的輕量 Android 原生 AI 推論庫,透過 llama.cpp 的 JNI 介面在裝置上直接執行 GGUF 格式的語言模型。它內建模型下載與快取機制,支援低階設備的 ModelPresets,並提供 Safetensors 轉 GGUF 的即時量化功能。
深度分析
針對記憶體低於 100KB 的 MCU 進行持續物件偵測,研究提出以 MAML 為基礎的自適應層次壓縮,結合多尺度比例與雙記憶體結構,實驗顯示在嚴格預算下仍能維持競爭精度。
深度分析
研究人員推出 EmoMAS 框架,利用貝葉斯編排協調多個專業代理人,讓小型語言模型能在邊緣裝置上處理高風險談判。透過將情緒視為戰略變數,EmoMAS 提升了 AI 談判者的情緒智能與成功率,並解決了私密性與運算成本的問題。
深度分析
面對日益複雜的 AI 代理人網路,如何高效調度請求至正確的專業代理人?新論文提出 AgentGate,將路由流程拆解為決策與對接兩階段,讓 3B-7B 的輕量化模型也能實現高效且具隱私意識的調度,解決資源受限環境下的分發問題。