Android AI
Android 上的 llmedge:支援 GGUF、Whisper、Stable Diffusion 的全本地多模態 AI 推論框架
llmedge 是一套以 Kotlin 撰寫的輕量 Android 原生 AI 推論庫,透過 llama.cpp 的 JNI 介面在裝置上直接執行 GGUF 格式的語言模型。它內建模型下載與快取機制,支援低階設備的 ModelPresets,並提供 Safetensors 轉 GGUF 的即時量化功能。
Android AI
llmedge 是一套以 Kotlin 撰寫的輕量 Android 原生 AI 推論庫,透過 llama.cpp 的 JNI 介面在裝置上直接執行 GGUF 格式的語言模型。它內建模型下載與快取機制,支援低階設備的 ModelPresets,並提供 Safetensors 轉 GGUF 的即時量化功能。
深度分析
這篇研究指出,Stable Diffusion在復現訓練集影像的「記憶復現」問題,與CLIP文字編碼的嵌入結構有密切關聯。作者發現,模型並非過度依賴 prompt 的逐字嵌入,而是被填充(pad)位置的一組近乎重複的〈eot〉嵌入放大影響,進而驅動精確重現。
深度分析
為突破文字表述的細微差異,研究以文本在擴散模型中所「召喚」的影像分布作為語意相似度衡量;核心做法是比較兩組文本條件下逆時序擴散 SDE 的 Jensen–Shannon 散度並以蒙地卡羅估算;結果顯示其與大型語言模型的 zero-shot 方法相當,且能產生影像層面的可解釋視覺化。
深度分析
本研究針對視覺轉換器的自注意力計算瓶頸,提出全矩陣運算的 MaMe 令牌合併與 MaRe 復原技術,於 ViT‑B 提升兩倍吞吐僅降 2% 準確度,並在多項任務展現加速與品質提升。
深度分析
隨著生成式模型安全需求提升,研究者提出雙投影閉式概念抹除技術,利用兩步線性變換先投影目標概念再於左零空間施加受限變換,實現快速且理論可證的概念移除。實驗證明在多款 Stable Diffusion 與 FLUX 上表現媲美或優於現有方法,且更好保留非目標概念。