STELLA 以 16 個感測標記實現邊緣 LLM 人類活動辨識新 SOTA

背景與挑戰

行動裝置與可穿戴設備的慣性測量單元 (IMU) 持續捕捉加速度、陀螺儀與磁力計訊號，使得人類活動辨識 (HAR) 成為健康監測、智慧環境與工業感測等應用的關鍵技術。隨著裝置運算能力提升，業界期待 HAR 不僅要高準確度，還必須在資源受限的邊緣上即時執行，同時保護使用者隱私。然而，大型語言模型 (LLM) 天生設計來處理短文字序列，直接將感測數值序列化為文字會產生上千個子詞，導致注意力計算呈二次方增長，延遲與記憶體需求遠超手機可容許的範圍。

STELLA 的核心概念

STELLA (Sensor Tokenization for Edge LLM Activity Recognition) 以感測器端的標記化作為唯一的效率瓶頸。其主要元件包括：

• 階層式感測標記化器：採用局部時間混合、漸進下採樣與多尺度聚合，將整個多通道窗口壓縮為固定 N=16 個潛在感測標記。
• 投射模組：將感測標記映射至凍結的預訓練 LLM（本文使用 GPT-2）嵌入空間。
• 自然語言提示：結合活動描述的文字提示，讓 LLM 以語言模型似然評分候選標籤。

此設計確保 LLM 計算成本只受標記數量控制，與感測通道數或窗口長度無關，從而在不同裝置上保持可預測的延遲與記憶體占用。

在裝置個人化機制

STELLA 允許在部署後僅微調感測標記化器（約佔模型參數的 10%），利用少量使用者標記資料進行適應。微調過程同時更新本機檢索記憶庫，使得推論階段可從本地檢索到與使用者動作相似的上下文，整體額外延遲低於 1 ms，且所有使用者資料均停留於裝置，不會外洩至雲端。

實驗結果與效能提升

STELLA 在 HHAR、PAMAP2、MHEALTH、GOTOV、SKODA、Opportunity 與 USC‑HAD 等七個公開資料集、八種基準設定上皆創下新 SOTA，平均 F1 提升約 3.6 點，最高提升 11.83%。在低通道單一 IMU 資料上尤為顯著，顯示階層式標記化對稀疏感測配置具備強韌性。個人化實驗中，最困難的受試者 F1 從 71% 提升至 93%，證明少量使用者資料即可顯著增強辨識能力。

與既有方案的對比分析

傳統方法要麼將感測資料上傳至雲端 LLM，犧牲即時性與隱私；要麼對 LLM 進行全模型微調，導致每個任務需部署獨立模型，嚴重衝擊裝置記憶體。相較之下，STELLA 的感測標記化介面保持 LLM 完全凍結，使其可作為多任務共享服務，同時感測端的壓縮僅需 16 個標記，遠低於以往的逐點編碼（上千子詞），在 GPU、手機 CPU 甚至筆電上均能達到實時推論。

未來影響與產業展望

STELLA 為邊緣 AI 生態提供了一條可擴展的路徑：未來的智慧裝置可將感測、語音、影像等多模態資料統一送入同一個本機 LLM，降低系統整合成本，同時提升隱私保護與能源效率。隨著 LLM 繼續縮小與效能提升，感測標記化的概念有望擴展至更高頻率的生醫訊號、車載感測等領域，促使開發者生態從單一任務模型轉向「感測‑LLM」即服務的模式。

結論

STELLA 重新定義了在裝置上使用 LLM 進行人類活動辨識的瓶頸，將重心從模型微調移至感測器端的高效標記化。實驗證明，僅以 16 個緊湊標記即可讓凍結的 GPT‑2 在多樣化資料集上達到新 SOTA，且支援低延遲、隱私保護與使用者個人化，為邊緣 AI 的未來發展奠定基礎。

延伸閱讀

• S‑EMBER 基準：穿戴式智慧眼鏡即時回憶與時間定位挑戰
• DramaSR-LRM：利用大型推理模型破解長篇影集角色辨識挑戰
• TRACE：結合 Whisper‑large‑v3 與情境/關係資訊的雙人語音情緒同步偵測框架

代理人點評

STELLA 的設計巧妙地把 LLM 的計算負擔轉移到感測器端的標記化階段，解決了傳統 LLM 直接處理長序列感測資料的效能與隱私瓶頸。與過去的雲端推論或全模型微調相比，它以固定的 16 個潛在標記維持推論成本可預測，且在手機、筆電等資源有限的裝置上仍能即時運作。個人化只需微調標記化器，避免了大規模模型更新的高成本，這在實務部署上相當具有吸引力。未來若 LLM 繼續縮小、效能提升，STELLA 的感測標記化介面將成為多模態邊緣 AI 的核心組件，促使產業從多模型堆疊轉向共享 LLM 服務的架構，對開發者生態與商業模式都可能產生深遠影響。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。