速報
大型語言模型進入系統技術時代:智慧計算架構新藍圖
本篇調查報告將大型語言模型(LLM)類比為電腦核心組件,探討從模型技術向系統技術的演進。作者將 LLM 視為 CPU、鍵值快取作為處理器快取、上下文視窗類比主記憶體,並把代理框架比作作業系統,藉此引入數十年電腦架構的智慧。
速報
本篇調查報告將大型語言模型(LLM)類比為電腦核心組件,探討從模型技術向系統技術的演進。作者將 LLM 視為 CPU、鍵值快取作為處理器快取、上下文視窗類比主記憶體,並把代理框架比作作業系統,藉此引入數十年電腦架構的智慧。
速報
本研究針對大型語言模型在推理過程中即時更新知識的挑戰,提出一套以敘事背景呈現新資訊、利用自生成多跳問題訓練多步推理、以及透過知識蒸餾讓學生模型內化教師的推理行為的訓練策略。實驗結果顯示,採用此方法的模型能在需要結合多項新事實的複雜問題上顯著提升表現,證明新知的整合不僅是記憶,更是推理過程的一部分。
速報
本研究在免費 tier 的 Kaggle、Colab GPU 上,以 QLoRA 方式微調 7B Mistral 模型,僅傳遞 41.9M LoRA 適配器於兩台 16 GB 顯卡間。實驗發現模型與訓練分布相似度提升,但在諮詢品質與事實正確性上表現較差,錯誤主要來自合成資料流程,而非適配器交接方法。
速報
研究提出「元認知近視」概念,說明大型語言模型(LLM)因資訊環境中的偏頗樣本而產生五種偏見症狀:整合無效嵌入、易受冗餘資訊影響、忽略條件計算的基礎機率、依頻率決策、對巢狀資料做不當高階統計推論。作者認為監控與控制兩大元認知機制可解釋這些症狀,並建議透過隱藏平行推理歷史讓互動式LLM在生成回應前評估近視推論風險。
速報
研究者將五種最新的視覺語言模型與 600 名受測者同時放入網路版 Visual-World 實驗,讓他們在觀看六秒短片時,同步判斷下一個詞彙的出現機率,並追蹤眼球移動。結果顯示,加入視覺資訊後,模型與人類在可預測性評分上的相關性提升(平均 Δr = 0.18),且模型參數規模對此影響不大。
速報
在機器學習中,從高維、非對數凹的未正規化分布抽樣是一大挑戰,尤其當勢能的精確梯度無法取得,只能以高變異的隨機梯度近似。
速報
大型語言模型在加入新知識時常會遺忘或需高成本再訓練。研究者開發 DYNA,將凍結的模型與時間知識圖結合,利用隨機遊走與中心性選取相關節點,於回應時補充資訊。實驗顯示,與微調比較可減少約 7% 的遺忘,且在時間排序上提升約 5%。圖的聚類係數與檢索表現正相關,顯示圖結構影響記憶效果。
速報
大型語言模型(LLM)在程式碼生成上已展現強大能力,但對於產生視覺輸出的 TikZ 程式碼客製化仍具挑戰。研究以 TikZ 為案例,探討在驗證器不可靠的情況下,迭代精修是否仍有效。
速報
為解決大型語言模型在跨任務適應上的不足,研究者建構了 LatentGym 測試平台,透過真實潛在變數控制任務結構,分離探索與利用指標。實驗證實前沿模型在相關任務上仍易失效,事後訓練可提升適應力,且回饋設計影響學習動態。此基礎設施為未來個人化與互動式 AI 的可靠適應提供了可量化的研究基礎。
速報
本報告介紹了 Ling-2.6 與 Ring-2.6 兩款針對代理智慧設計的模型族。Ling-2.6 以低延遲即時回應與高每 token 能力為目標,Ring-2.6 則著重於更深層的推理與複雜工作流程。
速報
Anthropic 的新研究探討大型語言模型 Claude Sonnet 4.5 是否具備情緒。研究發現模型內部出現離散的情緒表徵,部分支持情境感知功能;但與人類情緒的變異性神經特徵不符,且缺乏跨系統的動態重組。結論指出,要讓模型真正具備情緒仍有多項技術門檻。
速報
研究利用資料驅動機器學習辨識非線性系統時,傳統模型難以保留物理結構且解釋性差。作者提出以 Kolmogorov‑Arnold 網路建構的非線性 port‑Hamiltonian 框架,分別以 KAN 模組參數化互連、耗散、哈密頓與輸入映射,並內建 pH 約束,使得組件函數可直接檢視,提升可解釋性。