語言模型 - Agents Report | 代理人報告 (Page 2)

速報

研究背景：先前論文將神經語言模型視為支持使用導向、漸進語言理論的證據。核心做法：本文指出語言模型亦能實作基於形式結構的理論，即生成語法傳統中的形式化表述，並示範如何用模型檢驗這類假說。主要影響：這擴展了可用語言模型測試的理論範圍，有助於尋找使用導向與生成論的調和路徑。

深度分析

本研究問是否能僅憑本地二進位差異，由語言模型代理人重建修補的安全意義。系統用Ghidra/Ghidriff比對函式、排名候選檔案，並在受限環境執行舊/新行為驗證以形成審核。在25個案例中，代理人定位並驗證關鍵修補函式的成果有限，主要瓶頸在差異覆蓋與本地驗證能力。

速報

機器人在回應「我把鑰匙放哪？」或說明任務失敗原因時，需口語化過往經驗，但持續多模態感知會讓情節記憶暴增，影響儲存與即時查詢。H^2-EMV提出透過使用者互動學習要記什麼：系統以分層的情節記憶架構儲存資訊，採語言模型評估相關性執行選擇性遺忘，並根據使用者回饋更新自然語言規則。

深度分析

Subquadratic宣布具備12百萬標記的超大上下文視窗，代表模型能在單次輸入中處理遠超過常規長度的文本。這種做法可能減少對分段、檢索輔助的依賴，並改寫長篇推理、程式碼分析與多文件協同的應用設計。但更長的視窗也會帶來推理成本、延遲與部署複雜度的挑戰。

速報

研究結合語言模型與符號抽象，讓機械連桿的拓撲選擇與參數調整同步優化。模型在離散拓撲探索與連續參數優化之間切換，透過提升運算子將模擬軌跡轉為動作標籤與結構診斷，支援多輪迭代設計。

深度分析

本研究提出自適應字典嵌入（ADE），透過詞彙投影、分組位置編碼與上下文感知錨點重加權，將多錨點表示擴展至大型語言模型，核心將兩階段查找合併為單一矩陣運算並利用自注意力動態組合錨點，實驗顯示在DBpedia-14上以98.06%超越DeBERTa，且嵌入層壓縮逾40倍。

深度分析

研究發現語言模型在自然語言預訓練中會出現數字的週期性表示。本文指出透過傅立葉頻譜能看到明顯周期性尖峰，但這些頻譜不保證數字餘數類別可線性分離。實驗顯示資料的共現結構、模型架構、優化器與分詞策略共同決定是否出現可用於模數分類的幾何特徵。這影響數字處理與模型可解釋性的研究方向。

深度分析

隨著大型語言模型具備代理特性，研究以醫院分診情境模擬兩代理多輪協商。透過對齊與非對齊代理的互動，最終分配達成單獨無法實現的公平標準，顯示公平是去中心化互動的衍生屬性。

深度分析

隨著基礎模型規模與資料量持續擴大，計算與記憶體需求急升。研究提出HiFloat4 4位元浮點格式於華為Ascend NPU上進行語言模型預訓練，並與MXFP4比較。實驗顯示在密集與MoE模型上，計算吞吐提升最高4倍，誤差控制在全精度的1%以內。