速報
用輸入詞嵌入操控對齊模型:以零階梯度估計降低回應有害性
研究針對對齊語言模型提出輸入詞嵌入控制法:以黑盒文字審查API做零階梯度估計,對輸入嵌入執行梯度下降以減低生成回應的語意有害性。實驗在標準安全基準上將所有被標記回應中和,顯示輸入嵌入能作為有效控制變數。方法在語意層面進行微粒度優化,非僅表面詞彙過濾,對實務安全防護有潛在應用價值。
速報
研究針對對齊語言模型提出輸入詞嵌入控制法:以黑盒文字審查API做零階梯度估計,對輸入嵌入執行梯度下降以減低生成回應的語意有害性。實驗在標準安全基準上將所有被標記回應中和,顯示輸入嵌入能作為有效控制變數。方法在語意層面進行微粒度優化,非僅表面詞彙過濾,對實務安全防護有潛在應用價值。
速報
結構泛化挑戰語意解析系統將已學規則套用到新結構。本文提出一種不依賴手寫組合規則、以帶離散瓶頸的神經細胞自動機(NCA)為核心的方法:透過局部迭代在資料中自學所有組合規則,並以類似細胞自動機的局部運算逐步建構全局語意結構。
速報
多代理強化學習依靠通訊機制協調行為並改善協作效率與收斂表現。許多方法以互動圖表述關係,並用圖神經網路學習消息傳遞,讓代理互補表徵與決策。本文綜述近期研究並提出一套泛化的GNN通訊流程,旨在統一概念並便於比較不同做法。該流程抽象化通訊步驟,有助於辨識設計選擇與方法限制。
速報
研究指出大型語言模型作為互動代理時出現一類行為性失效,傳統「幻覺」不足以描述。作者提出LLM精神病理框架,定義五大特徵:現實邊界崩解、植入性錯誤信念持續、在不可能條件下邏輯混亂、自我模型不穩定與認知過度自信。並以五軸量表LCIS對模型進行對抗性測試,結果提出三級嚴重度分類並指出糾正壓力可能惡化狀態。
速報
前沿AI公司常先在內部部署最先進模型,進行數週至數月的安全測試與迭代。該作法帶來內部使用風險,包含自主型AI濫用與內部人員威脅。作者提出一套統一的內部使用風險報告標準,要求說明管理計畫、風險緩解措施與剩餘風險。此標準可供不同法規下的開發者與稽核者使用,強化在外部公開前的風險辨識與管理。
速報
這個開源專案打造面向AI代理人的深度研究引擎,同步搜尋四十個頻道與十餘個中文來源,涵蓋論文、開發者社群與中文討論區。系統採用MCP-native架構,與大型語言模型解耦,回傳去重並排序的多來源索引結果,且附來源網址,幫助代理人跨平台比對與實證檢索。
速報
Anthropic吸引投資人高度關注,傳獲多項預授出資邀約,擬募約500億美元並評估約8,500至9,000億美元估值。Claude的Code與Cowork代碼平台推升年化營收逾3,000億美元並接近4,000億美元,董事會將於五月決定是否啟動此輪募資。
速報
母公司Alphabet旗下的Google Cloud在本季交出亮眼成績。成長主因為Gemini Enterprise及生成式人工智慧產品推動,公司亦擴充TPU與資料中心以滿足需求。生成式模型驅動的產品使用量和大型合約顯著增加,但短期仍受計算資源供給限制。市場反應強烈。
速報
Parallel Web Systems在五個月內完成由Sequoia領投的1億美元B輪,估值升至20億美元。這家由前Twitter執行長Parag Agrawal創辦的公司,提供針對AI代理人的網頁搜尋與研究API,強調以專用API整合網路資料、加速代理人檢索與研究流程。
速報
背景:從序列醫學影像預測疾病進展有助臨床決策。方法:提出以任務熵與後驗集中度衡量生成複雜度,並強調訓練與推論輸入對齊。實驗:在FAF資料比較五種條件,對齊顯著提升SSIM;當採集變異主導時,確定性回歸表現相當。在多廠牌多模態資料上評估,確定性模型匹配或超越三項基準。
速報
一篇來自 ArXiv 的研究針對「vibe coding」在建築業的安全風險進行實證評估,讓非技術使用者以自然語言指示大型語言模型產生可執行程式。
速報
背景:AI輔助程式設計廣泛採用但多數停留在提示與審查。方法:提出六層的AI程式碼成熟度模型(ACMM),以回饋迴路拓撲定義每一層,並以KubeStellar Console與Hive作為實證。結果:測試與回饋基礎設施被驗證為系統智慧的核心,能顯著提升處理與修復效能。