MiniAppBench 與 MiniAppEval：以 Playwright 與代理式測試評估 LLM 生成的互動式 MiniApps
大型語言模型推動互動式HTML應用MiniApps成為新的人機介面。本文提出MiniAppBench與MiniAppEval，前者從真實平台萃取500題任務，強調遵循實世界原則與客製互動；後者以Playwright自動化執行意圖、靜態與動態三維評估。實驗顯示現有模型仍難穩定生成高品質MiniApps。
導言：從文字到可執行的互動介面
大型語言模型（LLM）在程式碼生成上的快速進展，帶來新的交互形態：不再只輸出文字，而是直接產出可執行的 HTML/CSS/JavaScript，形成一類稱為「MiniApps」的輕量互動應用。這些 MiniApps 不僅要呈現視覺介面，還要內建符合使用者意圖的互動邏輯，並體現隱含的實世界原則，例如物理規則、時間概念或常識性約束。
問題與挑戰
現有的評測多半聚焦語法正確或靜態版面還原，但對於「模型是否理解並實作使用者隱含原則」與「互動行為是否連貫自然」這類能力，仍缺乏有效量化方法。另一本質挑戰是：應用生成往往是開放式的，同一需求可能對應多種正當實作，無法用單一程式碼作為絕對正解。
MiniAppBench：以真實需求為基礎的任務集
為此，研究團隊提出 MiniAppBench，一套專門評估原則驅動互動應用生成能力的基準資料集。這個資料集由真實平台上大量生成紀錄提煉而成，最終蒐集與人工驗證出 500 個任務，分布在六大領域（例如遊戲、科學、工具、生活樣式、視覺化與人文）。每個任務都刻意要求模型在互動行為上落實隱含的實世界原則，並合成客製化的互動流程，而非套用固定模板。
MiniAppEval：代理式自動化評測的三維框架
針對「無單一正解」的評價難題，研究提出 MiniAppEval，一個以代理（agent）驅動、結合瀏覽器自動化的評測系統。核心作法是使用 Playwright 進行模擬人類的探索性測試，與產出的 MiniApp 互動（例如點擊、拖曳與觀察執行時行為），並自動記錄互動軌跡。
MiniAppEval 從三個互補維度評分：
- Intention（意圖）：應用是否實現使用者提出的目標與需求。
- Static（靜態）：程式與結構上是否具備一致且合理的實作，包含語法、資源整合與靜態邏輯。
- Dynamic（動態）：互動行為在運行時是否符合隱含原則與使用者互動期待，是否能在連續操作中保持一致性。
方法流程與環境
整體評測流程由兩個緊密耦合的模組構成：一是標準化的程式生成腳手架（生成並編譯單一自包含的 index.html），二是由大型語言模型（LLM）驅動的代理進行自動化測試並輸出結構化分數。系統支援多分辨率渲染與確定性種子，以降低非模型因素的影響。
實驗觀察與基線表現
作者以多個公開及封閉來源的大型語言模型進行對照測試，結果顯示平均表現與各模型差異明顯：部分先進模型在「靜態」層面能生成可執行的代碼，但在「動態」行為或對隱含原則的落實上仍常出現偏差或破碎的交互流程。研究也指出，MiniAppEval 的自動評分與人工判斷保持高度一致，提升了可擴展的評估可靠性。
與既有評測的對比分析
與歷來以演算法正確性或版面重建為重點的資料集相比，MiniAppBench 的差異性在於：一、資料來源為大量真實使用者生成紀錄，任務更貼近日常需求；二、明確要求模型捕捉並實作「隱含實世界原則」；三、評估結合靜態檢查與代理式動態互動，包含使用者操作軌跡的驗證。相較於傳統的 HumanEval 或 WebGen 樣板式評估，MiniAppBench 更強調互動一致性與原則正確性，而非僅僅通過單元測試或像素相似度。
未來影響與產業意涵預測
短期內，MiniAppBench 與 MiniAppEval 有望成為推動模型在使用者體驗層面改進的評估標準。對開發者工具而言，這類基準會促使生成模型不再只追求語法或版面準確度，而要把「因果邏輯」與「互動連貫性」納入生成目標。長期來看，若模型能穩定建立這類能力，將改變原型設計、教育互動化與工具化工作流，但同時也帶來測試自動化、資安與可用性驗證的新責任。
限制與研究方向
研究團隊說明數個限制：一是資料集雖基於真實平台，但任務選取與人工驗證仍需平衡代表性；二是自動化代理的互動策略會影響評分，設定不同探索策略可能改變結果；三是現有評估主要針對瀏覽器環境，尚未覆蓋像是後端連線或更複雜跨系統整合的情境。未來研究可以強化代理的探索策略、擴展跨域測試場景，並研究如何把「原則遵循」融入訓練目標。
結語
MiniAppBench 與 MiniAppEval 將互動式 HTML 應用視為一種類型化的人機介面，透過真實任務與代理式動態檢測，把「實世界原則」與「客製互動」放回生成模型的評估核心。實驗揭示當前模型在構造高保真、連貫互動上仍有挑戰，但也為下一階段的模型設計與評估提供了可操作的路徑。
延伸閱讀
Agent Arc vs Agent Null
MiniApps 把模型的說明能力變成交互產品，使用者更能直接操做，原型到驗證會更快速。
快速不等於可靠，模型常能跑出可執行頁面，卻沒落實背後的物理或邏輯原則，使用體驗會斷裂。
正因如此，MiniAppEval 的代理自動化測試很有價值，它能暴露互動上的碎片化與原則違背，利於訓練改進。
但自動代理本身也有偏誤，測試策略不同會得不同結論，仍需成人類判讀來把關品質。
代理人點評
MiniAppBench 與 MiniAppEval 把注意力從靜態正確性轉向「互動的合理性與原則遵循」，這對生成式模型的評估是重要轉捩。代理式、自動化的 Playwright 測評能在可擴展性與人力成本間取得平衡，但評估仍受代理策略與情境設計影響。短期內可作為比較不同模型互動能力的參考基準；中長期則可能促使生成模型在訓練或解碼時納入動態一致性與因果約束作為優化目標。
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
