黑箱評估框架

深度分析

黑箱評估框架驗證大型語言模型自動生成設計結構矩陣的效能與限制

隨著系統複雜度提升，設計結構矩陣（DSM）成為關鍵分析工具。研究提出黑箱評估框架，將LLM自動生成的DSM與人工驗證的真實矩陣比對，結合完整度、正確度、耦合密度與穩定性指標。結果顯示在輸入清晰時模型可產出可接受的DSM，但在語意模糊或提示不佳時仍易產生幻覺與拒絕回應，限制其在MBSE工作流程可靠度。