推理效能

深度分析

Chain-in-Tree：以分支必要性提升 LLM 樹搜尋效能的框架

研究聚焦於大型語言模型在樹搜尋推理的效率問題，提出Chain-in-Tree框架以輕量BN評估決定分支時機，實驗在GSM8K與Math500上削減75%至85%運算成本且精度保持，顯示此技術可顯著提升AI推理效能。