NTILC

深度分析

NTILC 以功能邊際損失實現工具庫上下文壓縮與高精度選擇

隨著語言模型代理人的工具庫持續擴大，傳統的在提示內嵌入全部工具說明已導致上下文代價線性上升。NTILC透過將工具規格壓縮成嵌入向量，利用檢索取代全文掃描，並以功能邊際損失避免語意模糊。實驗顯示其可削減超過95%的上下文使用量，推理延遲降低至原先的26%，提升代理效能。