LLM 路由
UncommonRoute:Python 實作的自動 LLM 路由與成本優化代理層
開源專案UncommonRoute以自動化LLM模型路由為核心,根據請求自動挑選最經濟模型以保證任務通過率與合理準確度。這種路由器方式以一個可替代高階模型的代理層執行,顯著壓低API使用成本並支援即插即用部署,官方基準展示了82%成本節省、79.4%準確度與93.4%通過率。
LLM 路由
開源專案UncommonRoute以自動化LLM模型路由為核心,根據請求自動挑選最經濟模型以保證任務通過率與合理準確度。這種路由器方式以一個可替代高階模型的代理層執行,顯著壓低API使用成本並支援即插即用部署,官方基準展示了82%成本節省、79.4%準確度與93.4%通過率。
LLM
GitHub上出現一個以教學與實作為主的開源專案,示範如何從零實作GPT類大型語言模型。專案以JupyterNotebook與PyTorch逐步說明模型架構、預訓練流程、優化與微調方法,並附帶載入較大預訓練權重的範例與實驗代碼。對於自學者與開發者,此資源提供可操作的學習路徑與實作參考。
holaOS
holaOS 是一個在 GitHub 上備受關注的開源專案,定位為支援長時程(long‑horizon)工作的代理人環境。專案以 TypeScript 為核心語言,結合 runtime、持久記憶、工具介面與桌面工作區,試圖讓代理能在多次執行間維持狀態、逐步演化並支援檢視與交互。
Model Context Protocol (MCP)
開源的ModelContextProtocol伺服器,讓AI助理透過Google搜尋、爬取含JavaScript的網頁、擷取YouTube字幕與解析PDF/DOCX/PPTX。支援學術與專利檢索,方便資料蒐集與引文擷取,對研究與競爭情報流程具實務價值。
ai-native-database
新發現的開源專案Infinity,定位為大型語言模型應用的AI‑native資料庫。結合稠密向量、稀疏向量、張量與全文檢索,支援混合搜尋與重排序。以單一二進位檔與Python API簡化部署,助力RAG應用工程化落地。官方文件宣稱在百萬級向量上可達0.1毫秒延遲與每秒上萬次查詢。
promptfoo
Promptfoo 是一套開源 CLI 與程式庫,用於評估大型語言模型(LLM)應用並進行紅隊測試與弱點掃描。它以宣告式設定與命令列、CI/CD 整合為主,支援多家模型供應商比較(如 GPT、Claude、Gemini、Llama 等),並提供測試、漏洞掃描與績效比對功能。
claude-code
GitHub上出現一個名為Learn Claude Code的開源專案,提出代理能力由模型而來的觀點。專案以TypeScript與簡潔harness概念示範如何以輕量工具建構代理車架,並強調模型與工程的整合。此類實作可作為把大型模型產品化的入門範例。
ms-swift
MS‑SWIFT(Scalable lightWeight Infrastructure for Fine‑Tuning)是一個由 ModelScope 發起的開源工具,目標是提供輕量且可擴展的微調基礎設施,支援 PEFT 與全參數微調路徑。
everything-claude-code
Everything Claude Code 是一個起源於 Anthropic 黑客松、由社群驅動的開源專案,定位為代理人執行與效能最佳化系統。專案整合技能(skills)、直覺(instincts)、記憶優化、持續學習與安全掃描,並提供生產導向的設定、hooks 與擴充範例,旨在把研究導向的開發流程帶入實務產品。
RivalSearchMCP
RivalSearchMCP是一個開源的決定性研究MCP伺服器,設計目標是在不依賴伺服器內部大型語言模型的前提下,整合多引擎網路搜尋、社群平台、新聞與學術資料庫等檢索來源。專案提供多種專門化工具,回傳可審核的結構化輸出,方便外部代理人做後續合成與鏈接。
Agentic RAG
拿個offer推出的開源專案ragent,定位企業級AgenticRAG平台,覆蓋文件解析、多路檢索、意圖識別、問題重寫與工具調用。以Java與Spring為技術棧,整合向量庫與管理後台,強調全鏈路追蹤與工程化部署,對企業建置RAG具參考價值。有利於團隊快速建置生產級RAG流程。
agent-deck
在開源專案agent-deck中,開發者可在終端管理多種AI編碼代理,專案以Go開發並提供TUI介面與插件整合範例,可直接與Claude、Gemini、OpenCode等代理配合,簡化會話管理與工作流程,對開發者協作有實際幫助。利於團隊快速切換代理與重現流程。