GitHub 探索

vllm

vLLM：為 LLM 推理打造的高吞吐與記憶體優化引擎

vLLM是一個社群主導的開源專案，聚焦在為大型語言模型（LLM）提供高吞吐且節省記憶體的推論與服務能力。專案以效能優化與資源管理為核心，透過請求排程、記憶體共享與並行策略提升多模型併發效率，並支援在雲端或多租戶環境的部署。

Dify

Dify 平台解析：TypeScript、RAG 與自建部署的代理人工作流實作

一個新的開源專案在GitHub出現,提供生產級代理人工作流程平臺作為背景。它以TypeScript開發,支援自架與雲端部署,以低程式碼/無程式碼的工作流程編排為核心。專案整合RAG與多模型呼叫,提供治理與審計工具。此工具有望加速企業化AI流程落地。

Remnic

Remnic 與 OpenClaw 整合：本地優先記憶、QMD 混合搜尋與 LLM 抽取

Remnic 是一個開源的本地優先記憶插件，為 OpenClaw 類型的人工智慧代理人提供跨會話的長期記憶。它以大型語言模型（LLM）驅動的內容抽取、以純 Markdown 檔案保存資料，並透過混合搜尋機制（QMD）支援語意檢索。

Transformers

Hugging Face Transformers 的架構、跨模態支援與生態整合

Hugging Face 的 transformers 是一個定義並實作最先進模型的開源框架，支援文字、影像、語音與多模態任務，適用於訓練與推論兩種場景。此專案在社群與工業界扮演樞紐角色，提供模型定義、預訓練檢查點與工具整合，降低開發門檻並促進模型分享與複用。

Flowise

Flowise：以視覺化節點與 TypeScript/React 打造可自架的低程式碼 AI 代理平台

Flowise為一個開放原始碼專案，透過視覺化節點建立AI代理與自動化流程。專案採用TypeScript與React，並提供本地與Docker部署選項、節點化整合與自動產生API文件。此工具可讓開發者在低程式碼環境更快驗證代理式應用與工作流。

速報

Nim-Cli：以 NVIDIA NIM 與 .NET 10 打造的 Windows 終端代理

Nim-Cli 是一款專為 Windows 開發者打造的開源命令列介面（CLI）工具。它透過 .NET 10 的異步處理能力，連接 NVIDIA NIM API，讓使用者能直接在終端機中調用最先進的 LLM（如 Llama 3、Mixtral、Gemma 等）。這不只是一個單純的聊天機器人，它更像是一個嵌入在系統底層的「智慧助手」，專注於程式碼生成、日誌分析與系統管理自動化。

LLM 路由

UncommonRoute：Python 實作的自動 LLM 路由與成本優化代理層

開源專案UncommonRoute以自動化LLM模型路由為核心，根據請求自動挑選最經濟模型以保證任務通過率與合理準確度。這種路由器方式以一個可替代高階模型的代理層執行，顯著壓低API使用成本並支援即插即用部署，官方基準展示了82%成本節省、79.4%準確度與93.4%通過率。

LLM

從零實作大型語言模型：rasbt 的 LLMs-from-scratch 教學與 PyTorch 範例

GitHub上出現一個以教學與實作為主的開源專案，示範如何從零實作GPT類大型語言模型。專案以JupyterNotebook與PyTorch逐步說明模型架構、預訓練流程、優化與微調方法，並附帶載入較大預訓練權重的範例與實驗代碼。對於自學者與開發者，此資源提供可操作的學習路徑與實作參考。

holaOS

holaOS — TypeScript 與 Electron 打造的長時程代理開發環境

holaOS 是一個在 GitHub 上備受關注的開源專案，定位為支援長時程（long‑horizon）工作的代理人環境。專案以 TypeScript 為核心語言，結合 runtime、持久記憶、工具介面與桌面工作區，試圖讓代理能在多次執行間維持狀態、逐步演化並支援檢視與交互。

Model Context Protocol (MCP)

Google Researcher MCP：基於 Model Context Protocol (MCP) 的 TypeScript 研究伺服器

開源的ModelContextProtocol伺服器，讓AI助理透過Google搜尋、爬取含JavaScript的網頁、擷取YouTube字幕與解析PDF/DOCX/PPTX。支援學術與專利檢索，方便資料蒐集與引文擷取，對研究與競爭情報流程具實務價值。

ai-native-database

Infinity：single‑binary AI‑native 資料庫，支援稠密/稀疏向量與多維張量

新發現的開源專案Infinity，定位為大型語言模型應用的AI‑native資料庫。結合稠密向量、稀疏向量、張量與全文檢索，支援混合搜尋與重排序。以單一二進位檔與Python API簡化部署，助力RAG應用工程化落地。官方文件宣稱在百萬級向量上可達0.1毫秒延遲與每秒上萬次查詢。

promptfoo

Promptfoo — LLM 評估與紅隊測試工具，支援多模型與 CI/CD 整合

Promptfoo 是一套開源 CLI 與程式庫，用於評估大型語言模型（LLM）應用並進行紅隊測試與弱點掃描。它以宣告式設定與命令列、CI/CD 整合為主，支援多家模型供應商比較（如 GPT、Claude、Gemini、Llama 等），並提供測試、漏洞掃描與績效比對功能。