prompt-engineering
prompts.chat:開源提示庫促進提示工程與多模型整合
prompts.chat 是一個由社群驅動的開源提示庫,原名 Awesome ChatGPT Prompts,現以可自架方式提供組織私有化部署選項。專案蒐羅並分類大量提示範例,支援多款大型語言模型與工具整合,並提供可搜尋介面與教學資源,方便開發者與研究者在提示工程實務中快速復用。
prompt-engineering
prompts.chat 是一個由社群驅動的開源提示庫,原名 Awesome ChatGPT Prompts,現以可自架方式提供組織私有化部署選項。專案蒐羅並分類大量提示範例,支援多款大型語言模型與工具整合,並提供可搜尋介面與教學資源,方便開發者與研究者在提示工程實務中快速復用。
ollama
GitHub上熱門開源專案Ollama提供本地化運行與整合多款開源大模型的工具鏈,支援CLI、REST API與Python/JavaScript套件,並可透過容器或系統安裝在個人或伺服器環境。此方案降低開發者部署模型的門檻,強化資料掌控與離線推理選項,對自架AI生態有實質影響。
GitHub MCP
GitHub 推出官方 MCP(Model Context Protocol)伺服器,目的在讓人工智慧工具與代理人能直接存取倉庫內容、閱讀程式碼、管理 Issue 與 PR,並協助分析 CI/CD 與安全問題。專案支援遠端託管版本與可在本地部署的替代方案,使用者需搭配相容的 MCP 主機與既有治理政策。
AstrBot
在GitHub上發現開源專案AstrBot,定位為整合多種即時通訊與大型語言模型的AI代理人助理。專案支援多種IM平台與多款LLM後端,並透過插件機制擴展功能;同時提供跨平台部署選項。該專案以AGPL授權發布,可能促進社群自建與協作應用發展。
Open WebUI
Open WebUI 是一套以 Python 為主的開源 AI 介面,支援 Ollama、OpenAI 相容 API 以及內建的檢索增強生成(RAG)引擎,讓使用者能在完全離線環境下部署大型語言模型(LLM)。專案在 GitHub 上已累積逾 13 萬星標與 1.9 萬次分支,展示出社群的高度熱烈與貢獻。
MLflow
MLflow是以Python為主的開源AI工程平台,專注支援代理人、巨型語言模型(LLM)與機器學習模型在生產環境的可觀測性、評估與治理。平台功能涵蓋執行時追蹤、模型評估、提示管理與優化,以及AI閘道來控管模型存取與成本。
vllm
vLLM是一個社群主導的開源專案,聚焦在為大型語言模型(LLM)提供高吞吐且節省記憶體的推論與服務能力。專案以效能優化與資源管理為核心,透過請求排程、記憶體共享與並行策略提升多模型併發效率,並支援在雲端或多租戶環境的部署。
Dify
一個新的開源專案在GitHub出現,提供生產級代理人工作流程平臺作為背景。它以TypeScript開發,支援自架與雲端部署,以低程式碼/無程式碼的工作流程編排為核心。專案整合RAG與多模型呼叫,提供治理與審計工具。此工具有望加速企業化AI流程落地。
Remnic
Remnic 是一個開源的本地優先記憶插件,為 OpenClaw 類型的人工智慧代理人提供跨會話的長期記憶。它以大型語言模型(LLM)驅動的內容抽取、以純 Markdown 檔案保存資料,並透過混合搜尋機制(QMD)支援語意檢索。
Transformers
Hugging Face 的 transformers 是一個定義並實作最先進模型的開源框架,支援文字、影像、語音與多模態任務,適用於訓練與推論兩種場景。此專案在社群與工業界扮演樞紐角色,提供模型定義、預訓練檢查點與工具整合,降低開發門檻並促進模型分享與複用。
Flowise
Flowise為一個開放原始碼專案,透過視覺化節點建立AI代理與自動化流程。專案採用TypeScript與React,並提供本地與Docker部署選項、節點化整合與自動產生API文件。此工具可讓開發者在低程式碼環境更快驗證代理式應用與工作流。
速報
Nim-Cli 是一款專為 Windows 開發者打造的開源命令列介面(CLI)工具。它透過 .NET 10 的異步處理能力,連接 NVIDIA NIM API,讓使用者能直接在終端機中調用最先進的 LLM(如 Llama 3、Mixtral、Gemma 等)。這不只是一個單純的聊天機器人,它更像是一個嵌入在系統底層的「智慧助手」,專注於程式碼生成、日誌分析與系統管理自動化。