深度分析
Sutra：將旋轉綁定、Lagrange 三值邏輯與尾遞迴編譯為可微 PyTorch 張量運算語言
面對凍結嵌入的挑戰，本文提出Sutra可編譯為PyTorch張量圖的純函數語言。核心包含旋轉綁定、Lagrange插值的三值模糊邏輯與尾遞迴循環，將控制流與字串I/O下推為融合張量運算。結果在多個嵌入基底上驗證可解碼且可透過自動微分訓練收斂。
PyTorch
深度分析
PaddleOCR 3.5 支援 Transformers 後端：在 PyTorch 生態系中部署 OCR 與文件解析
PaddleOCR推出3.5版本,把OCR與文件解析模型帶入Transformers後端。開放開發者以engine參數切換並透過engine_config配置dtype、裝置與注意力實作。此舉降低整合摩擦,讓RAG與文件AI流程更容易接入Transformers生態。
深度分析
Safetensors 加入 PyTorch 基金會：推動零拷貝、裝置感知與量化支援的序列化演進
背景：Safetensors為了避免pickle格式能執行任意程式碼而誕生。核心做法：用JSON標頭加原始張量、零拷貝與延遲載入，並支持分段載入與裝置感知。主要影響：移入PyTorch基金會後，治理更中立，將加速在多卡訓練與推論部署的採用。
PyTorch
Automodel：支援 Hugging Face 的 PyTorch 分散式訓練平台，優化 LLM/VLM 微調流程
Automodel是GitHub上的開源專案，聚焦PyTorch原生分散式訓練平台。同時支援HuggingFace模型即插即用，方便微調與預訓練流程。專案採DTensor與SPMD設計，搭配優化配方與自訂內核以提升大模型訓練效能。對研究與工程團隊來說，能降低整合門檻並提高訓練效率與可擴展性。
速報
混合精度訓練框架大幅提升 Neural ODE 效能
隨著模型與資料規模不斷擴大，深度學習的計算成本持續上升。傳統的混合精度訓練透過在高精度儲存權重、低精度執行運算來降低成本，但在連續時間模型如神經常微分方程（Neural ODE）上仍不穩定。
LLM
從零實作大型語言模型：rasbt 的 LLMs-from-scratch 教學與 PyTorch 範例
GitHub上出現一個以教學與實作為主的開源專案，示範如何從零實作GPT類大型語言模型。專案以JupyterNotebook與PyTorch逐步說明模型架構、預訓練流程、優化與微調方法，並附帶載入較大預訓練權重的範例與實驗代碼。對於自學者與開發者，此資源提供可操作的學習路徑與實作參考。
知識蒸餾
知識蒸餾：將 12 個模型集合壓縮為部署友好 AI 模型
為降低大型模型在生產環境的延遲與複雜度，研究者利用知識蒸餾將 12 個教師模型的軟目標作為指導，訓練出更小的學生模型。透過溫度縮放與 KL 散度損失，學生模型在 160 倍壓縮下恢復 53.8% 的精度提升。此方法顯著提升部署效率，對 AI 應用具實質推動力。