聯合預訓練

深度分析

Chronicle 多模態骨幹：decoder-only Transformer 聯合預訓練文本與時間序列

Chronicle提出一個從隨機初始化同時學習自然語言與時間序列的多模態基礎模型。研究用單一的324M參數解碼器型Transformer，讓文本標記與時序patch共享相同的模型層、注意力與殘差流，僅在輸入輸出介面保留模態差異。預訓練以大多為單模態的微批次為主，並在第二階段以少量交錯樣本完成顯式對齊。