AMD 開源 16B 參數 MoE 模型 Instella-MoE

AMD宣布推出Instella-MoE，這是一款完全開源的混合專家（MoE）模型，擁有160億個參數，每個token啟動28億個參數。該模型從頭開始在AMD Instinct MI300X和MI325X GPU上使用ROCm堆疊進行訓練，並採用了架構創新，例如閘控多頭潛在注意力（Gated MLA）和FarSkip-Collective，以提升訓練和推理效率。 AMD表示，Instella-MoE-16B-A3B基礎模型平均得分為76.7，領先開源模型，並超越SmolLM3-3B和OLMo-3-7B，同時支援64K token上下文。AMD發布了所有權重、訓練配置、數據比例、檢查點和推理程式碼以促進可重複性，並計劃進一步開發開源模型。 [律動]