MoE

1 articles tagged MoE

Workflows & Automation

Scale Agentic Coding Workflows Using Meta’s Muse Spark Open on NVIDIA GB300 NVLink 72 Hardware

Meta 发布 Muse Spark Open,一个 816B 参数的 MoE 模型,拥有 42B 活跃参数和 1M token 上下文,专为代理编程工作流设计。它在 NVIDIA GB300 NVL72 上训练和优化,支持多步任务执行、工具调用、子代理协调和原生多模态感知。稀疏 MoE 路由每次激活 42B 参数,在 Blackwell Ultra 上实现每 GPU 50K tokens/s 和…