生态集成与应用案例

Monarch 并非孤岛，它旨在与 PyTorch 现有的强大生态系统共存并赋能。

1. 与 TorchTitan 集成 (LLM 预训练)

TorchTitan 是 PyTorch 官方的大模型训练库。Monarch 可以作为 TorchTitan 的底层编排引擎。

• 场景：在 Lightning AI Notebook 或 Jupyter 中交互式启动 Llama 3 的预训练。
• 优势：
  • 持久化计算：Notebook 关闭后，后台的训练 Actor 依然存活。重新连接 Notebook 即可 Attach 到现有的训练作业。
  • 交互式调试：你可以在 Notebook 中暂停训练，检查某个 Rank 的梯度范数，甚至动态修改学习率，然后继续训练。

2. 强化学习 (RL) 工作流

RL 是最适合 Monarch 的场景之一，因为它涉及异构计算角色的复杂交互。

传统痛点

RL 训练循环通常包含：

• Generator: CPU 密集，模拟环境，生成数据。
• Inference: GPU 密集，使用旧策略网络进行推理。
• Trainer: GPU 密集，使用新数据更新策略网络。

协调这三者通常需要复杂的微服务架构或消息队列。

Monarch 解决方案

使用 Monarch，你可以将这三个角色定义为三个不同的 Actor Mesh：

• gen_mesh: 运行在 CPU 节点。
• infer_mesh: 运行在 GPU 推理节点。
• train_mesh: 运行在 GPU 训练节点。

控制器脚本作为一个简单的 while 循环，不断从 gen_mesh 拉取数据，发送给 infer_mesh，再将轨迹发给 train_mesh。

# 伪代码示例
while True:
    # 1. 生成数据
    obs = gen_mesh.step.call().get()
    
    # 2. 推理动作 (RDMA 直接传输 Tensor)
    actions = infer_mesh.predict.call(obs).get()
    
    # 3. 执行并训练
    trajectories = gen_mesh.act.call(actions).get()
    train_mesh.update.call(trajectories)

这种模式已经在 VERL (Volcano Engine RL) 和 TorchForge 等项目中得到验证，成功支持了数千卡规模的异构集群调度。

3. 总结

Monarch 通过提供灵活的编程原语，让开发者能够跳出 SPMD 的限制，构建更复杂、更智能、更具弹性的 AI 系统。无论你是做大模型预训练，还是复杂的强化学习探索，Monarch 都能提供强有力的支持。