分布式机器学习-系统,工程与实战


分布式机器学习

集合通信

参数服务器之PS-Lite

Pytorch DataParrallel

Pytorch DDP 的基础架构

DDP的动态逻辑

Horovod

GPipe

Pytorch 流水线并行

PipeDream 之基础架构

PipeDream之动态逻辑

Megatron

Pytorch 如何实现模型并行

分布式优化器

分布式运行环境之静态架构

分布式运行环境之动态逻辑

分布式策略基础

MirroredStrategy

ParameterServerStrategy