分布式机器学习-系统,工程与实战


分布式机器学习

集合通信

参数服务器之PS-Lite

Pytorch DataParrallel

Pytorch DDP 的基础架构

DDP的动态逻辑

Horovod

GPipe

Pytorch 流水线并行

PipeDream 之基础架构

PipeDream之动态逻辑

Megatron

Pytorch 如何实现模型并行

分布式优化器

分布式运行环境之静态架构

分布式运行环境之动态逻辑

分布式策略基础

MirroredStrategy

ParameterServerStrategy

Read more

Numba-即时编译-加速计算


Numba 是一个针对 Python 的 即时编译(Just-In-Time, JIT)编译器,专为加速数值计算和科学计算代码设计。它通过将 Python 函数(尤其是涉及 NumPy 数组和循环的代码)转换为高效的机器码,显著提升运行速度,同时保持 Python 代码的简洁性。

核心特点

  1. 零学习成本:无需编写 C/C++ 扩展或切换语言,仅通过装饰器(如 @njit)即可标记需要加速的函数。
  2. 与 NumPy 深度集成:对 NumPy 数组操作有原生优化支持,能高效处理向量化和循环计算。
  3. 支持 GPU 加速:通过 numba.cuda 模块可直接编写 GPU 并行代码(需 NVIDIA...

Read more

JProfiler-Java分析工具



JProfiler是领先的Java分析工具,可进行深度JVM分析,能解决性能问题、内存泄漏、线程问题等,对JDBC、JPA、HTTP调用、Spring和JEE等有良好支持,还支持Kubernetes、Docker和远程JVM分析,具备实时分析、IDE插件集成等功能,被超3万客户和超75%的财富500强企业使用。

## **核心功能**
- 深度JVM分析:性能、内存泄漏、线程问题
- 数据库支持:JDBC、JPA性能分析
- 容器支持:Kubernetes、Docker
- 远程分析:SSH零配置远程 profiling
- 框架支持:Spring、JEE组件分析
- 实时数据:实时展...

Read more

深度学习系统设计-理论与实践


人工智能系统概述

神经网络基础

深度学习框架基础

矩阵运算与计算机体系结构

深度学习的编译与优化

分布式训练算法与系统

异构计算集群调度与资源管理系统

深度学习推理系统

自动机器学习系统

强化学习系统

模型压缩与加速

人工智能安全与隐私

人工智能优化计算机系统

Read more

简明的Tensorflow2-Books


Tensorflow 概述

基础篇

安装与环境配置

基础

模型建立与训练

常用模块

部署篇

Tensorflow 模型导出

Tensorflow Serving

Tensor flowLite

TensorFlow.js

大规模训练篇

分布式训练

使用TPU 训练Tensorflow 模型

扩展篇

Tenforflow Hub 模型复用

Tensorflow Datasets 数据集载入

Swift for Tensorflow

Tensorflow Quantum :混合量子-经典机器学习

高级篇

图执行模式下的Tensorflow2

tf.GradientTape 详解

Tensor...

Read more