AI Infra

涵盖计算机底层基础、大模型训练部署和 CUDA GPU 编程等基础设施技术。

7 个子分类 52 篇文章

学习指南 2 篇

• AI Infra 学习资源
• AI Infra学习路线

前置知识 24 篇

• 🎯 内容更新日志

✈️ 编程基础 1 篇

• 1.0 编程语言入门

✈️ 大模型基础 11 篇

• 3.1 Transformer架构-快速入门篇
• 3.10 Tokenization与词嵌入
• 3.2 AI Infra工程师为什么必须懂Transformer
• 3.3 Transformer全貌及代码实现
• 3.4 Self-Attention机制深入理解
• 3.5 Transformer前馈网络FFN深入理解
• 3.6 Transformer位置编码深入理解
• 3.7 LayerNorm与残差连接深入理解
• 3.8 Transformer Decoder Block完整解析
• 3.9 从Transformer到LLM自回归生成深入理解
• 深度学习优化器(Optimization)

✈️ 通信 2 篇

• 🔥 集群通信网络与NCCL：分布式训练的通信骨架
• 1.1 通信拓扑入门

✈️ GPU硬件概述 3 篇

• 🔥 GPU基础知识：从硬件架构到AI计算
• GPU架构与存储体系
• NVIDIA GPU 架构演进：从 Volta 到 Blackwell

✈️ PyTorch 6 篇

• 🔥 PyTorch框架入门
• 4.1 Tensor 与自动微分
• 4.2 Module 与训练流程
• 4.3 调试与性能分析
• 4.4 动手实验
• PyTorch 2.0新特性

CUDA编程与算子优化 21 篇

• 🔥 CUDA编程入门指南

✈️ CUDA编程高阶 4 篇

• 第6章：Attention 算子
• 第7章：AI 编译器
• CUDA 13.1新特性：Tile编程模型
• Thread Block Cluster 架构特性

✈️ CUDA编程基础 10 篇

• 1.1 CUDA 开发环境搭建
• 1.2 CUDA 编程模型
• 1.3 CUDA 内存模型
• 1.4 第一个实用 Kernel：向量加法
• 2.1 Warp 与执行模型
• 2.2 内存访问优化
• 2.3 Occupancy 与资源分配
• 2.4 同步与原子操作
• 第1章：CUDA 编程入门
• 第2章：CUDA 性能优化基础

✈️ CUDA编程进阶 6 篇

• 4.1 CUDA Reduce算子优化
• 第3章：经典算子实现—Reduce
• 第4章：经典算子实现—GEMM
• 第5章：经典算子实现—Softmax 与算子融合
• 第8章：性能分析工具链
• 高效CUDA编程速查

分布式训练 1 篇

• 🔥 分布式训练入门

推理与部署 1 篇

• 大模型推理与部署入门

性能分析 2 篇

• Nsight Compute性能分析实战指南
• Nsight Systems性能分析实战指南

CUDA编程 1 篇

• 🎯 内容更新日志