技术博客

探索技术,分享知识

245 日志 31 分类 185 标签
  • 首页
  • 归档
  • 分类
  • 标签
  • 关于
  • 搜索
  • 文章目录
  • 站点概览
  1. 本节简介
245 日志
31 分类
185 标签
GitHub
近期文章
  • []
  • [AI Infra] NVIDIA GPU 架构演进:从 Volta 到 Blackwell
  • [AI Infra] 第6章:Attention 算子
  • [AI Infra] 第7章:AI 编译器
  • [AI Infra] 4.1 Tensor 与自动微分
  • [AI Infra] 4.2 Module 与训练流程
  • [AI Infra] 4.3 调试与性能分析
  • [AI Infra] 4.4 动手实验
  • [AI Infra] 🔥 GPU基础知识:从硬件架构到AI计算
  • [AI Infra] 第4章:经典算子实现—GEMM
  • [AI Infra] 第5章:经典算子实现—Softmax 与算子融合
  • [AI Infra] 第8章:性能分析工具链
  • [AI Infra] 第1章:CUDA 编程入门
  • [AI Infra] 第2章:CUDA 性能优化基础
  • [AI Infra] 第3章:经典算子实现—Reduce
  • [AI Infra] 🎯 内容更新日志
  • [AI Infra] 🎯 内容更新日志
  • [AI Infra] PyTorch 2.0新特性
  • [AI Infra] CUDA 13.1新特性:Tile编程模型
  • [AI Infra] 2.4 同步与原子操作
  • [AI Infra] 2.3 Occupancy 与资源分配
  • [AI Infra] 2.2 内存访问优化
  • [AI Infra] 2.1 Warp 与执行模型
  • [AI Infra] 1.4 第一个实用 Kernel:向量加法
  • [AI Infra] 1.3 CUDA 内存模型
  • [AI Infra] 1.2 CUDA 编程模型
  • [AI Infra] 1.1 CUDA 开发环境搭建
  • [求职面试] 英伟达 AI Infra 校招 (2)
  • [求职面试] AI Infra 校招 (1)
  • [求职面试] AI Infra 面经 (1)
  • [求职面试] 文远知行 AI Infra 二面
  • [求职面试] 智源研究院 AI Infra 二面
  • [求职面试] 智源研究院 AI Infra 一面
  • [求职面试] 传音 AI Infra 校招 一面
  • [求职面试] 小厂 AI Infra 实习 一面
  • [求职面试] 经纬恒润 AI Infra 二面
  • [求职面试] 易控智驾 AI Infra 二面
  • [求职面试] 三星 AI Infra 一面 (1)
  • [求职面试] 商汤 AI Infra 面试
  • [求职面试] 壁仞科技 AI Infra 实习
  • [求职面试] 寒武纪 AI Infra 实习
  • [求职面试] 后摩智能 AI Infra 实习
  • [求职面试] 元戎启行 AI Infra 校招 一面 (2)
  • [求职面试] 元戎启行 AI Infra 校招 一面 (1)
  • [求职面试] 大疆 AI Infra 校招 一面
  • [求职面试] 大疆 AI Infra 校招 二面
  • [求职面试] 海康威视 AI Infra 一面
  • [求职面试] 海康威视 AI Infra
  • [求职面试] 海康威视 AI Infra 实习 一面
  • [求职面试] 蔚来 AI Infra 实习 HR面
  • [求职面试] 蔚来 AI Infra 实习 一二三面
  • [求职面试] 小米 AI Infra 实习 一面 (1)
  • [求职面试] 阿里巴巴 云 AI Infra 实习 二面 (1)
  • [求职面试] 美团 AI Infra 一面
  • [求职面试] 英伟达 AI Infra
  • [求职面试] 腾讯 AI Infra 实习 一二面
  • [求职面试] 百度 AI Infra 实习 (2)
  • [求职面试] 百度 AI Infra 实习 一面 (3)
  • [求职面试] 百度 AI Infra (2)
  • [求职面试] 百度 AI Infra (2)
  • [求职面试] 百度 AI Infra (2)
  • [求职面试] 百度 AI Infra 校招 一面
  • [求职面试] 百度 AI Infra 校招 二面 (2)
  • [求职面试] 字节跳动 AI Infra 实习 一二三面
  • [求职面试] 字节跳动 AI Infra 一面 (2)
  • [求职面试] 字节跳动 AI Infra 一面 (1)
  • [求职面试] 字节跳动 AI Infra (2)
  • [求职面试] 字节跳动 AI Infra (1)
  • [求职面试] AI Infra 综合面经题库 (6)
  • [求职面试] 腾讯 AI Infra 校招 一二面1
  • [求职面试] 小米 AI Infra 校招 一面
  • [求职面试] 小厂 AI Infra 一面
  • [求职面试] 太初 AI Infra 实习 一面 (1)
  • [求职面试] 阿里巴巴 AI Infra 校招 一面
  • [求职面试] 旷视科技 AI Infra 实习 一面
  • [求职面试] 蚂蚁 AI Infra 实习 一面 (1)
  • [求职面试] 理想汽车 AI Infra 一面
  • [求职面试] 好未来 AI Infra 一面
  • [求职面试] 蔚来 AI Infra 实习 一面 (2)
  • [求职面试] 格灵深瞳 AI Infra 一面
  • [求职面试] MiniMax AI Infra 实习 一面 (1)
  • [求职面试] 百度 AI Infra 一面 (2)
  • [求职面试] 腾讯 AI Infra 实习 一面 (2)
  • [求职面试] 快手 AI Infra 实习 一面 (3)
  • [求职面试] 快手 AI Infra 实习
  • [求职面试] 字节跳动 AML AI Infra 一二面
  • [求职面试] 蔚来 AI Infra 实习 二面
  • [求职面试] 百度 AI Infra 实习 (1)
  • [求职面试] 阿里巴巴 AI Infra 实习 (1)
  • [求职面试] 阶跃星辰 AI Infra 实习
  • [求职面试] AI Infra 综合面经题库 (5)
  • [求职面试] 阿里巴巴 控股集团 AI Infra 实习 一面
  • [求职面试] 蔚来 AI Infra 实习 一面 (1)
  • [求职面试] 快手 AI Infra 实习 一面 (2)
  • [求职面试] 快手 AI Infra 校招 (2)
  • [求职面试] 小鹏汽车 AI Infra
  • [求职面试] 科大讯飞 AI Infra 校招 一面
  • [求职面试] 百度 AI Infra 校招
  • [求职面试] 小鹏汽车 AI Infra 一面
  • [求职面试] 荣耀 AI Infra 校招 二面
  • [求职面试] 飞腾 AI Infra 校招 二面
  • [求职面试] OPPO 云 AI Infra 实习 一面
  • [求职面试] 蚂蚁 AI Infra 校招 一面
  • [求职面试] OPPO AI Infra 实习 二面
  • [求职面试] 字节跳动 AI Infra 校招 一面
  • [求职面试] 卓驭 AI Infra 校招 二面
  • [求职面试] 摩尔线程 AI Infra 实习 二面
  • [求职面试] 小鹏汽车 AI Infra 实习
  • [求职面试] 科大讯飞 AI Infra 校招
  • [求职面试] 百度 AI Infra 一面 (1)
  • [求职面试] 蔚来 AI Infra 实习
  • [求职面试] 美团 AI Infra 实习
  • [求职面试] 美团 北斗 AI Infra 校招
  • [求职面试] 科大讯飞 飞星 AI Infra 校招
  • [求职面试] 小马智行 AI Infra 实习
  • [求职面试] 拼多多 AI Infra
  • [求职面试] AIInfra求职指南
  • [求职面试] 阿里巴巴 国际 AI Infra 实习 (1)
  • [求职面试] 网易 AI Infra 校招
  • [求职面试] 腾讯 AI Infra
  • [求职面试] 快手 AI Infra 校招 一面
  • [求职面试] 阿里巴巴 控股集团 AI Infra 一面
  • [求职面试] 阿里巴巴 云 AI Infra 实习
  • [求职面试] 字节跳动 AI Infra 校招 (1)
  • [求职面试] 智谱 AI Infra 实习 一面
  • [求职面试] 小厂 AI Infra 实习 (2)
  • [求职面试] AI Infra 综合面经题库 (3)
  • [求职面试] 快手 AI Infra 校招 (1)
  • [求职面试] AI Infra 综合面经题库 (2)
  • [求职面试] 小厂 AI Infra 实习 (1)
  • [求职面试] 百度 AI Infra 实习 一面 (1)
  • [求职面试] 小米 AI Infra 校招
  • [求职面试] 快手 AI Infra 实习 一面 (1)
  • [求职面试] 百度 AI Infra (1)
  • [求职面试] 腾讯 AI Infra 实习 一面 (1)
  • [求职面试] 文远知行 AI Infra 校招 一面
  • [求职面试] 数坤科技 AI Infra 实习 一面
  • [求职面试] 快手 AI Infra 一面
  • [求职面试] AI Infra 综合面经题库 (1)
  • [求职面试] 京东 AI Infra 校招 一面
  • [求职面试] AI Infra 综合面经题库 (7)
  • [求职面试] 腾讯 AI Infra 实习
  • [求职面试] 贝壳 AI Infra
  • [求职面试] 中科曙光 AI Infra 二面 (2)
  • [求职面试] 华为 AI Infra (2)
  • [求职面试] 联想 AI Infra 实习 一面
  • [求职面试] 米哈游 AI Infra 实习 二面
  • [求职面试] 虾皮 AI Infra 实习 (2)
  • [求职面试] 京东 AI Infra 实习
  • [求职面试] 荣耀 AI Infra 一面
  • [求职面试] MiniMax AI Infra 实习 一面 (2)
  • [求职面试] MiniMax AI Infra 实习 二面
  • [求职面试] MiniMax AI Infra 一面
  • [求职面试] 百度 AI Infra 校招 二面 (3)
  • [求职面试] 百度 AI Infra 二面
  • [求职面试] 百度 AI Infra 一面 (3)
  • [求职面试] 阿里巴巴 AI Infra 一面 (2)
  • [求职面试] 阿里巴巴 AI Infra 一面 (1)
  • [求职面试] 阿里巴巴 云 AI Infra 实习 二面 (2)
  • [求职面试] 阿里巴巴 淘天 AI Infra 一面 (2)
  • [求职面试] 阿里巴巴 AI Infra 实习 (2)
  • [求职面试] 阿里巴巴 云 AI Infra 二面
  • [求职面试] 阿里巴巴 淘天 AI Infra 一面 (1)
  • [求职面试] 字节跳动 AI Infra 实习 一面 (4)
  • [求职面试] 字节跳动 抖音电商 AI Infra
  • [求职面试] 字节跳动 豆包 AI Infra 实习 二面
  • [求职面试] 字节跳动 抖音 AI Infra
  • [求职面试] AI Infra 一面
  • [求职面试] AI Infra 综合面经题库 (4)
  • [求职面试] B站 AI Infra 实习 一面
  • [求职面试] Teleai AI Infra 实习 一面
  • [求职面试] vivo AI Infra 校招
  • [求职面试] 三星 AI Infra 一面 (2)
  • [求职面试] 三星 AI Infra 一面 (3)
  • [求职面试] 上海AI实验室 AI Infra 实习 二面
  • [求职面试] 中兴 AI Infra 二面
  • [求职面试] 中科类脑 AI Infra 实习 一面
  • [求职面试] 北极雄芯 AI Infra 一面
  • [求职面试] 华为 AI Infra 实习 (2)
  • [求职面试] 卓驭 AI Infra 校招 一面
  • [求职面试] 卓驭 AI Infra 实习
  • [求职面试] 南湖研究院 AI Infra 一面
  • [求职面试] 原粒半导体 AI Infra 一面
  • [求职面试] 壁仞科技 AI Infra 实习 一面
  • [求职面试] 太初 AI Infra 一面
  • [求职面试] 太初 AI Infra 实习 一面 (2)
  • [求职面试] 字节跳动 AI Infra 实习 一面 (1)
  • [求职面试] 小光子 AI Infra 实习 一面
  • [求职面试] 小厂 AI Infra 实习 (4)
  • [求职面试] 小米 AI Infra 一面
  • [求职面试] 小米 AI Infra 实习 一二面
  • [求职面试] 快手 AI Infra 校招 (3)
  • [求职面试] 旷视科技 AI Infra 校招
  • [求职面试] 沐曦 AI Infra 实习
  • [求职面试] 沐曦 AI Infra 实习 一面
  • [求职面试] 燧原科技 AI Infra 社招 一面
  • [求职面试] 理想汽车 AI Infra 校招 一面
  • [求职面试] 理想汽车 云 AI Infra 实习 一面
  • [求职面试] 百度 AI Infra 校招 二面 (1)
  • [求职面试] 美团 AI Infra 校招 一面
  • [求职面试] 腾讯 TEG AI Infra 一二三面
  • [求职面试] 蚂蚁 AI Infra 实习 一面 (2)
  • [求职面试] 蚂蚁 AI Infra 实习 三面
  • [求职面试] 识渊科技 AI Infra 实习 一面
  • [求职面试] 辉羲智能 AI Infra 实习 一二三面
  • [求职面试] 遂原科技 AI Infra 实习 一面
  • [求职面试] 阿里巴巴 AI Infra (1)
  • [求职面试] 阿里巴巴 AI Infra (2)
  • [求职面试] 阿里巴巴 AI Infra 实习 一面
  • [求职面试] 飞腾 AI Infra 实习 一面
  • [AI Infra] 4.1 CUDA Reduce算子优化
  • [AI Infra] 深度学习优化器(Optimization)
  • [AI Infra] 3.10 Tokenization与词嵌入
  • [AI Infra] 3.3 Transformer全貌及代码实现
  • [AI Infra] 3.9 从Transformer到LLM自回归生成深入理解
  • [AI Infra] 3.8 Transformer Decoder Block完整解析
  • [AI Infra] 3.7 LayerNorm与残差连接深入理解
  • [AI Infra] 3.6 Transformer位置编码深入理解
  • [AI Infra] 3.5 Transformer前馈网络FFN深入理解
  • [AI Infra] 1.1 通信拓扑入门
  • [AI Infra] 3.4 Self-Attention机制深入理解
  • [AI Infra] 🔥 PyTorch框架入门
  • [AI Infra] 3.2 AI Infra工程师为什么必须懂Transformer
  • [AI Infra] 3.1 Transformer架构-快速入门篇
  • [AI Infra] 1.0 编程语言入门
  • [AI Infra] 🔥 集群通信网络与NCCL:分布式训练的通信骨架
  • [AI Infra] GPU架构与存储体系
  • [AI Infra] Nsight Compute性能分析实战指南
  • [AI Infra] Nsight Systems性能分析实战指南
  • [AI Infra] 大模型推理与部署入门
  • [AI Infra] 🔥 分布式训练入门
  • [AI Infra] 🔥 CUDA编程入门指南
  • [AI Infra] AI Infra学习路线
  • [AI Infra] AI Infra 学习资源
  • [AI Infra] Thread Block Cluster 架构特性
  • [AI Infra] 高效CUDA编程速查
  • [编程技能包] 使用uv构建Python命令行工具:从代码到全局命令
  • [路飞玩AI] 从零构建Claude多智能体协作系统
  • [编程技能包] 构建并发布Python包到PyPI完整指南
  • [路飞玩AI] 如何创建自定义Agent Skills
  • [编程技能包] Next.js入门指南:从零构建现代Web应用
  • [路飞玩AI] ClaudeCode使用指南
  • [路飞玩AI] OpenCode入门使用指南
  • [编程技能包] C++入门教程
  • [路飞玩AI] Agent框架设计与实现
AI Infra 52
学习指南 2
  • AI Infra 学习资源
  • AI Infra学习路线
前置知识 24
  • 🎯 内容更新日志
编程基础 1
  • 1.0 编程语言入门
大模型基础 11
  • 3.1 Transformer架构-快速入门篇
  • 3.10 Tokenization与词嵌入
  • 3.2 AI Infra工程师为什么必须懂Transformer
  • 3.3 Transformer全貌及代码实现
  • 3.4 Self-Attention机制深入理解
  • 3.5 Transformer前馈网络FFN深入理解
  • 3.6 Transformer位置编码深入理解
  • 3.7 LayerNorm与残差连接深入理解
  • 3.8 Transformer Decoder Block完整解析
  • 3.9 从Transformer到LLM自回归生成深入理解
  • 深度学习优化器(Optimization)
通信 2
  • 🔥 集群通信网络与NCCL:分布式训练的通信骨架
  • 1.1 通信拓扑入门
GPU硬件概述 3
  • 🔥 GPU基础知识:从硬件架构到AI计算
  • GPU架构与存储体系
  • NVIDIA GPU 架构演进:从 Volta 到 Blackwell
PyTorch 6
  • 🔥 PyTorch框架入门
  • 4.1 Tensor 与自动微分
  • 4.2 Module 与训练流程
  • 4.3 调试与性能分析
  • 4.4 动手实验
  • PyTorch 2.0新特性
CUDA编程与算子优化 21
  • 🔥 CUDA编程入门指南
CUDA编程高阶 4
  • 第6章:Attention 算子
  • 第7章:AI 编译器
  • CUDA 13.1新特性:Tile编程模型
  • Thread Block Cluster 架构特性
CUDA编程基础 10
  • 1.1 CUDA 开发环境搭建
  • 1.2 CUDA 编程模型
  • 1.3 CUDA 内存模型
  • 1.4 第一个实用 Kernel:向量加法
  • 2.1 Warp 与执行模型
  • 2.2 内存访问优化
  • 2.3 Occupancy 与资源分配
  • 2.4 同步与原子操作
  • 第1章:CUDA 编程入门
  • 第2章:CUDA 性能优化基础
CUDA编程进阶 6
  • 4.1 CUDA Reduce算子优化
  • 第3章:经典算子实现—Reduce
  • 第4章:经典算子实现—GEMM
  • 第5章:经典算子实现—Softmax 与算子融合
  • 第8章:性能分析工具链
  • 高效CUDA编程速查
分布式训练 1
  • 🔥 分布式训练入门
推理与部署 1
  • 大模型推理与部署入门
性能分析 2
  • Nsight Compute性能分析实战指南
  • Nsight Systems性能分析实战指南
CUDA编程 1
  • 🎯 内容更新日志

4.3 调试与性能分析

发表于 2026-05-18 分类于 AI Infra , 前置知识 , PyTorch
掌握 torch.cuda.memory_summary() 查看显存、torch.profiler 性能分析,排查 shape/device mismatch 和 OOM 错误

本节简介

掌握 torch.cuda.memory_summary() 查看显存、torch.profiler 性能分析,排查 shape/device mismatch 和 OOM 错误

# 调试 # 显存分析 # torch.profiler # OOM
4.4 动手实验
4.2 Module 与训练流程
© 2026 zhengshengning
由 Hexo & NexT.Gemini 强力驱动
0%
草帽路飞的技术博客
首页 AI Infra 求职面试 路飞玩AI 编程技能包 关于 GitHub