Đề cương khóa học

Giới thiệu

  • Tổng quan về các thách thức mở rộng quy mô học sâu
  • Tổng quan về DeepSpeed và các tính năng của nó
  • DeepSpeed so với các thư viện học sâu phân tán khác

Bắt đầu

  • Thiết lập môi trường phát triển
  • Cài đặt PyTorch và DeepSpeed
  • Cấu hình DeepSpeed cho huấn luyện phân tán

Các Tính năng Tối ưu hóa của DeepSpeed

  • Quy trình huấn luyện DeepSpeed
  • ZeRO (tối ưu hóa bộ nhớ)
  • Checkpoint kích hoạt
  • Checkpoint gradient
  • Song song hóa pipeline

Mở rộng Quy mô Mô hình với DeepSpeed

  • Mở rộng quy mô cơ bản bằng DeepSpeed
  • Các kỹ thuật mở rộng quy mô nâng cao
  • Các cân nhắc về hiệu suất và các phương pháp hay nhất
  • Kỹ thuật gỡ lỗi và khắc phục sự cố

Các Chủ đề Nâng cao về DeepSpeed

  • Các kỹ thuật tối ưu hóa nâng cao
  • Sử dụng DeepSpeed với huấn luyện độ chính xác hỗn hợp
  • DeepSpeed trên các phần cứng khác nhau (ví dụ: GPUs, TPUs)
  • DeepSpeed với nhiều nút huấn luyện

Tích hợp DeepSpeed với PyTorch

  • Tích hợp DeepSpeed với quy trình làm việc PyTorch
  • Sử dụng DeepSpeed với PyTorch Lightning

Khắc phục sự cố

  • Gỡ lỗi các sự cố thường gặp của DeepSpeed
  • Giám sát và ghi nhật ký

Tóm tắt và Các Bước Tiếp theo

  • Tóm tắt các khái niệm và tính năng chính
  • Các phương pháp hay nhất để sử dụng DeepSpeed trong sản xuất
  • Các tài nguyên bổ sung để tìm hiểu thêm về DeepSpeed

Requirements

  • Kiến thức trung cấp về các nguyên tắc học sâu
  • Kinh nghiệm với PyTorch hoặc các framework học sâu tương tự
  • Làm quen với lập trình Python

Đối tượng

  • Nhà khoa học dữ liệu
  • Kỹ sư học máy
  • Nhà phát triển
 21 Hours

Number of participants


Price per participant

Provisional Upcoming Courses (Require 5+ participants)

Related Categories