DeepSpeed for Deep Learning Training Course
DeepSpeed là một thư viện tối ưu hóa học sâu giúp dễ dàng mở rộng các mô hình học sâu trên phần cứng phân tán. Được phát triển bởi Microsoft, DeepSpeed tích hợp với PyTorch để cung cấp khả năng mở rộng tốt hơn, đào tạo nhanh hơn và sử dụng tài nguyên hiệu quả hơn.
Khóa đào tạo trực tiếp, trực tuyến hoặc tại chỗ này dành cho các nhà khoa học dữ liệu và kỹ sư học máy ở trình độ sơ cấp đến trung cấp, những người muốn cải thiện hiệu suất của các mô hình học sâu của họ.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu các nguyên tắc của học sâu phân tán.
- Cài đặt và cấu hình DeepSpeed.
- Mở rộng các mô hình học sâu trên phần cứng phân tán bằng DeepSpeed.
- Triển khai và thử nghiệm các tính năng của DeepSpeed để tối ưu hóa và hiệu quả bộ nhớ.
Định dạng khóa học
- Bài giảng và thảo luận tương tác.
- Nhiều bài tập và thực hành.
- Thực hiện trực tiếp trong môi trường phòng thí nghiệm trực tiếp.
Tùy chọn tùy chỉnh khóa học
- Để yêu cầu một khóa đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.
Đề cương khóa học
Giới thiệu
- Tổng quan về các thách thức mở rộng quy mô học sâu
- Tổng quan về DeepSpeed và các tính năng của nó
- DeepSpeed so với các thư viện học sâu phân tán khác
Bắt đầu
- Thiết lập môi trường phát triển
- Cài đặt PyTorch và DeepSpeed
- Cấu hình DeepSpeed cho huấn luyện phân tán
Các Tính năng Tối ưu hóa của DeepSpeed
- Quy trình huấn luyện DeepSpeed
- ZeRO (tối ưu hóa bộ nhớ)
- Checkpoint kích hoạt
- Checkpoint gradient
- Song song hóa pipeline
Mở rộng Quy mô Mô hình với DeepSpeed
- Mở rộng quy mô cơ bản bằng DeepSpeed
- Các kỹ thuật mở rộng quy mô nâng cao
- Các cân nhắc về hiệu suất và các phương pháp hay nhất
- Kỹ thuật gỡ lỗi và khắc phục sự cố
Các Chủ đề Nâng cao về DeepSpeed
- Các kỹ thuật tối ưu hóa nâng cao
- Sử dụng DeepSpeed với huấn luyện độ chính xác hỗn hợp
- DeepSpeed trên các phần cứng khác nhau (ví dụ: GPUs, TPUs)
- DeepSpeed với nhiều nút huấn luyện
Tích hợp DeepSpeed với PyTorch
- Tích hợp DeepSpeed với quy trình làm việc PyTorch
- Sử dụng DeepSpeed với PyTorch Lightning
Khắc phục sự cố
- Gỡ lỗi các sự cố thường gặp của DeepSpeed
- Giám sát và ghi nhật ký
Tóm tắt và Các Bước Tiếp theo
- Tóm tắt các khái niệm và tính năng chính
- Các phương pháp hay nhất để sử dụng DeepSpeed trong sản xuất
- Các tài nguyên bổ sung để tìm hiểu thêm về DeepSpeed
Requirements
- Kiến thức trung cấp về các nguyên tắc học sâu
- Kinh nghiệm với PyTorch hoặc các framework học sâu tương tự
- Làm quen với lập trình Python
Đối tượng
- Nhà khoa học dữ liệu
- Kỹ sư học máy
- Nhà phát triển
Open Training Courses require 5+ participants.
DeepSpeed for Deep Learning Training Course - Booking
DeepSpeed for Deep Learning Training Course - Enquiry
DeepSpeed for Deep Learning - Consultancy Enquiry
Consultancy Enquiry
Provisional Upcoming Courses (Require 5+ participants)
Related Courses
Advanced Stable Diffusion: Deep Learning for Text-to-Image Generation
21 HoursKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà khoa học dữ liệu, kỹ sư học máy, nhà nghiên cứu học sâu và chuyên gia thị giác máy tính trình độ trung cấp đến nâng cao, những người muốn mở rộng kiến thức và kỹ năng của họ về học sâu để tạo ảnh từ văn bản.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu các kiến trúc và kỹ thuật học sâu nâng cao để tạo ảnh từ văn bản.
- Triển khai các mô hình và tối ưu hóa phức tạp để tổng hợp hình ảnh chất lượng cao.
- Tối ưu hóa hiệu suất và khả năng mở rộng cho các tập dữ liệu lớn và các mô hình phức tạp.
- Điều chỉnh các siêu tham số để cải thiện hiệu suất và khả năng khái quát hóa của mô hình.
- Tích hợp Stable Diffusion với các khung và công cụ học sâu khác.
AlphaFold
7 HoursKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các nhà sinh học muốn hiểu cách AlphaFold hoạt động và sử dụng các mô hình AlphaFold làm hướng dẫn trong các nghiên cứu thực nghiệm của họ.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu các nguyên tắc cơ bản của AlphaFold.
- Tìm hiểu cách AlphaFold hoạt động.
- Tìm hiểu cách diễn giải các dự đoán và kết quả của AlphaFold.
Applied AI from Scratch
28 HoursĐây là khóa học kéo dài 4 ngày giới thiệu về AI và ứng dụng của nó. Có tùy chọn tham gia thêm một ngày để thực hiện một dự án AI sau khi hoàn thành khóa học này.
Deep Learning for Vision with Caffe
21 HoursCaffe là một framework học sâu được xây dựng với mục tiêu biểu đạt, tốc độ và tính mô-đun.
Khóa học này khám phá ứng dụng của Caffe như một framework học sâu để nhận dạng hình ảnh, sử dụng MNIST làm ví dụ.
Đối tượng
Khóa học này phù hợp cho các nhà nghiên cứu và kỹ sư Deep Learning quan tâm đến việc sử dụng Caffe như một framework.
Sau khi hoàn thành khóa học này, người tham gia sẽ có thể:
- hiểu cấu trúc và cơ chế triển khai của Caffe
- thực hiện các tác vụ và cấu hình liên quan đến cài đặt / môi trường sản xuất / kiến trúc
- đánh giá chất lượng mã, thực hiện gỡ lỗi, giám sát
- triển khai các tính năng nâng cao trong sản xuất như huấn luyện mô hình, triển khai các lớp và ghi nhật ký
Deep Learning Neural Networks with Chainer
14 HoursKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các nhà nghiên cứu và phát triển muốn sử dụng Chainer để xây dựng và huấn luyện mạng nơ-ron trong Python đồng thời giúp mã dễ dàng gỡ lỗi.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Thiết lập môi trường phát triển cần thiết để bắt đầu phát triển các mô hình mạng nơ-ron.
- Định nghĩa và triển khai các mô hình mạng nơ-ron bằng mã nguồn dễ hiểu.
- Thực thi các ví dụ và sửa đổi các thuật toán hiện có để tối ưu hóa các mô hình huấn luyện học sâu trong khi tận dụng GPU để đạt hiệu suất cao.
Using Computer Network ToolKit (CNTK)
28 HoursBộ công cụ Mạng Máy tính (CNTK) là khung học máy huấn luyện RNN đa máy, đa GPU, hiệu quả cao, mã nguồn mở của Microsoft cho giọng nói, văn bản và hình ảnh.
Đối tượng
Khóa học này dành cho các kỹ sư và kiến trúc sư hướng tới việc sử dụng CNTK trong các dự án của họ.
Computer Vision with Google Colab and TensorFlow
21 HoursKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các chuyên gia nâng cao muốn đi sâu vào hiểu biết về thị giác máy tính và khám phá khả năng của TensorFlow để phát triển các mô hình thị giác tinh vi bằng Google Colab.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Xây dựng và huấn luyện mạng nơ-ron tích chập (CNN) bằng TensorFlow.
- Tận dụng Google Colab để phát triển mô hình dựa trên đám mây có khả năng mở rộng và hiệu quả.
- Triển khai các kỹ thuật tiền xử lý hình ảnh cho các tác vụ thị giác máy tính.
- Triển khai các mô hình thị giác máy tính cho các ứng dụng thực tế.
- Sử dụng học chuyển giao để nâng cao hiệu suất của các mô hình CNN.
- Trực quan hóa và diễn giải kết quả của các mô hình phân loại hình ảnh.
Deep Learning with TensorFlow in Google Colab
14 HoursKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà khoa học dữ liệu và nhà phát triển ở trình độ trung cấp, những người muốn hiểu và áp dụng các kỹ thuật học sâu bằng môi trường Google Colab.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Thiết lập và điều hướng Google Colab cho các dự án học sâu.
- Hiểu các nguyên tắc cơ bản của mạng nơ-ron.
- Triển khai các mô hình học sâu bằng TensorFlow.
- Huấn luyện và đánh giá các mô hình học sâu.
- Sử dụng các tính năng nâng cao của TensorFlow cho học sâu.
Deep Learning for NLP (Natural Language Processing)
28 HoursTrong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ học cách sử dụng các thư viện Python cho NLP khi họ tạo một ứng dụng xử lý một tập hợp hình ảnh và tạo chú thích.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Thiết kế và viết mã DL cho NLP bằng cách sử dụng các thư viện Python.
- Tạo mã Python đọc một bộ sưu tập hình ảnh khổng lồ và tạo từ khóa.
- Tạo mã Python tạo chú thích từ các từ khóa được phát hiện.
Edge AI with TensorFlow Lite
14 HoursKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển, nhà khoa học dữ liệu và chuyên gia AI ở trình độ trung cấp, những người muốn tận dụng TensorFlow Lite cho các ứng dụng Edge AI.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu các nguyên tắc cơ bản của TensorFlow Lite và vai trò của nó trong Edge AI.
- Phát triển và tối ưu hóa các mô hình AI bằng TensorFlow Lite.
- Triển khai các mô hình TensorFlow Lite trên nhiều thiết bị biên khác nhau.
- Sử dụng các công cụ và kỹ thuật để chuyển đổi và tối ưu hóa mô hình.
- Triển khai các ứng dụng Edge AI thực tế bằng TensorFlow Lite.
Accelerating Deep Learning with FPGA and OpenVINO
35 HoursKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các nhà khoa học dữ liệu mong muốn tăng tốc các ứng dụng học máy thời gian thực và triển khai chúng ở quy mô lớn.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Cài đặt bộ công cụ OpenVINO.
- Tăng tốc ứng dụng thị giác máy tính bằng FPGA.
- Thực thi các lớp CNN khác nhau trên FPGA.
- Mở rộng ứng dụng trên nhiều nút trong một cụm Kubernetes.
Distributed Deep Learning with Horovod
7 HoursKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển hoặc nhà khoa học dữ liệu muốn sử dụng Horovod để chạy các buổi huấn luyện học sâu phân tán và mở rộng quy mô để chạy song song trên nhiều GPU.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Thiết lập môi trường phát triển cần thiết để bắt đầu chạy các buổi huấn luyện học sâu.
- Cài đặt và cấu hình Horovod để huấn luyện mô hình với TensorFlow, Keras, PyTorch và Apache MXNet.
- Mở rộng quy mô huấn luyện học sâu với Horovod để chạy trên nhiều GPU.
Deep Learning with Keras
21 HoursKhóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho những người có chuyên môn kỹ thuật muốn áp dụng mô hình học sâu vào các ứng dụng nhận dạng hình ảnh.
Khi kết thúc khóa đào tạo, người tham gia sẽ có thể:
- Cài đặt và cấu hình Keras.
- Nhanh chóng tạo mẫu các mô hình học sâu.
- Triển khai mạng tích chập.
- Triển khai mạng hồi quy.
- Thực thi mô hình học sâu trên cả CPU và GPU.
Introduction to Stable Diffusion for Text-to-Image Generation
21 HoursKhóa đào tạo trực tiếp, trực tuyến hoặc tại chỗ này dành cho các nhà khoa học dữ liệu, kỹ sư học máy và nhà nghiên cứu thị giác máy tính, những người muốn tận dụng Stable Diffusion để tạo ra hình ảnh chất lượng cao cho nhiều mục đích sử dụng khác nhau.
Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:
- Hiểu các nguyên tắc của Stable Diffusion và cách thức hoạt động của nó trong việc tạo hình ảnh.
- Xây dựng và huấn luyện các mô hình Stable Diffusion cho các tác vụ tạo hình ảnh.
- Áp dụng Stable Diffusion vào các tình huống tạo hình ảnh khác nhau, chẳng hạn như nội suy ảnh, mở rộng ảnh và dịch ảnh.
- Tối ưu hóa hiệu suất và độ ổn định của các mô hình Stable Diffusion.
Tensorflow Lite for Microcontrollers
21 HoursKhóa đào tạo trực tiếp, trực tuyến hoặc tại chỗ này dành cho các kỹ sư muốn viết, tải và chạy các mô hình học máy trên các thiết bị nhúng rất nhỏ.
Khi kết thúc khóa đào tạo, người tham gia sẽ có thể:
- Cài đặt TensorFlow Lite.
- Tải các mô hình học máy lên thiết bị nhúng để cho phép nó phát hiện giọng nói, phân loại hình ảnh, v.v.
- Thêm AI vào các thiết bị phần cứng mà không cần dựa vào kết nối mạng.