Đề cương khóa học
Khóa học được chia thành ba ngày riêng biệt, ngày thứ ba là tùy chọn.
Ngày 1 - Machine Learning & Deep Learning: Các khái niệm lý thuyết
1. Giới thiệu về AI, Machine Learning & Deep Learning
- Lịch sử, các khái niệm cơ bản và các ứng dụng phổ biến của trí tuệ nhân tạo, tránh xa những tưởng tượng viển vông trong lĩnh vực này
- Trí tuệ tập thể: tổng hợp kiến thức được chia sẻ bởi nhiều tác nhân ảo
- Thuật toán di truyền: phát triển một quần thể tác nhân ảo thông qua lựa chọn
- Machine Learning thông thường: định nghĩa.
- Các loại nhiệm vụ: học có giám sát, học không giám sát, học tăng cường
- Các loại hành động: phân loại, hồi quy, phân cụm, ước tính mật độ, giảm chiều
- Ví dụ về các thuật toán Machine Learning: Hồi quy tuyến tính, Naive Bayes, Random Tree
- Học máy VS Deep Learning: các vấn đề mà Machine Learning vẫn là công nghệ tiên tiến nhất (Random Forests & XGBoosts)
2. Các khái niệm cơ bản về mạng nơ-ron (Ứng dụng: đa lớp cảm nhận)
- Nhắc lại các kiến thức toán học cơ bản.
- Định nghĩa mạng nơ-ron: kiến trúc cổ điển, hàm kích hoạt và trọng số của các kích hoạt trước đó, độ sâu của mạng
- Định nghĩa học của mạng nơ-ron: hàm chi phí, lan truyền ngược, gradient giảm ngẫu nhiên, khả năng xảy ra tối đa.
- Mô hình hóa mạng nơ-ron: mô hình hóa dữ liệu đầu vào và đầu ra theo loại vấn đề (hồi quy, phân loại...). Lời nguyền về chiều. Phân biệt giữa dữ liệu đa đặc trưng và tín hiệu. Lựa chọn hàm chi phí theo dữ liệu.
- Xấp xỉ một hàm bằng mạng nơ-ron: trình bày và ví dụ
- Xấp xỉ một phân phối bằng mạng nơ-ron: trình bày và ví dụ
- Tăng cường dữ liệu: cách cân bằng một tập dữ liệu
- Tổng quát hóa kết quả của mạng nơ-ron.
- Khởi tạo và điều chuẩn mạng nơ-ron: điều chuẩn L1/L2, Chuẩn hóa hàng loạt...
- Tối ưu hóa và thuật toán hội tụ.
3. Các công cụ học máy / học sâu thông thường
Một bài thuyết trình đơn giản với ưu điểm, nhược điểm, vị trí trong hệ sinh thái và cách sử dụng được dự kiến.
- Các công cụ quản lý dữ liệu: Apache Spark, Apache Hadoop
- Các công cụ Machine Learning thông thường: Numpy, Scipy, Sci-kit
- Các framework học sâu cấp cao: PyTorch, Keras, Lasagne
- Các framework học sâu cấp thấp: Theano, Torch, Caffe, Tensorflow
Ngày 2 - Mạng tích chập và mạng hồi quy
4. Mạng tích chập (CNN).
- Giới thiệu về CNN: nguyên tắc cơ bản và ứng dụng
- Hoạt động cơ bản của CNN: lớp tích chập, sử dụng kernel, padding & stride, tạo feature maps, các lớp loại ‘pooling’. Mở rộng 1D, 2D và 3D.
- Giới thiệu các kiến trúc CNN đã đạt được công nghệ tiên tiến nhất trong phân loại hình ảnh: LeNet, VGG Networks, Network in Network, Inception, Resnet. Trình bày những đổi mới do mỗi kiến trúc mang lại và các ứng dụng toàn cầu hơn của chúng (Tích chập 1x1 hoặc kết nối dư)
- Sử dụng mô hình chú ý.
- Ứng dụng vào một trường hợp phân loại thông thường (văn bản hoặc hình ảnh)
- CNN để tạo: siêu phân giải, phân đoạn pixel theo pixel. Trình bày các chiến lược chính để tăng cường feature maps để tạo hình ảnh.
5. Mạng hồi quy (RNN).
- Giới thiệu về RNN: nguyên tắc cơ bản và ứng dụng.
- Hoạt động cơ bản của RNN: kích hoạt ẩn, lan truyền ngược qua thời gian, phiên bản mở rộng.
- Tiến hóa hướng tới GRU (Gated Recurrent Units) và LSTM (Long Short Term Memory). Trình bày các trạng thái khác nhau và những tiến bộ do các kiến trúc này mang lại
- Các vấn đề về hội tụ và gradient biến mất
- Các loại kiến trúc cổ điển: Dự đoán chuỗi thời gian, phân loại...
- Kiến trúc loại RNN Encoder Decoder. Sử dụng mô hình chú ý.
- Ứng dụng NLP: mã hóa từ/ký tự, dịch.
- Ứng dụng Video: dự đoán hình ảnh tiếp theo được tạo từ chuỗi video.
Ngày 3 - Mô hình tạo và Reinforcement Learning
6. Mô hình tạo: AutoEncoder biến phân (VAE) và Mạng đối nghịch tạo sinh (GAN).
- Giới thiệu về mô hình tạo, liên kết với CNN được xem trong ngày 2
- Auto-encoder: giảm chiều và tạo hạn chế
- Auto-encoder biến phân: mô hình tạo và xấp xỉ phân phối dữ liệu. Định nghĩa và sử dụng không gian ẩn. Thủ thuật tái tham số hóa. Ứng dụng và hạn chế quan sát được
- Mạng đối nghịch tạo sinh: nguyên tắc cơ bản. Kiến trúc hai mạng (bộ tạo và bộ phân biệt) với học xen kẽ, các hàm chi phí có sẵn.
- Hội tụ của GAN và những khó khăn gặp phải.
- Hội tụ được cải thiện: Wasserstein GAN, BeGAN. Khoảng cách di chuyển đất.
- Ứng dụng tạo hình ảnh hoặc ảnh, tạo văn bản, siêu phân giải.
7. Học sâu tăng cường (Reinforcement Learning).
- Giới thiệu về học tăng cường: điều khiển một tác nhân trong một môi trường được xác định bởi một trạng thái và các hành động có thể
- Sử dụng mạng nơ-ron để xấp xỉ hàm trạng thái
- Học Q sâu: phát lại kinh nghiệm và ứng dụng để điều khiển một trò chơi điện tử.
- Tối ưu hóa chính sách học tập. Chính sách trên && chính sách ngoài. Kiến trúc Actor critic. A3C.
- Ứng dụng: điều khiển một trò chơi điện tử đơn giản hoặc một hệ thống kỹ thuật số.
Requirements
Trình độ kỹ sư