Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Đề cương khóa học
Giới thiệu về Large Language Models (LLMs)
- Tổng quan về LLM
- Định nghĩa và ý nghĩa
- Ứng dụng trong AI hiện nay
Kiến trúc Transformer
- Transformer là gì và hoạt động như thế nào?
- Các thành phần và tính năng chính
- Nhúng và mã hóa vị trí
- Attention đa đầu
- Mạng nơ-ron feed-forward
- Chuẩn hóa và kết nối dư
Mô hình Transformer
- Cơ chế self-attention
- Kiến trúc encoder-decoder
- Nhúng vị trí
- BERT (Biểu diễn Encoder hai chiều từ Transformers)
- GPT (Transformer được huấn luyện trước tạo sinh)
Tối ưu hóa hiệu suất và các cạm bẫy
- Độ dài ngữ cảnh
- Mamba và các mô hình không gian trạng thái
- Flash attention
- Transformers thưa thớt
- Transformers thị giác
- Tầm quan trọng của lượng tử hóa
Cải thiện Transformers
- Tạo sinh văn bản tăng cường truy xuất
- Hỗn hợp mô hình
- Cây suy nghĩ
Fine-Tuning
- Lý thuyết về điều chỉnh thứ hạng thấp
- Fine-Tuning với QLoRA
Định luật tỷ lệ và tối ưu hóa trong LLM
- Tầm quan trọng của định luật tỷ lệ đối với LLM
- Tỷ lệ kích thước dữ liệu và mô hình
- Tỷ lệ tính toán
- Tỷ lệ hiệu quả tham số
Tối ưu hóa
- Mối quan hệ giữa kích thước mô hình, kích thước dữ liệu, ngân sách tính toán và yêu cầu suy luận
- Tối ưu hóa hiệu suất và hiệu quả của LLM
- Các phương pháp hay nhất và công cụ để huấn luyện và tinh chỉnh LLM
Huấn luyện và Fine-Tuning LLM
- Các bước và thách thức của việc huấn luyện LLM từ đầu
- Thu thập và duy trì dữ liệu
- Yêu cầu về dữ liệu quy mô lớn, CPU và bộ nhớ
- Thách thức tối ưu hóa
- Bối cảnh LLM mã nguồn mở
Nguyên tắc cơ bản của Reinforcement Learning (RL)
- Giới thiệu về Reinforcement Learning
- Học thông qua tăng cường tích cực
- Định nghĩa và các khái niệm cốt lõi
- Quá trình quyết định Markov (MDP)
- Lập trình động
- Phương pháp Monte Carlo
- Học sự khác biệt thời gian
Deep Reinforcement Learning
- Mạng Q sâu (DQN)
- Tối ưu hóa chính sách gần (PPO)
- Elements của Reinforcement Learning
Tích hợp LLM và Reinforcement Learning
- Kết hợp LLM với Reinforcement Learning
- RL được sử dụng trong LLM như thế nào
- RL với phản hồi của con người (RLHF)
- Các lựa chọn thay thế cho RLHF
Nghiên cứu điển hình và ứng dụng
- Ứng dụng trong thế giới thực
- Câu chuyện thành công và thách thức
Chủ đề nâng cao
- Kỹ thuật nâng cao
- Phương pháp tối ưu hóa nâng cao
- Nghiên cứu và phát triển tiên tiến
Tóm tắt và các bước tiếp theo
Requirements
- Hiểu biết cơ bản về Machine Learning
Đối tượng
- Nhà khoa học dữ liệu
- Kỹ sư phần mềm
21 Hours
