Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Đề cương khóa học
Ôn tập Apache Airflow Kiến thức Cơ bản
- Các khái niệm cốt lõi: DAG, task và operator
- Kiến trúc và các thành phần của Airflow
- Tóm tắt các trường hợp sử dụng và quy trình làm việc phổ biến
Tối ưu hóa Hiệu suất Quy trình Làm việc
- Xác định các nút thắt trong pipeline Airflow
- Các kỹ thuật tối ưu hóa cấp task
- Tận dụng thử lại task, tính song song và tính đồng thời
Quản lý Các Phụ thuộc Phức tạp
- Định nghĩa các phụ thuộc động trong quy trình làm việc
- Xử lý quy trình làm việc có điều kiện và phân nhánh
- Sử dụng hiệu quả các nhóm task và sub-DAG
Các Tính năng Nâng cao trong Apache Airflow
- Tạo các operator và hook tùy chỉnh
- Triển khai sensor cho các trigger bên ngoài
- Tích hợp các dịch vụ và plugin của bên thứ ba
Mở rộng Quy mô Triển khai Apache Airflow
- Các phương pháp mở rộng quy mô ngang và dọc
- Sử dụng Celery Executors để thực thi phân tán
- Các phương pháp hay nhất để mở rộng quy mô trong môi trường đám mây
Giám sát và Gỡ lỗi Quy trình Làm việc
- Cấu hình ghi nhật ký và cảnh báo để giám sát quy trình làm việc
- Sử dụng Airflow UI và CLI để khắc phục sự cố
- Xác định và giải quyết các vấn đề phổ biến trong triển khai Airflow
Bảo mật Apache Airflow
- Xác thực và kiểm soát truy cập trong Airflow
- Bảo vệ dữ liệu nhạy cảm và cấu hình môi trường
- Triển khai nhật ký kiểm tra cho quy trình làm việc
Use Case Doanh nghiệp và Các Phương pháp Hay nhất
- Thiết kế quy trình làm việc mạnh mẽ cho môi trường sản xuất
- Tận dụng Airflow cho các pipeline kỹ thuật dữ liệu và ETL
- Khám phá các nghiên cứu điển hình thực tế về triển khai Airflow có khả năng mở rộng
Tóm tắt và Các Bước Tiếp Theo
Requirements
- Kiến thức cơ bản về Apache Airflow
- Làm quen với các khái niệm lập trình Python và điều phối quy trình làm việc
- Kinh nghiệm quản lý và triển khai ứng dụng trên môi trường Linux
Đối tượng
- Kỹ sư dữ liệu
- Chuyên gia DevOps
- Nhà phát triển phần mềm
21 Hours