Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Đề cương khóa học
Ôn tập Apache Airflow Kiến thức Nền tảng
- Các khái niệm cốt lõi: DAGs, operators và luồng thực thi
- Kiến trúc và các thành phần của Airflow
- Hiểu các trường hợp sử dụng và quy trình làm việc nâng cao
Tạo Custom Operators
- Hiểu cấu trúc của một Airflow operator
- Phát triển custom operators cho các tác vụ cụ thể
- Kiểm tra và gỡ lỗi custom operators
Custom Hooks và Sensors
- Triển khai hooks để tích hợp hệ thống bên ngoài
- Tạo sensors để giám sát các trình kích hoạt bên ngoài
- Nâng cao tính tương tác của quy trình làm việc với custom sensors
Phát triển Airflow Plugins
- Hiểu kiến trúc plugin
- Thiết kế plugins để mở rộng chức năng của Airflow
- Các phương pháp hay nhất để quản lý và triển khai plugins
Tích hợp Airflow với Hệ thống Bên ngoài
- Kết nối Airflow với cơ sở dữ liệu, API và dịch vụ đám mây
- Sử dụng Airflow cho quy trình ETL và xử lý dữ liệu theo thời gian thực
- Quản lý các phụ thuộc giữa Airflow và hệ thống bên ngoài
Gỡ lỗi và Giám sát Nâng cao
- Sử dụng nhật ký và số liệu của Airflow để khắc phục sự cố
- Cấu hình cảnh báo và thông báo cho các sự cố quy trình làm việc
- Tận dụng các công cụ giám sát bên ngoài với Airflow
Tối ưu hóa Hiệu suất và Scala Khả năng mở rộng
- Mở rộng Airflow với Celery và Kubernetes Executors
- Tối ưu hóa việc sử dụng tài nguyên trong các quy trình làm việc phức tạp
- Các chiến lược để đảm bảo tính khả dụng cao và khả năng chịu lỗi
Nghiên cứu Tình huống và Ứng dụng Thực tế
- Khám phá các trường hợp sử dụng nâng cao trong kỹ thuật dữ liệu và DevOps
- Nghiên cứu tình huống: Triển khai custom operator cho ETL quy mô lớn
- Các phương pháp hay nhất để quản lý quy trình làm việc cấp doanh nghiệp
Tóm tắt và Các Bước Tiếp Theo
Requirements
- Hiểu biết vững chắc về các nguyên tắc cơ bản của Apache Airflow, bao gồm DAG, toán tử và kiến trúc thực thi.
- Thành thạo lập trình Python.
- Có kinh nghiệm tích hợp hệ thống dữ liệu và điều phối quy trình làm việc.
Đối tượng
- Kỹ sư dữ liệu
- Kỹ sư DevOps
- Kiến trúc sư phần mềm
21 Hours