Đề cương khóa học

Ôn tập Apache Airflow Kiến thức Cơ bản

  • Các khái niệm cốt lõi: DAG, task và operator
  • Kiến trúc và các thành phần của Airflow
  • Tóm tắt các trường hợp sử dụng và quy trình làm việc phổ biến

Tối ưu hóa Hiệu suất Quy trình Làm việc

  • Xác định các nút thắt trong pipeline Airflow
  • Các kỹ thuật tối ưu hóa cấp task
  • Tận dụng thử lại task, tính song song và tính đồng thời

Quản lý Các Phụ thuộc Phức tạp

  • Định nghĩa các phụ thuộc động trong quy trình làm việc
  • Xử lý quy trình làm việc có điều kiện và phân nhánh
  • Sử dụng hiệu quả các nhóm task và sub-DAG

Các Tính năng Nâng cao trong Apache Airflow

  • Tạo các operator và hook tùy chỉnh
  • Triển khai sensor cho các trigger bên ngoài
  • Tích hợp các dịch vụ và plugin của bên thứ ba

Mở rộng Quy mô Triển khai Apache Airflow

  • Các phương pháp mở rộng quy mô ngang và dọc
  • Sử dụng Celery Executors để thực thi phân tán
  • Các phương pháp hay nhất để mở rộng quy mô trong môi trường đám mây

Giám sát và Gỡ lỗi Quy trình Làm việc

  • Cấu hình ghi nhật ký và cảnh báo để giám sát quy trình làm việc
  • Sử dụng Airflow UI và CLI để khắc phục sự cố
  • Xác định và giải quyết các vấn đề phổ biến trong triển khai Airflow

Bảo mật Apache Airflow

  • Xác thực và kiểm soát truy cập trong Airflow
  • Bảo vệ dữ liệu nhạy cảm và cấu hình môi trường
  • Triển khai nhật ký kiểm tra cho quy trình làm việc

Use Case Doanh nghiệp và Các Phương pháp Hay nhất

  • Thiết kế quy trình làm việc mạnh mẽ cho môi trường sản xuất
  • Tận dụng Airflow cho các pipeline kỹ thuật dữ liệu và ETL
  • Khám phá các nghiên cứu điển hình thực tế về triển khai Airflow có khả năng mở rộng

Tóm tắt và Các Bước Tiếp Theo

Requirements

  • Kiến thức cơ bản về Apache Airflow
  • Làm quen với các khái niệm lập trình Python và điều phối quy trình làm việc
  • Kinh nghiệm quản lý và triển khai ứng dụng trên môi trường Linux

Đối tượng

  • Kỹ sư dữ liệu
  • Chuyên gia DevOps
  • Nhà phát triển phần mềm
 21 Hours

Number of participants


Price per participant

Provisional Upcoming Courses (Require 5+ participants)

Related Categories