Đề cương khóa học

Ôn tập Apache Airflow Kiến thức Nền tảng

  • Các khái niệm cốt lõi: DAGs, operators và luồng thực thi
  • Kiến trúc và các thành phần của Airflow
  • Hiểu các trường hợp sử dụng và quy trình làm việc nâng cao

Tạo Custom Operators

  • Hiểu cấu trúc của một Airflow operator
  • Phát triển custom operators cho các tác vụ cụ thể
  • Kiểm tra và gỡ lỗi custom operators

Custom Hooks và Sensors

  • Triển khai hooks để tích hợp hệ thống bên ngoài
  • Tạo sensors để giám sát các trình kích hoạt bên ngoài
  • Nâng cao tính tương tác của quy trình làm việc với custom sensors

Phát triển Airflow Plugins

  • Hiểu kiến trúc plugin
  • Thiết kế plugins để mở rộng chức năng của Airflow
  • Các phương pháp hay nhất để quản lý và triển khai plugins

Tích hợp Airflow với Hệ thống Bên ngoài

  • Kết nối Airflow với cơ sở dữ liệu, API và dịch vụ đám mây
  • Sử dụng Airflow cho quy trình ETL và xử lý dữ liệu theo thời gian thực
  • Quản lý các phụ thuộc giữa Airflow và hệ thống bên ngoài

Gỡ lỗi và Giám sát Nâng cao

  • Sử dụng nhật ký và số liệu của Airflow để khắc phục sự cố
  • Cấu hình cảnh báo và thông báo cho các sự cố quy trình làm việc
  • Tận dụng các công cụ giám sát bên ngoài với Airflow

Tối ưu hóa Hiệu suất và Scala Khả năng mở rộng

  • Mở rộng Airflow với Celery và Kubernetes Executors
  • Tối ưu hóa việc sử dụng tài nguyên trong các quy trình làm việc phức tạp
  • Các chiến lược để đảm bảo tính khả dụng cao và khả năng chịu lỗi

Nghiên cứu Tình huống và Ứng dụng Thực tế

  • Khám phá các trường hợp sử dụng nâng cao trong kỹ thuật dữ liệu và DevOps
  • Nghiên cứu tình huống: Triển khai custom operator cho ETL quy mô lớn
  • Các phương pháp hay nhất để quản lý quy trình làm việc cấp doanh nghiệp

Tóm tắt và Các Bước Tiếp Theo

Requirements

  • Hiểu biết vững chắc về các nguyên tắc cơ bản của Apache Airflow, bao gồm DAG, toán tử và kiến trúc thực thi.
  • Thành thạo lập trình Python.
  • Có kinh nghiệm tích hợp hệ thống dữ liệu và điều phối quy trình làm việc.

Đối tượng

  • Kỹ sư dữ liệu
  • Kỹ sư DevOps
  • Kiến trúc sư phần mềm
 21 Hours

Number of participants


Price per participant

Provisional Upcoming Courses (Require 5+ participants)

Related Categories