Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Đề cương khóa học
Giới thiệu
- Apache Beam so với MapReduce, Spark Streaming, Kafka Streaming, Storm và Flink
Cài đặt và Cấu hình Apache Beam
Tổng quan về Tính năng và Kiến trúc của Apache Beam
- Mô hình Beam, SDK, Beam Pipeline Runners
- Các back-end xử lý phân tán
Hiểu về Mô hình Apache Beam Programming
- Cách một pipeline được thực thi
Chạy một pipeline mẫu
- Chuẩn bị pipeline WordCount
- Thực thi Pipeline cục bộ
Thiết kế một Pipeline
- Lập kế hoạch cấu trúc, chọn các transforms và xác định phương pháp đầu vào và đầu ra
Tạo Pipeline
- Viết chương trình điều khiển và định nghĩa pipeline
- Sử dụng các lớp Apache Beam
- Bộ dữ liệu, transforms, I/O, mã hóa dữ liệu, v.v.
Thực thi Pipeline
- Thực thi pipeline cục bộ, trên máy từ xa và trên cloud công cộng
- Chọn một runner
- Cấu hình dành riêng cho runner
Kiểm tra và Gỡ lỗi Apache Beam
- Sử dụng gợi ý kiểu để mô phỏng kiểu tĩnh
- Quản lý các phụ thuộc Python Pipeline
Xử lý Bộ dữ liệu Bounded và Unbounded
- Windowing và Triggers
Làm cho Pipelines của Bạn Tái sử dụng và Dễ bảo trì
Tạo Nguồn và Sink Dữ liệu Mới
- API Nguồn và Sink Apache Beam
Tích hợp Apache Beam với các Hệ thống Big Data khác
- Apache Hadoop, Apache Spark, Apache Kafka
Khắc phục sự cố
Tóm tắt và Kết luận
Requirements
- Có kinh nghiệm với Python Programming.
- Có kinh nghiệm với dòng lệnh Linux.
Đối tượng
- Nhà phát triển
14 Hours