Đề cương khóa học

Giới thiệu

  • Apache Beam so với MapReduce, Spark Streaming, Kafka Streaming, Storm và Flink

Cài đặt và Cấu hình Apache Beam

Tổng quan về Tính năng và Kiến trúc của Apache Beam

  • Mô hình Beam, SDK, Beam Pipeline Runners
  • Các back-end xử lý phân tán

Hiểu về Mô hình Apache Beam Programming

  • Cách một pipeline được thực thi

Chạy một pipeline mẫu

  • Chuẩn bị pipeline WordCount
  • Thực thi Pipeline cục bộ

Thiết kế một Pipeline

  • Lập kế hoạch cấu trúc, chọn các transforms và xác định phương pháp đầu vào và đầu ra

Tạo Pipeline

  • Viết chương trình điều khiển và định nghĩa pipeline
  • Sử dụng các lớp Apache Beam
  • Bộ dữ liệu, transforms, I/O, mã hóa dữ liệu, v.v.

Thực thi Pipeline

  • Thực thi pipeline cục bộ, trên máy từ xa và trên cloud công cộng
  • Chọn một runner
  • Cấu hình dành riêng cho runner

Kiểm tra và Gỡ lỗi Apache Beam

  • Sử dụng gợi ý kiểu để mô phỏng kiểu tĩnh
  • Quản lý các phụ thuộc Python Pipeline

Xử lý Bộ dữ liệu Bounded và Unbounded

  • Windowing và Triggers

Làm cho Pipelines của Bạn Tái sử dụng và Dễ bảo trì

Tạo Nguồn và Sink Dữ liệu Mới

  • API Nguồn và Sink Apache Beam

Tích hợp Apache Beam với các Hệ thống Big Data khác

  • Apache Hadoop, Apache Spark, Apache Kafka

Khắc phục sự cố

Tóm tắt và Kết luận

Requirements

  • Có kinh nghiệm với Python Programming.
  • Có kinh nghiệm với dòng lệnh Linux.

Đối tượng

  • Nhà phát triển
 14 Hours

Number of participants


Price per participant

Provisional Upcoming Courses (Require 5+ participants)

Related Categories