Spark Streaming with Python and Kafka Training Course

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển muốn tích hợp Apache Kafka với các cơ sở dữ liệu và ứng dụng hiện có để xử lý, phân tích, v.v.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Sử dụng Kafka Connect để đưa một lượng lớn dữ liệu từ cơ sở dữ liệu vào các chủ đề Kafka.
• Đưa dữ liệu nhật ký được tạo bởi các máy chủ ứng dụng vào các chủ đề Kafka.
• Make bất kỳ dữ liệu nào được thu thập để xử lý luồng.
• Xuất dữ liệu từ các chủ đề Kafka vào các hệ thống thứ cấp để lưu trữ và phân tích.

Khóa đào tạo trực tiếp, trực tuyến hoặc tại chỗ này dành cho các kỹ sư muốn sử dụng Confluent (một bản phân phối của Kafka) để xây dựng và quản lý một nền tảng xử lý dữ liệu thời gian thực cho các ứng dụng của họ.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Nền tảng Confluent.
• Sử dụng các công cụ và dịch vụ quản lý của Confluent để chạy Kafka dễ dàng hơn.
• Lưu trữ và xử lý dữ liệu luồng đến.
• Tối ưu hóa và quản lý các cụm Kafka.
• Bảo mật luồng dữ liệu.

Định dạng Khóa học

• Bài giảng và thảo luận tương tác.
• Nhiều bài tập và thực hành.
• Thực hiện trực tiếp trong môi trường phòng thí nghiệm trực tiếp.

Tùy chọn Tùy chỉnh Khóa học

• Khóa học này dựa trên phiên bản mã nguồn mở của Confluent: Confluent Open Source.
• Để yêu cầu đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.

Apache Kafka là một nền tảng phát trực tuyến phân tán. Nó trên thực tế là tiêu chuẩn để xây dựng các đường dẫn dữ liệu và giải quyết rất nhiều trường hợp sử dụng khác nhau xung quanh việc xử lý dữ liệu: nó có thể được sử dụng như một hàng đợi tin nhắn, nhật ký phân tán, bộ xử lý luồng, v.v.

Chúng ta sẽ bắt đầu với một số lý thuyết đằng sau các đường dẫn dữ liệu nói chung, sau đó tiếp tục với các khái niệm cơ bản đằng sau Kafka. Chúng ta cũng sẽ khám phá các thành phần quan trọng như Kafka Streams và Kafka Connect.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (tại chỗ hoặc từ xa), người tham gia sẽ học cách thiết lập và tích hợp các Stream Processing framework khác nhau với các hệ thống lưu trữ dữ liệu lớn hiện có và các ứng dụng phần mềm liên quan cũng như các microservice.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình các Stream Processing framework khác nhau, chẳng hạn như Spark Streaming và Kafka Streaming.
• Hiểu và lựa chọn framework phù hợp nhất cho công việc.
• Xử lý dữ liệu liên tục, đồng thời và theo từng bản ghi.
• Tích hợp các giải pháp Stream Processing với các cơ sở dữ liệu, kho dữ liệu, hồ dữ liệu hiện có, v.v.
• Tích hợp thư viện xử lý luồng phù hợp nhất với các ứng dụng doanh nghiệp và microservice.

Khóa học này dành cho các kiến trúc sư doanh nghiệp, nhà phát triển, quản trị viên hệ thống và bất kỳ ai muốn tìm hiểu và sử dụng hệ thống nhắn tin phân tán có thông lượng cao. Nếu bạn có các yêu cầu cụ thể hơn (ví dụ: chỉ tập trung vào quản trị hệ thống), khóa học này có thể được điều chỉnh để phù hợp hơn với nhu cầu của bạn.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các quản trị viên hệ thống muốn thiết lập, triển khai, quản lý và tối ưu hóa một cụm Kafka cấp doanh nghiệp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập và quản trị một cụm Kafka.
• Đánh giá lợi ích và hạn chế của việc triển khai Kafka tại chỗ so với trên đám mây.
• Triển khai và giám sát Kafka bằng cách sử dụng nhiều công cụ môi trường tại chỗ và trên đám mây.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển ở trình độ trung cấp, những người muốn phát triển các ứng dụng dữ liệu lớn với Apache Kafka.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Phát triển các nhà sản xuất và tiêu thụ Kafka để gửi và đọc dữ liệu từ Kafka.
• Tích hợp Kafka với các hệ thống bên ngoài bằng Kafka Connect.
• Viết các ứng dụng phát trực tuyến với Kafka Streams & ksqlDB.
• Tích hợp một ứng dụng khách Kafka với Confluent Cloud cho các triển khai Kafka dựa trên đám mây.
• Thu thập kinh nghiệm thực tế thông qua các bài tập thực hành và các trường hợp sử dụng trong thế giới thực.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các kỹ sư dữ liệu, nhà khoa học dữ liệu và lập trình viên muốn sử dụng các tính năng Apache Kafka trong luồng dữ liệu với Python.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể sử dụng Apache Kafka để giám sát và quản lý các điều kiện trong luồng dữ liệu liên tục bằng cách sử dụng lập trình Python.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển trình độ trung cấp Java muốn tích hợp Apache Kafka vào ứng dụng của họ để có khả năng gửi tin nhắn đáng tin cậy, có khả năng mở rộng và hiệu suất cao.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu kiến trúc và các thành phần cốt lõi của Kafka.
• Thiết lập và cấu hình một cụm Kafka.
• Tạo và tiêu thụ tin nhắn bằng Java.
• Triển khai Kafka Streams để xử lý dữ liệu theo thời gian thực.
• Đảm bảo khả năng chịu lỗi và khả năng mở rộng trong các ứng dụng Kafka.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các quản trị viên hệ thống ở trình độ trung cấp, những người muốn khai thác hiệu quả các tính năng xếp hàng tin nhắn của Kafka.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu rõ khả năng và kiến trúc xếp hàng tin nhắn của Kafka.
• Cấu hình các chủ đề Kafka cho các tình huống xếp hàng tin nhắn.
• Tạo và tiêu thụ tin nhắn bằng Kafka.
• Giám sát và quản lý Kafka như một hàng đợi tin nhắn.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các kỹ sư kiểm thử phần mềm muốn triển khai các biện pháp bảo mật mạng vào một ứng dụng Apache Kafka.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Triển khai Apache Kafka lên máy chủ dựa trên đám mây.
• Triển khai mã hóa SSL để ngăn chặn các cuộc tấn công.
• Thêm xác thực ACL để theo dõi và kiểm soát quyền truy cập của người dùng.
• Đảm bảo các máy khách đáng tin cậy có quyền truy cập vào các cụm Kafka với SSL và xác thực SASL.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển ở trình độ trung cấp, những người muốn tìm hiểu các nguyên tắc cơ bản của Kafka và tích hợp nó với Spring Boot.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu về Kafka và kiến trúc của nó.
• Tìm hiểu cách cài đặt, cấu hình và thiết lập môi trường Kafka cơ bản.
• Tích hợp Kafka với Spring Boot.

Kafka Streams là một thư viện phía máy khách để xây dựng các ứng dụng và microservice có dữ liệu được truyền đến và đi từ hệ thống nhắn tin Kafka. Theo truyền thống, Apache Kafka đã dựa vào Apache Spark hoặc Apache Storm để xử lý dữ liệu giữa các nhà sản xuất và người tiêu dùng tin nhắn. Bằng cách gọi API Kafka Streams từ trong một ứng dụng, dữ liệu có thể được xử lý trực tiếp trong Kafka, bỏ qua nhu cầu gửi dữ liệu đến một cụm riêng biệt để xử lý.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này, người tham gia sẽ học cách tích hợp Kafka Streams vào một tập hợp các ứng dụng Java mẫu truyền dữ liệu đến và đi từ Apache Kafka để xử lý luồng.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu các tính năng và lợi thế của Kafka Streams so với các framework xử lý luồng khác
• Xử lý dữ liệu luồng trực tiếp trong một cụm Kafka
• Viết một ứng dụng hoặc microservice Java hoặc Scala tích hợp với Kafka và Kafka Streams
• Viết mã ngắn gọn chuyển đổi các chủ đề Kafka đầu vào thành các chủ đề Kafka đầu ra
• Xây dựng, đóng gói và triển khai ứng dụng

Đối tượng

• Nhà phát triển

Định dạng của khóa học

• Kết hợp bài giảng, thảo luận, bài tập và thực hành nặng nề

Ghi chú

• Để yêu cầu đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các quản trị viên hệ thống ở trình độ mới bắt đầu đến trung cấp, những người muốn học cách quản lý hiệu quả các chủ đề Kafka để xử lý và truyền phát dữ liệu hiệu quả.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu các nguyên tắc cơ bản và kiến trúc của chủ đề Kafka.
• Tạo, cấu hình và quản lý các chủ đề Kafka.
• Giám sát các chủ đề Kafka về tình trạng, hiệu suất và khả năng sẵn sàng.
• Triển khai các biện pháp bảo mật cho các chủ đề Kafka.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển muốn triển khai xử lý luồng Apache Kafka mà không cần viết mã.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Confluent KSQL.
• Thiết lập một quy trình xử lý luồng chỉ bằng các lệnh SQL (không cần viết mã Java hoặc Python).
• Thực hiện lọc dữ liệu, chuyển đổi, tổng hợp, kết hợp, phân vùng theo cửa sổ và phân nhóm phiên hoàn toàn bằng SQL.
• Thiết kế và triển khai các truy vấn tương tác, liên tục cho ETL luồng và phân tích thời gian thực.