Programming with Big Data in R Training Course

Khóa học này dành cho các nhà phát triển và nhà khoa học dữ liệu mong muốn hiểu và triển khai trí tuệ nhân tạo trong ứng dụng của họ. Tập trung đặc biệt vào phân tích dữ liệu, trí tuệ nhân tạo phân tán và xử lý ngôn ngữ tự nhiên.

Apache Beam là một mô hình lập trình thống nhất, mã nguồn mở để định nghĩa và thực thi các quy trình xử lý dữ liệu song song. Sức mạnh của nó nằm ở khả năng chạy cả quy trình hàng loạt và quy trình luồng, với việc thực thi được thực hiện bởi một trong các back-end xử lý phân tán được hỗ trợ của Beam: Apache Apex, Apache Flink, Apache Spark và Google Cloud Dataflow. Apache Beam hữu ích cho các tác vụ ETL (Trích xuất, Chuyển đổi và Tải) như di chuyển dữ liệu giữa các phương tiện lưu trữ và nguồn dữ liệu khác nhau, chuyển đổi dữ liệu thành định dạng mong muốn hơn và tải dữ liệu lên một hệ thống mới.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn (tại chỗ hoặc từ xa) này, người tham gia sẽ học cách triển khai các SDK Apache Beam trong một ứng dụng Java hoặc Python để xác định một quy trình xử lý dữ liệu nhằm phân tách một tập dữ liệu lớn thành các phần nhỏ hơn để xử lý song song độc lập.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apache Beam.
• Sử dụng một mô hình lập trình duy nhất để thực hiện cả xử lý hàng loạt và xử lý luồng từ trong ứng dụng Java hoặc Python của họ.
• Thực thi các quy trình trên nhiều môi trường.

Định dạng khóa học

• Kết hợp bài giảng, thảo luận, bài tập và thực hành chuyên sâu.

Lưu ý

• Khóa học này sẽ có sẵn Scala trong tương lai. Vui lòng liên hệ với chúng tôi để sắp xếp.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn tại Việt Nam này, người tham gia sẽ học cách xây dựng Data Vault.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu kiến trúc và các khái niệm thiết kế đằng sau Data Vault 2.0, và cách tương tác của nó với Big Data, NoSQL và AI.
• Sử dụng các kỹ thuật lưu trữ dữ liệu để cho phép kiểm toán, truy vết và kiểm tra dữ liệu lịch sử trong một kho dữ liệu.
• Phát triển một quy trình ETL (Trích xuất, Chuyển đổi, Tải) nhất quán và có thể lặp lại.
• Xây dựng và triển khai các kho dữ liệu có khả năng mở rộng và lặp lại cao.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này, tại Việt Nam (trực tuyến hoặc tại chỗ), giới thiệu các nguyên tắc và phương pháp xử lý dữ liệu theo luồng và theo lô phân tán, đồng thời hướng dẫn người tham gia xây dựng một ứng dụng xử lý dữ liệu theo luồng thời gian thực trong Apache Flink.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập môi trường để phát triển các ứng dụng phân tích dữ liệu.
• Hiểu cách thức hoạt động của thư viện xử lý đồ thị (Gelly) của Apache Flink.
• Đóng gói, thực thi và giám sát các ứng dụng xử lý dữ liệu theo luồng, chịu lỗi dựa trên Flink.
• Quản lý các khối lượng công việc đa dạng.
• Thực hiện phân tích nâng cao.
• Thiết lập một cụm Flink đa nút.
• Đo lường và tối ưu hóa hiệu suất.
• Tích hợp Flink với các hệ thống Big Data khác nhau.
• So sánh khả năng của Flink với các khung xử lý dữ liệu lớn khác.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ tìm hiểu về các công nghệ và phương pháp triển khai để xử lý dữ liệu đồ thị. Mục tiêu là xác định các đối tượng trong thế giới thực, đặc điểm và mối quan hệ của chúng, sau đó mô hình hóa các mối quan hệ này và xử lý chúng như dữ liệu bằng cách tiếp cận Graph Computing (còn được gọi là Phân tích Đồ thị). Chúng ta bắt đầu với một cái nhìn tổng quan rộng rãi và thu hẹp phạm vi vào các công cụ cụ thể khi chúng ta thực hiện một loạt các nghiên cứu điển hình, bài tập thực hành và triển khai trực tiếp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu cách dữ liệu đồ thị được lưu trữ và duyệt.
• Chọn khung làm việc tốt nhất cho một nhiệm vụ cụ thể (từ cơ sở dữ liệu đồ thị đến các khung xử lý hàng loạt).
• Triển khai Hadoop, Spark, GraphX và Pregel để thực hiện tính toán đồ thị trên nhiều máy song song.
• Xem các vấn đề dữ liệu lớn trong thế giới thực dưới dạng đồ thị, quy trình và duyệt.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) giới thiệu Hortonworks Data Platform (HDP) và hướng dẫn người tham gia triển khai giải pháp Spark + Hadoop.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Sử dụng Hortonworks để chạy Hadoop một cách đáng tin cậy ở quy mô lớn.
• Thống nhất các khả năng bảo mật, quản trị và vận hành của Hadoop với các quy trình phân tích nhanh nhẹn của Spark.
• Sử dụng Hortonworks để điều tra, xác thực, chứng nhận và hỗ trợ từng thành phần trong một dự án Spark.
• Xử lý các loại dữ liệu khác nhau, bao gồm dữ liệu có cấu trúc, không có cấu trúc, đang chuyển động và tĩnh.

Khóa học này bao gồm cách sử dụng ngôn ngữ Hive SQL (còn được gọi là: Hive HQL, SQL trên Hive, HiveQL) dành cho những người trích xuất dữ liệu từ Hive.

Cloudera Impala is an open source massively parallel processing (MPP) SQL query engine for Apache Hadoop clusters.

Impala enables users to issue low-latency SQL queries to data stored in Hadoop Distributed File System and Apache Hbase without requiring data movement or transformation.

Audience

This course is aimed at analysts and data scientists performing analysis on data stored in Hadoop via Business Intelligence or SQL tools.

After this course delegates will be able to

• Extract meaningful information from Hadoop clusters with Impala.
• Write specific programs to facilitate Business Intelligence in Impala SQL Dialect.
• Troubleshoot Impala.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển muốn triển khai xử lý luồng Apache Kafka mà không cần viết mã.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Confluent KSQL.
• Thiết lập một quy trình xử lý luồng chỉ bằng các lệnh SQL (không cần viết mã Java hoặc Python).
• Thực hiện lọc dữ liệu, chuyển đổi, tổng hợp, kết hợp, phân vùng theo cửa sổ và phân nhóm phiên hoàn toàn bằng SQL.
• Thiết kế và triển khai các truy vấn tương tác, liên tục cho ETL luồng và phân tích thời gian thực.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (tại chỗ hoặc từ xa), người tham gia sẽ học cách triển khai và quản lý Apache NiFi trong môi trường phòng thí nghiệm trực tiếp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apachi NiFi.
• Thu thập, chuyển đổi và quản lý dữ liệu từ nhiều nguồn dữ liệu phân tán khác nhau, bao gồm cơ sở dữ liệu và các hồ dữ liệu lớn.
• Tự động hóa luồng dữ liệu.
• Kích hoạt phân tích luồng.
• Áp dụng các phương pháp khác nhau để đưa dữ liệu vào.
• Chuyển đổi Big Data thành thông tin chi tiết hữu ích cho doanh nghiệp.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ học các nguyên tắc cơ bản của lập trình dựa trên luồng khi phát triển một số tiện ích mở rộng, thành phần và bộ xử lý bằng Apache NiFi.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu kiến trúc và khái niệm luồng dữ liệu của NiFi.
• Phát triển các tiện ích mở rộng bằng NiFi và API của bên thứ ba.
• Tự phát triển bộ xử lý Apache Nifi của riêng họ.
• Thu thập và xử lý dữ liệu thời gian thực từ các định dạng tệp và nguồn dữ liệu khác nhau và không phổ biến.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ học cách sử dụng Python và Spark cùng nhau để phân tích dữ liệu lớn thông qua các bài tập thực hành.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Học cách sử dụng Spark với Python để phân tích Big Data.
• Thực hành các bài tập mô phỏng các trường hợp thực tế.
• Sử dụng các công cụ và kỹ thuật khác nhau để phân tích dữ liệu lớn bằng PySpark.

Khóa đào tạo trực tiếp, trực tuyến hoặc tại chỗ này dành cho các kỹ sư dữ liệu, nhà khoa học dữ liệu và lập trình viên muốn sử dụng các tính năng của Spark Streaming để xử lý và phân tích dữ liệu thời gian thực.

Khi kết thúc khóa đào tạo, người tham gia sẽ có thể sử dụng Spark Streaming để xử lý các luồng dữ liệu trực tiếp để sử dụng trong cơ sở dữ liệu, hệ thống tệp và bảng điều khiển trực tiếp.

MLlib là thư viện học máy (ML) của Spark. Mục tiêu của nó là làm cho việc học máy thực tế có thể mở rộng và dễ dàng. Nó bao gồm các thuật toán và tiện ích học tập phổ biến, bao gồm phân loại, hồi quy, phân cụm, lọc cộng tác, giảm chiều, cũng như các nguyên thủy tối ưu hóa cấp thấp và API pipeline cấp cao.

Nó được chia thành hai gói:

• spark.mllib chứa API ban đầu được xây dựng trên RDD.

• spark.ml cung cấp API cấp cao được xây dựng trên DataFrames để xây dựng pipeline ML.

Đối tượng

Khóa học này dành cho các kỹ sư và nhà phát triển muốn sử dụng Thư viện Máy học tích hợp cho Apache Spark

Bộ Tidyverse là một tập hợp các gói R đa năng để làm sạch, xử lý, mô hình hóa và trực quan hóa dữ liệu. Một số gói bao gồm: ggplot2, dplyr, tidyr, readr, purrr và tibble.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này, người tham gia sẽ học cách thao tác và trực quan hóa dữ liệu bằng các công cụ có trong Tidyverse.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thực hiện phân tích dữ liệu và tạo ra các hình ảnh trực quan hấp dẫn
• Rút ra những kết luận hữu ích từ nhiều tập dữ liệu mẫu
• Lọc, sắp xếp và tóm tắt dữ liệu để trả lời các câu hỏi thăm dò
• Chuyển đổi dữ liệu đã xử lý thành các biểu đồ đường, biểu đồ cột, biểu đồ tần suất thông tin
• Nhập và lọc dữ liệu từ nhiều nguồn dữ liệu khác nhau, bao gồm Excel, CSV và tệp SPSS

Đối tượng

• Người mới bắt đầu với ngôn ngữ R
• Người mới bắt đầu với phân tích dữ liệu và trực quan hóa dữ liệu

Định dạng khóa học

• Kết hợp bài giảng, thảo luận, bài tập và thực hành nặng nề