Big Data Analytics in Health Training Course

Khóa học này dành cho các nhà phát triển và nhà khoa học dữ liệu mong muốn hiểu và triển khai trí tuệ nhân tạo trong ứng dụng của họ. Tập trung đặc biệt vào phân tích dữ liệu, trí tuệ nhân tạo phân tán và xử lý ngôn ngữ tự nhiên.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà khoa học và kỹ sư dữ liệu ở trình độ trung cấp, những người muốn sử dụng Google Colab và Apache Spark để xử lý và phân tích dữ liệu lớn.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập môi trường dữ liệu lớn bằng Google Colab và Spark.
• Xử lý và phân tích các tập dữ liệu lớn một cách hiệu quả với Apache Spark.
• Trực quan hóa dữ liệu lớn trong một môi trường cộng tác.
• Tích hợp Apache Spark với các công cụ dựa trên đám mây.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ tìm hiểu về các công nghệ và phương pháp triển khai để xử lý dữ liệu đồ thị. Mục tiêu là xác định các đối tượng trong thế giới thực, đặc điểm và mối quan hệ của chúng, sau đó mô hình hóa các mối quan hệ này và xử lý chúng như dữ liệu bằng cách tiếp cận Graph Computing (còn được gọi là Phân tích Đồ thị). Chúng ta bắt đầu với một cái nhìn tổng quan rộng rãi và thu hẹp phạm vi vào các công cụ cụ thể khi chúng ta thực hiện một loạt các nghiên cứu điển hình, bài tập thực hành và triển khai trực tiếp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu cách dữ liệu đồ thị được lưu trữ và duyệt.
• Chọn khung làm việc tốt nhất cho một nhiệm vụ cụ thể (từ cơ sở dữ liệu đồ thị đến các khung xử lý hàng loạt).
• Triển khai Hadoop, Spark, GraphX và Pregel để thực hiện tính toán đồ thị trên nhiều máy song song.
• Xem các vấn đề dữ liệu lớn trong thế giới thực dưới dạng đồ thị, quy trình và duyệt.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các quản trị viên hệ thống muốn tìm hiểu cách thiết lập, triển khai và quản lý các cụm Hadoop trong tổ chức của họ.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apache Hadoop.
• Hiểu bốn thành phần chính trong hệ sinh thái Hadoop: HDFS, MapReduce, YARN và Hadoop Common.
• Sử dụng Hệ thống Tệp Phân tán Hadoop (HDFS) để mở rộng cụm lên hàng trăm hoặc hàng nghìn nút.
• Thiết lập HDFS để hoạt động như một công cụ lưu trữ cho các triển khai Spark tại chỗ.
• Thiết lập Spark để truy cập các giải pháp lưu trữ thay thế như Amazon S3 và các hệ thống cơ sở dữ liệu NoSQL như Redis, Elasticsearch, Couchbase, Aerospike, v.v.
• Thực hiện các tác vụ quản trị như cung cấp, quản lý, giám sát và bảo mật một cụm Apache Hadoop.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) giới thiệu Hortonworks Data Platform (HDP) và hướng dẫn người tham gia triển khai giải pháp Spark + Hadoop.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Sử dụng Hortonworks để chạy Hadoop một cách đáng tin cậy ở quy mô lớn.
• Thống nhất các khả năng bảo mật, quản trị và vận hành của Hadoop với các quy trình phân tích nhanh nhẹn của Spark.
• Sử dụng Hortonworks để điều tra, xác thực, chứng nhận và hỗ trợ từng thành phần trong một dự án Spark.
• Xử lý các loại dữ liệu khác nhau, bao gồm dữ liệu có cấu trúc, không có cấu trúc, đang chuyển động và tĩnh.

Khóa học này bao gồm cách sử dụng ngôn ngữ Hive SQL (còn được gọi là: Hive HQL, SQL trên Hive, HiveQL) dành cho những người trích xuất dữ liệu từ Hive.

Cloudera Impala is an open source massively parallel processing (MPP) SQL query engine for Apache Hadoop clusters.

Impala enables users to issue low-latency SQL queries to data stored in Hadoop Distributed File System and Apache Hbase without requiring data movement or transformation.

Audience

This course is aimed at analysts and data scientists performing analysis on data stored in Hadoop via Business Intelligence or SQL tools.

After this course delegates will be able to

• Extract meaningful information from Hadoop clusters with Impala.
• Write specific programs to facilitate Business Intelligence in Impala SQL Dialect.
• Troubleshoot Impala.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (tại chỗ hoặc từ xa), người tham gia sẽ học cách thiết lập và tích hợp các Stream Processing framework khác nhau với các hệ thống lưu trữ dữ liệu lớn hiện có và các ứng dụng phần mềm liên quan cũng như các microservice.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình các Stream Processing framework khác nhau, chẳng hạn như Spark Streaming và Kafka Streaming.
• Hiểu và lựa chọn framework phù hợp nhất cho công việc.
• Xử lý dữ liệu liên tục, đồng thời và theo từng bản ghi.
• Tích hợp các giải pháp Stream Processing với các cơ sở dữ liệu, kho dữ liệu, hồ dữ liệu hiện có, v.v.
• Tích hợp thư viện xử lý luồng phù hợp nhất với các ứng dụng doanh nghiệp và microservice.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà khoa học dữ liệu muốn sử dụng bộ công cụ S MAC K để xây dựng các nền tảng xử lý dữ liệu cho các giải pháp dữ liệu lớn.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Triển khai kiến trúc đường dẫn dữ liệu để xử lý dữ liệu lớn.
• Phát triển cơ sở hạ tầng cụm với Apache Mesos và Docker.
• Phân tích dữ liệu với Spark và Scala.
• Quản lý dữ liệu phi cấu trúc với Apache Cassandra.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các kỹ sư muốn thiết lập và triển khai hệ thống Apache Spark để xử lý lượng dữ liệu rất lớn.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apache Spark.
• Xử lý và phân tích nhanh chóng các tập dữ liệu rất lớn.
• Hiểu sự khác biệt giữa Apache Spark và Hadoop MapReduce và khi nào nên sử dụng cái nào.
• Tích hợp Apache Spark với các công cụ học máy khác.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các quản trị viên hệ thống ở trình độ mới bắt đầu đến trung cấp, những người muốn triển khai, duy trì và tối ưu hóa các cụm Spark.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apache Spark trong nhiều môi trường.
• Quản lý tài nguyên cụm và giám sát các ứng dụng Spark.
• Tối ưu hóa hiệu suất của các cụm Spark.
• Triển khai các biện pháp bảo mật và đảm bảo tính khả dụng cao.
• Gỡ lỗi và khắc phục các sự cố phổ biến của Spark.

Đường cong học tập của Apache Spark tăng chậm ở giai đoạn đầu, đòi hỏi rất nhiều nỗ lực để đạt được kết quả đầu tiên. Khóa học này hướng đến việc vượt qua phần khó khăn ban đầu đó. Sau khi hoàn thành khóa học này, người tham gia sẽ hiểu các kiến thức cơ bản về Apache Spark, phân biệt rõ ràng RDD và DataFrame, học API Python và Scala, hiểu về executors và tasks, v.v. Đồng thời, tuân thủ các phương pháp thực hành tốt nhất, khóa học tập trung mạnh vào triển khai trên nền tảng đám mây, Databricks và AWS. Người học cũng sẽ hiểu sự khác biệt giữa AWS EMR và AWS Glue, một trong những dịch vụ Spark mới nhất của AWS.

ĐỐI TƯỢNG:

Kỹ sư Dữ liệu, DevOps, Nhà khoa học Dữ liệu

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ học cách sử dụng Python và Spark cùng nhau để phân tích dữ liệu lớn thông qua các bài tập thực hành.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Học cách sử dụng Spark với Python để phân tích Big Data.
• Thực hành các bài tập mô phỏng các trường hợp thực tế.
• Sử dụng các công cụ và kỹ thuật khác nhau để phân tích dữ liệu lớn bằng PySpark.

MLlib là thư viện học máy (ML) của Spark. Mục tiêu của nó là làm cho việc học máy thực tế có thể mở rộng và dễ dàng. Nó bao gồm các thuật toán và tiện ích học tập phổ biến, bao gồm phân loại, hồi quy, phân cụm, lọc cộng tác, giảm chiều, cũng như các nguyên thủy tối ưu hóa cấp thấp và API pipeline cấp cao.

Nó được chia thành hai gói:

• spark.mllib chứa API ban đầu được xây dựng trên RDD.

• spark.ml cung cấp API cấp cao được xây dựng trên DataFrames để xây dựng pipeline ML.

Đối tượng

Khóa học này dành cho các kỹ sư và nhà phát triển muốn sử dụng Thư viện Máy học tích hợp cho Apache Spark