Đề cương khóa học

Giới thiệu

  • Large Language Models (LLMs) là gì?
  • LLMs so với các mô hình NLP truyền thống
  • Tổng quan về các tính năng và kiến trúc của LLMs
  • Thách thức và hạn chế của LLMs

Hiểu về LLMs

  • Vòng đời của một LLM
  • LLMs hoạt động như thế nào
  • Các thành phần chính của một LLM: encoder, decoder, attention, embeddings, v.v.

Bắt đầu

  • Thiết lập Môi trường Phát triển
  • Cài đặt một LLM như một công cụ phát triển, ví dụ: Google Colab, Hugging Face

Làm việc với LLMs

  • Khám phá các tùy chọn LLM có sẵn
  • Tạo và sử dụng một LLM
  • Tinh chỉnh một LLM trên một tập dữ liệu tùy chỉnh

Tóm tắt Văn bản

  • Hiểu nhiệm vụ tóm tắt văn bản và các ứng dụng của nó
  • Sử dụng một LLM để tóm tắt văn bản trích xuất và trừu tượng
  • Đánh giá chất lượng của các bản tóm tắt được tạo ra bằng các chỉ số như ROUGE, BLEU, v.v.

Trả lời Câu hỏi

  • Hiểu nhiệm vụ trả lời câu hỏi và các ứng dụng của nó
  • Sử dụng một LLM để trả lời câu hỏi mở và đóng
  • Đánh giá độ chính xác của các câu trả lời được tạo ra bằng các chỉ số như F1, EM, v.v.

Tạo Văn bản

  • Hiểu nhiệm vụ tạo văn bản và các ứng dụng của nó
  • Sử dụng một LLM để tạo văn bản có điều kiện và không điều kiện
  • Kiểm soát phong cách, giọng điệu và nội dung của các văn bản được tạo ra bằng các tham số như temperature, top-k, top-p, v.v.

Tích hợp LLMs với các Framework và Nền tảng Khác

  • Sử dụng LLMs với PyTorch hoặc TensorFlow
  • Sử dụng LLMs với Flask hoặc Streamlit
  • Sử dụng LLMs với Google Cloud hoặc AWS

Khắc phục sự cố

  • Hiểu các lỗi và lỗi phổ biến trong LLMs
  • Sử dụng TensorBoard để theo dõi và trực quan hóa quá trình đào tạo
  • Sử dụng PyTorch Lightning để đơn giản hóa mã đào tạo và cải thiện hiệu suất
  • Sử dụng Hugging Face Datasets để tải và tiền xử lý dữ liệu

Tóm tắt và Các Bước Tiếp Theo

Requirements

  • Hiểu biết về xử lý ngôn ngữ tự nhiên và học sâu
  • Kinh nghiệm với Python và PyTorch hoặc TensorFlow
  • Kinh nghiệm lập trình cơ bản

Đối tượng

  • Nhà phát triển
  • Người đam mê NLP
  • Nhà khoa học dữ liệu
 14 Hours

Number of participants


Price per participant

Provisional Upcoming Courses (Require 5+ participants)

Related Categories