18. Phụ lục: Toán học cho Học Sâu¶
Brent Werness (Amazon), Rachel Hu (Amazon), và các tác giả của cuốn sách này.
Một trong những điểm tuyệt vời nhất của học sâu hiện đại là nó có thể được hiểu và sử dụng mà không cần hiểu cặn kẽ nền tảng toán học đằng sau. Đây là một dấu hiệu thể hiện lĩnh vực này đang trưởng thành. Giống như hầu hết các nhà phát triển phần mềm không cần bận tâm đến lý thuyết hàm số khả tính, những người làm việc với học sâu cũng không cần bận tâm đến nền tảng lý thuyết của học hợp lý cực đại (maximum likelihood).
Tuy nhiên, chúng ta chưa thật sự gần đến mức đó.
Trên thực tế, bạn sẽ thi thoảng cần hiểu sự lựa chọn kiến trúc sẽ ảnh hưởng tới dòng gradient như thế nào, hoặc những giả thiết ngầm khi huấn luyện với một hàm mất mát cụ thể. Bạn có thể cần biết entropy đong đếm thứ gì trên thế giới, và nó có thể giúp bạn hiểu chính xác số lượng bit trên một ký tự có ý nghĩa như thế nào trong mô hình của bạn. Tất cả những điều này đòi hỏi những hiểu biết toán học sâu hơn.
Phần phụ lục này nhằm cung cấp cho bạn nền tảng toán học cần thiết để hiểu lý thuyết cốt lõi của học sâu hiện đại, nhưng đây không phải là toàn bộ kiến thức cần thiết. Chúng ta sẽ bắt đầu xem xét đại số tuyến tính sâu hơn. Chúng tôi phát triển ý nghĩa hình học của các đại lượng và toán tử đại số tuyến tính, việc này cho phép chúng ta minh họa hiệu ứng của nhiều phép biến đổi dữ liệu. Một thành phần chủ chốt là sự phát triển của các kiến thức nền tảng liên quan tới phân tích trị riêng.
Tiếp theo, chúng ta phát triển lý thuyết giải tích vi phân để có thể hiểu cặn kẽ tại sao gradient là hướng hạ dốc nhất, và tại sao lan truyền ngược có công thức như vậy. Giải tích tích phân được thảo luận tiếp sau đó ở mức cần thiết để hỗ trợ chủ đề tiếp theo – lý thuyết xác suất.
Các vấn đề gặp phải trên thực tế thường không chắc chắn, và bởi vậy chúng ta cần một ngôn ngữ để nói về những điều không chắc chắn. Chúng ta sẽ ôn tập lại lý thuyết biến ngẫu nhiên và những phân phối thường gặp nhất để có thể thảo luận các mô hình dưới góc nhìn xác suất. Việc này cung cấp nền tảng cho bộ phân loại Naive Bayes, một phương pháp phân loại dựa trên xác suất.
Liên quan mật thiết đến lý thuyết xác suất là lý thuyết thống kê. Trong khi thống kê là một mảng quá lớn để ôn tập trong một mục ngắn, chúng tôi sẽ giới thiệu các khái niệm cơ bản mà mọi người làm học máy cần biết, cụ thể như: đánh giá và so sánh các bộ ước lượng, thực hiện kiểm chứng thống kê, và xây dựng khoảng tin cậy.
Cuối cùng, chúng ta sẽ thảo luận chủ đề lý thuyết thông tin qua nghiên cứu toán học về lưu trữ và truyền tải thông tin. Phần này cung cấp ngôn ngữ cơ bản ở đó chúng ta thảo luận một cách định lượng lượng thông tin một mô hình hàm chứa.
Kết hợp lại, những kiến thức này định hình những khái niệm toán học cốt lõi cần thiết để bắt đầu đi tới con đường hiểu sâu về học sâu.
- 18.1. Các phép toán Hình học và Đại số Tuyến tính
- 18.1.1. Ý nghĩa Hình học của Vector
- 18.1.2. Tích vô hướng và Góc
- 18.1.3. Siêu phẳng
- 18.1.4. Ý nghĩa Hình học của các Phép biến đổi Tuyến tính
- 18.1.5. Phụ thuộc Tuyến tính
- 18.1.6. Hạng
- 18.1.7. Tính nghịch đảo (khả nghịch)
- 18.1.8. Định thức
- 18.1.9. Tensor và các Phép toán Đại số Tuyến tính thông dụng
- 18.1.10. Tóm tắt
- 18.1.11. Bài tập
- 18.1.12. Thảo luận
- 18.2. Phân rã trị riêng
- 18.2.1. Tìm trị riêng
- 18.2.2. Phân rã Ma trận
- 18.2.3. Các phép toán dùng Phân rã Trị riêng
- 18.2.4. Phân rã trị riêng của Ma trận Đối xứng
- 18.2.5. Định lý Vòng tròn Gershgorin
- 18.2.6. Một Ứng dụng hữu ích: Mức tăng trưởng của các Ánh xạ Lặp lại
- 18.2.7. Kết luận
- 18.2.8. Tóm tắt
- 18.2.9. Bài tập
- 18.2.10. Thảo luận
- 18.2.11. Những người thực hiện
- 18.3. Giải tích một biến
- 18.4. Giải tích Nhiều biến
- 18.4.1. Đạo hàm trong Không gian Nhiều chiều
- 18.4.2. Ý nghĩa Hình học của Gradient và Thuật toán Hạ Gradient
- 18.4.3. Một vài chú ý về Tối ưu hóa
- 18.4.4. Quy tắc Dây chuyền cho Hàm đa biến
- 18.4.5. Thuật toán Lan truyền ngược (Backpropagation)
- 18.4.6. Hessian
- 18.4.7. Giải tích Ma trận
- 18.4.8. Tóm tắt
- 18.4.9. Bài tập
- 18.4.10. Thảo luận
- 18.4.11. Những người thực hiện
- 18.5. Giải tích Tích phân
- 18.6. Biến Ngẫu nhiên
- 18.7. Hợp lý Cực đại
- 18.8. Các Phân phối Xác suất
- 18.9. Bộ phân loại Naive Bayes
- 18.10. Thống kê
- 18.11. Lý thuyết Thông tin
18.12. Những người thực hiện¶
Bản dịch trong trang này được thực hiện bởi:
- Đoàn Võ Duy Thanh
- Vũ Hữu Tiệp
- Lê Khắc Hồng Phúc