12. Hiệu năng Tính toán

Trong học sâu, các tập dữ liệu thường rất lớn và mô hình tính toán rất phức tạp. Vì vậy, ta luôn cần quan tâm tới vấn đề hiệu năng tính toán. Trong chương này, ta sẽ tập trung vào các yếu tố then chốt ảnh hưởng đến hiệu năng tính toán: lập trình mệnh lệnh, lập trình ký hiệu, lập trình bất đồng bộ, tính toán song song tự động và tính toán đa GPU. Qua đó, độc giả có thể cải thiện nhiều hơn về hiệu năng tính toán của mô hình đã được triển khai trong các chương trước, như là giảm thời gian huấn luyện mà không ảnh hưởng tới độ chính xác của mô hình.

• 12.1. Trình biên dịch và Trình thông dịch
  • 12.1.1. Lập trình Ký hiệu
  • 12.1.2. Lập trình Hybrid
  • 12.1.3. HybridSequential
  • 12.1.4. Tóm tắt
  • 12.1.5. Bài tập
  • 12.1.6. Thảo luận
• 12.2. Tính toán Bất đồng bộ
  • 12.2.1. Bất đồng bộ qua Back-end
  • 12.2.2. Lớp cản và Bộ chặn
  • 12.2.3. Cải thiện Năng lực Tính toán
  • 12.2.4. Cải thiện Mức chiếm dụng Bộ nhớ
  • 12.2.5. Tóm tắt
  • 12.2.6. Bài tập
  • 12.2.7. Thảo luận
  • 12.2.8. Những người thực hiện
• 12.3. Song song hóa Tự động
  • 12.3.1. Tính toán Song song trên CPU và GPU
  • 12.3.2. Tính toán và Giao tiếp Song song
  • 12.3.3. Tóm tắt
  • 12.3.4. Bài tập
  • 12.3.5. Thảo luận
  • 12.3.6. Những người thực hiện
• 12.4. Phần cứng
  • 12.4.1. Máy tính
  • 12.4.2. Bộ nhớ
  • 12.4.3. Lưu trữ
  • 12.4.4. CPU
  • 12.4.5. Vi kiến trúc (Micro-architecture)
  • 12.4.6. Vector hóa (Vectorization)
  • 12.4.7. Bộ nhớ đệm
  • 12.4.8. GPU và các Thiết bị Tăng tốc khác
  • 12.4.9. Mạng máy tính và Bus
  • 12.4.10. Tóm tắt
  • 12.4.11. Độ trễ
  • 12.4.12. Bài tập
  • 12.4.13. Thảo luận
  • 12.4.14. Những người thực hiện
• 12.5. Huấn luyện đa GPU
  • 12.5.1. Chia nhỏ Vấn đề
  • 12.5.2. Song song hóa Dữ liệu
  • 12.5.3. Ví dụ Đơn giản
  • 12.5.4. Đồng bộ Dữ liệu
  • 12.5.5. Phân phối Dữ liệu
  • 12.5.6. Huấn luyện
  • 12.5.7. Thí nghiệm
  • 12.5.8. Tóm tắt
  • 12.5.9. Bài tập
  • 12.5.10. Thảo luận
  • 12.5.11. Những người thực hiện
• 12.6. Cách lập trình Súc tích đa GPU
  • 12.6.1. Ví dụ Đơn giản
  • 12.6.2. Khởi tạo Tham số và Công việc phụ trợ
  • 12.6.3. Huấn luyện
  • 12.6.4. Thử nghiệm
  • 12.6.5. Tóm tắt
  • 12.6.6. Bài tập
  • 12.6.7. Thảo luận
  • 12.6.8. Những người thực hiện
• 12.7. Máy chủ Tham số
  • 12.7.1. Huấn luyện Song song Dữ liệu
  • 12.7.2. Đồng bộ dạng Vòng
  • 12.7.3. Huấn luyện trên Nhiều Máy tính
  • 12.7.4. Lưu trữ (Khóa, Giá trị)
  • 12.7.5. Tóm tắt
  • 12.7.6. Bài tập
  • 12.7.7. Thảo luận
  • 12.7.8. Những người thực hiện

12.8. Những người thực hiện

Bản dịch trong trang này được thực hiện bởi:

• Đoàn Võ Duy Thanh
• Nguyễn Văn Tâm