12. Hiệu nng Tính toán¶
Trong học sâu, các tập d liệu thường rất lớn và mô hình tính toán rất phức tạp. Vì vậy, ta luôn cần quan tâm tới vấn đ hiệu năng tính toán. Trong chương này, ta sẽ tập trung vào các yếu tố then chốt ảnh hưởng đến hiu năng tính toán: lập trnh mệnh lệnh, lập trình ký hiệu, lập trình bất ồng bộ, tính toán song song tự động và tính toán đa GPU. Qua đó, độc giả có thể cải thiện nhiều hơn về hiệu năng tính ton của mô hình đã được triển khai trong các chương trước, như là giảm thi gian huấn luyện mà không ảnh hưởng tới độ chnh xác của mô hình.
- 12.1. Trình biên dịch và Trình thông dịch
- 12.2. Tính toán Bất đồng bộ
- 12.3. Song song hóa Tự ộng
- 12.4. Phần cứng
- 12.4.1. Máy tính
- 12.4.2. Bộ nhớ
- 12.4.3. Lưu trữ
- 12.4.4. CPU
- 12.4.5. Vi kiến trúc (Micro-architecture)
- 12.4.6. Vector hóa (Vectorization)
- 12.4.7. Bộ nhớ đệm
- 12.4.8. GPU v các Thiết bị Tăng tốc khác
- 12.4.9. Mng máy tính và Bus
- 12.4.10. Tóm tắt
- 12.4.11. Độ trễ
- 12.4.12. Bài tập
- 12.4.13. Thảo luận
- 12.4.14. Những ngưi thực hiện
- 12.5. Huấn luyện đa GPU
- 12.6. Cách lập trình Súc tích đa GPU
- 12.7. Máy chủ Tham số
12.8. Những người thực hin¶
Bản dịch trong trang này được thực hiện bi:
- Đoàn Võ Duy Thanh
- Nguyễn Văn Tâm