- 10 Tháng Mười
- Vasilis Vryniotis
- . Miễn bình luận
Vài tuần vừa qua cực kỳ bận rộn ở “PyTorch Land” khi chúng tôi đang gấp rút chuẩn bị phát hành PyTorch v1.10 và TorchVision v0.11. Trong phần 2 này của bộ, Tôi sẽ đề cập đến một số tính năng sắp ra mắt hiện có trong nhánh phát hành của TorchVision.
Disclaimer: Mặc dù bản phát hành sắp tới có nhiều cải tiến và cải tiến về lỗi/kiểm tra/tài liệu, nhưng ở đây tôi đang nêu bật các tính năng “hướng tới người dùng” mới trên các miền mà cá nhân tôi quan tâm. Sau khi viết bài đăng trên blog, tôi cũng nhận thấy có sự thiên vị đối với các tính năng mà tôi đã xem xét, viết hoặc theo dõi chặt chẽ sự phát triển của chúng. Việc che phủ (hoặc không che phủ) một tính năng không nói lên được tầm quan trọng của nó. Ý kiến bày tỏ chỉ là của riêng tôi.
Mô hình mới
Phiên bản mới có nhiều mẫu mới:
- Kai Zhang đã bổ sung thêm việc triển khai Kiến trúc RegNet cùng với trọng lượng được đào tạo trước cho 14 biến thể sao chép gần giống với giấy gốc.
- Gần đây tôi đã thêm một triển khai của Kiến trúc Mạng hiệu quả cùng với trọng số được huấn luyện trước cho các biến thể B0-B7 do Luke Melas-Kyriazi và Ross Wightman cung cấp.
Tăng cường dữ liệu mới
Một số kỹ thuật Tăng cường dữ liệu mới đã được thêm vào phiên bản mới nhất:
- Samuel Gabriel đã đóng góp tăng cường tầm thường, một chiến lược mới đơn giản nhưng hiệu quả cao dường như mang lại kết quả vượt trội cho AutoAugment.
- Tôi đã thêm RandAugment phương pháp tự động tăng cường.
- Tôi đã cung cấp một triển khai Trộn và CutMix biến đổi trong tài liệu tham khảo. Chúng sẽ được di chuyển theo các biến đổi trong bản phát hành tiếp theo sau khi API của chúng được hoàn thiện.
Toán tử và lớp mới
Một số toán tử và lớp mới đã được đưa vào:
Tài liệu tham khảo / Bí quyết đào tạo
Mặc dù việc cải tiến các tập lệnh tham chiếu của chúng tôi là một nỗ lực không ngừng nhưng dưới đây là một số tính năng mới được đưa vào phiên bản sắp tới:
- Prabhat Roy đã thêm sự hỗ trợ của Đường Trung bình Động Lũy thừa (EMA) trong công thức phân loại của chúng tôi.
- Tôi đã cập nhật tài liệu tham khảo của chúng tôi để hỗ trợ Làm mịn nhãn, được Joel Schlosser và Thomas J. Fan giới thiệu gần đây trên lõi PyTorch.
- Tôi đã bao gồm tùy chọn để thực hiện Tốc độ học tập khởi động, sử dụng bộ lập lịch LR mới nhất được phát triển bởi Ilqar Ramazanli.
Những cải tiến khác
Dưới đây là một số cải tiến đáng chú ý khác được thêm vào trong bản phát hành:
- Alexander Soare và Francisco Massa đã phát triển một Tiện ích dựa trên FX cho phép trích xuất các tính năng trung gian tùy ý từ kiến trúc mô hình.
- Nikita Shulga đã thêm hỗ trợ của CUDA 11.3 đến TorchVision.
- Zhongkai Zhu đã sửa lỗi vấn đề phụ thuộc của JPEG lib (vấn đề này đã khiến nhiều người dùng của chúng tôi phải đau đầu).
Đang thực hiện & Tiếp theo
Có rất nhiều tính năng mới thú vị đang được phát triển nhưng không có trong phiên bản này. Ở đây có một ít:
- Moto Hira, Parmeet Singh Bhatia và tôi đã soạn thảo RFC, đề xuất một cơ chế mới cho Phiên bản mô hình và để xử lý siêu dữ liệu liên quan đến trọng số được huấn luyện trước. Điều này sẽ cho phép chúng tôi hỗ trợ nhiều trọng số được đào tạo trước cho từng mô hình và đính kèm thông tin liên quan như nhãn, biến đổi tiền xử lý, v.v. vào mô hình.
- Tôi hiện đang nghiên cứu sử dụng các kiểu nguyên thủy được thêm vào bởi “pin Included” dự án nhằm cải thiện tính chính xác của chúng tôi người mẫu được đào tạo trước. Mục tiêu là đạt được kết quả tốt nhất cho các mô hình được đào tạo trước phổ biến nhất do TorchVision cung cấp.
- Philip Meier và Francisco Massa đang nghiên cứu một nguyên mẫu thú vị cho sản phẩm mới của TorchVision Bộ dữ liệu và Biến đổi API.
- Prabhat Roy đang nghiên cứu mở rộng PyTorch Core's
AveragedModellớp để hỗ trợ tính trung bình của bộ đệm bên cạnh các thông số. Việc thiếu tính năng này thường được báo cáo là lỗi và sẽ kích hoạt nhiều thư viện hạ lưu và các khuôn khổ để loại bỏ việc triển khai EMA tùy chỉnh của họ. - Aditya Oke đã viết một tiện ích cho phép vẽ đồ thị kết quả của các mô hình Keypoint trên hình ảnh gốc (tính năng này không được phát hành vì chúng tôi quá bận và không thể xem lại kịp thời 🙁 )
- Tôi đang xây dựng một tiện ích FX nguyên mẫu nhằm mục đích phát hiện các Kết nối dư trong các kiến trúc Mô hình tùy ý và sửa đổi mạng để thêm các khối chính quy hóa (chẳng hạn như
StochasticDepth).
Cuối cùng, có một số tính năng mới trong hồ sơ tồn đọng của chúng tôi (sắp có PR):
Tôi hy vọng bạn thấy phần tóm tắt ở trên thú vị. Mọi ý tưởng về cách điều chỉnh định dạng của loạt blog đều rất được hoan nghênh. Đánh tôi lên LinkedIn or Twitter.
Giới thiệu Vasilis Vryniotis
Tên tôi là Vasilis Vryniotis. Tôi là Nhà khoa học dữ liệu, Kỹ sư phần mềm, tác giả của Khung máy học Datumbox và là người đam mê tự hào. Tìm hiểu thêm
PlatoAi. Web3 được mô phỏng lại. Khuếch đại dữ liệu thông minh.
Nhấn vào đây để truy cập.
