Nồng độ carbon dioxide, metan và oxit nitơ đang ở mức cao nhất trong 800,000 năm qua. Cùng với các nguyên nhân khác, khí nhà kính có thể đã xúc tác cho hiện tượng nóng lên toàn cầu được quan sát thấy từ giữa thế kỷ 20. Các mô hình học máy cũng đã góp phần gián tiếp vào xu hướng bất lợi đối với môi trường. Đó là bởi vì chúng đòi hỏi một lượng tài nguyên tính toán và năng lượng đáng kể - các mô hình được đào tạo thường xuyên trong hàng nghìn giờ trên các bộ tăng tốc phần cứng chuyên dụng trong các trung tâm dữ liệu ước tính sử dụng 200 terawatt giờ mỗi năm. (Một ngôi nhà trung bình ở Mỹ tiêu thụ khoảng 10,000 kilowatt giờ mỗi năm, một phần nhỏ trong tổng số đó.)

Tình trạng này đã thúc đẩy các nhà nghiên cứu tại Đại học Cambridge, Đại học Oxford, Đại học College London, Đại học Avignon và Samsung nghiên cứu các phương pháp tiết kiệm năng lượng hơn để đào tạo các mô hình AI. Trong một bài báo mới xuất bản, họ khám phá liệu học tập liên kết, bao gồm các mô hình đào tạo trên một số máy, có thể giúp giảm lượng khí thải carbon so với học tập truyền thống hay không. Phát hiện của họ cho thấy rằng học tập liên kết có tác động xanh hơn về mặt định lượng mặc dù chậm hơn trong một số trường hợp.

Tác dụng của việc đào tạo mô hình học máy và AI về môi trường đang ngày càng được đưa ra ánh sáng. Nhà đạo đức AI cũ của Google Timnit Gebru gần đây đã đồng tác giả một giấy trên các mô hình ngôn ngữ lớn thảo luận về các rủi ro cấp bách, bao gồm cả lượng khí thải carbon. Và vào tháng 2020 năm XNUMX, các nhà nghiên cứu tại Đại học Massachusetts ở Amherst đã công bố một báo cáo ước tính rằng lượng điện năng cần thiết để đào tạo và tìm kiếm một mô hình nhất định liên quan đến lượng khí thải khoảng 626,000 pound carbon dioxide, tương đương gần 5 lần lượng khí thải trong đời của một chiếc ô tô trung bình của Mỹ.

Trong học máy, học liên kết đòi hỏi các thuật toán đào tạo trên các thiết bị khác nhau chứa các mẫu dữ liệu mà không cần trao đổi các mẫu đó. Một máy chủ tập trung có thể được sử dụng để sắp xếp các bước của thuật toán và hoạt động như một đồng hồ tham chiếu hoặc sự sắp xếp có thể là ngang hàng. Bất chấp điều đó, các thuật toán cục bộ đều được huấn luyện trên các mẫu dữ liệu cục bộ và các trọng số (các tham số có thể học được của thuật toán) được trao đổi giữa các thuật toán ở một tần số nào đó để tạo ra một mô hình toàn cầu.

Trên: Lượng khí thải carbon dioxide được biểu thị bằng gam (càng thấp càng tốt) cho cả học tập tập trung và học tập liên kết khi chúng đạt được độ chính xác mục tiêu, với các thiết lập khác nhau.

Để đo lượng khí thải carbon của một thiết lập học tập liên kết, các đồng tác giả của bài báo mới đã đào tạo hai mô hình – mô hình phân loại hình ảnh và mô hình nhận dạng giọng nói – sử dụng một máy chủ có một GPU và CPU duy nhất và hai chipset, Nvidia Tegra X2 và Jetson Xavier NX. Họ đã ghi lại mức tiêu thụ năng lượng của máy chủ và chipset trong quá trình đào tạo, có tính đến mức sử dụng năng lượng có thể khác nhau tùy thuộc vào quốc gia nơi đặt chipset và máy chủ.

Các nhà nghiên cứu nhận thấy rằng mặc dù có sự khác biệt giữa các hệ số phát thải carbon dioxide giữa các quốc gia, nhưng việc học tập liên kết chắc chắn là “sạch hơn” so với đào tạo tập trung. Ví dụ: đào tạo trên tập dữ liệu hình ảnh nguồn mở CIFAR10 ở Pháp bằng cách sử dụng phương pháp học liên kết giúp tiết kiệm từ 1.8 gam đến 4.4 gam carbon dioxide so với đào tạo tập trung ở Trung Quốc. Đối với các tập dữ liệu lớn hơn như ImageNet, bất kỳ thiết lập học tập liên kết nào ở Pháp đều phát ra ít hơn bất kỳ thiết lập tập trung nào ở Trung Quốc và Hoa Kỳ. Và với tập dữ liệu giọng nói mà các nhà nghiên cứu đã sử dụng, học tập liên kết sẽ hiệu quả hơn so với đào tạo tập trung ở bất kỳ quốc gia nào.

Các nhà nghiên cứu giải thích, học tập liên kết có lợi thế về môi trường một phần do nhu cầu làm mát của các trung tâm dữ liệu. Theo một bài báo gần đây trên tạp chí Khoa học, trong khi những bước tiến về hiệu quả của trung tâm dữ liệu hầu như bắt kịp với nhu cầu dữ liệu ngày càng tăng, tổng lượng năng lượng tiêu thụ bởi các trung tâm dữ liệu chiếm khoảng 1% lượng năng lượng sử dụng toàn cầu trong thập kỷ qua. Con số này gần tương đương với 18 triệu ngôi nhà ở Mỹ.

Các nhà nghiên cứu cảnh báo rằng học tập liên kết không phải là một viên đạn bạc, bởi vì một số yếu tố có thể khiến nó kém hiệu quả hơn so với những gì nó có thể xảy ra. Cơ sở dữ liệu có tính phân tán cao có thể kéo dài thời gian đào tạo, dẫn đến mức phát thải carbon dioxide cao hơn. Khối lượng công việc, kiến ​​trúc mô hình và hiệu suất phần cứng cũng đóng một vai trò nào đó. Ngay cả việc truyền dữ liệu qua Wi-Fi cũng có thể góp phần đáng kể vào lượng khí thải carbon tùy thuộc vào kích thước của mô hình, kích thước của tập dữ liệu và mức năng lượng mà thiết bị tiêu thụ trong quá trình đào tạo.

Tuy nhiên, các nhà nghiên cứu khẳng định rằng việc xem xét tỷ lệ phát thải carbon dioxide trong khi tối ưu hóa các mô hình AI có thể giúp giảm ô nhiễm trong khi vẫn duy trì hiệu suất tốt. Để đạt được điều này, họ kêu gọi các nhà khoa học dữ liệu thiết kế các thuật toán giúp giảm thiểu lượng khí thải và các nhà sản xuất thiết bị để tăng tính minh bạch trong việc tiêu thụ năng lượng.

Các nhà nghiên cứu viết: “Học tập liên kết… đang bắt đầu được triển khai trên quy mô toàn cầu bởi các công ty phải tuân thủ các yêu cầu và chính sách pháp lý mới có nguồn gốc từ chính phủ và xã hội dân sự để bảo vệ quyền riêng tư”. “Bằng cách định lượng lượng khí thải carbon cho liên kết và chứng minh rằng thiết kế phù hợp của cơ cấu liên kết sẽ dẫn đến giảm lượng khí thải này, chúng tôi khuyến khích việc tích hợp lượng khí thải carbon dioxide được giải phóng như một thước đo quan trọng cho việc triển khai học tập liên kết.”