Bu makale, Veri Bilimi Blogathon.
Derin Öğrenme ve AI'nın muazzam hesaplama maliyetleri vardır. Mantıksal metin uzantıları üretmek veya açıklamalardan görseller oluşturmak gibi teknolojinin en son uygulamalarından bazılarına güç veren yapay zeka algoritmaları, eğitmek için çok büyük miktarda hesaplama gücüne ihtiyaç duyabilir. Bu da, büyük miktarda güç gerektiriyor ve birçoğunun, giderek daha popüler hale gelen bu ultra büyük yapay zeka sistemlerinin karbon ayak izinin onları çevresel olarak sürdürülemez hale getireceğinden korkmasına neden oluyor.
AI ve Enerji
Yapay zeka sektörü bazen petrol endüstrisine benzetilir: petrol gibi veriler toplanıp işlenirse son derece karlı bir meta olabilir. Amherst'teki Massachusetts Üniversitesi'nden araştırmacılar, yakın tarihli bir yayında birkaç tipik büyük yapay zeka modelini eğitmek için bir yaşam döngüsü analizi gerçekleştirdi. Prosedürün yaklaşık 626,000 pound CO2 eşdeğeri üretebileceğini keşfettiler.
( Kaynak: MIT Technology Review )
( Resim: https://www.technologyreview.com/2019/06/06/239031/training-a-single-ai-model-can-emit-as-much-carbon-as-five-cars-in-their -yaşamlar/ )
Modern AI modelleri muazzam miktarda enerji tüketiyor ve enerji talepleri hızla artıyor. Sınıfının en iyisi bir yapay zeka modeli oluşturmak için gereken bilgi işlem kaynakları, derin öğrenme çağında her 3 ila 4 ayda bir ikiye katlandı.
Gönderen: Forbes için Rob Toews 17 Haz 2020,11:54 EDT (Aşağıdaki Bağlantı).
Bugün yapay zekanın önemli bir karbon ayak izi var ve mevcut piyasa trendleri devam ederse, yakında çok daha kötü olacak. Günümüzün yapay zeka geliştirme programını incelemeye ve revize etmeye hazır olmadığımız sürece, yapay zeka önümüzdeki yıllarda iklim değişikliğine karşı savaşta bir rakip haline gelebilir.
Karbon Ayak İzini Anlamak
Yapay zeka, araştırmanın, sağlığın ve hatta günlük hayatımızın daha hayati bir parçası haline geliyor. Derin öğrenme, sohbet robotlarında, dijital asistanlarda ve akış hizmeti film ve müzik önerilerinde kullanılır. Derin öğrenme, bilgisayar modellerinin verilerdeki kalıpları tespit etmek için eğitildiği bir süreçtir.
( Resim: https://www.pexels.com/photo/female-software-engineer-coding-on-computer-3861972/ )
GPT-3 modeli, şaşırtıcı 175 milyar parametreye sahiptir. Bu miktarı bir bağlama oturtmak gerekirse, önceki modeli GPT-2 piyasaya sürüldüğünde yalnızca 1.5 milyar parametreye sahipti ve o zamanlar son teknoloji olarak kabul ediliyordu. GPT-2'nin eğitilmesi, zaten büyük miktarda bilgi işlem girdisi olan birkaç düzine petaflop gün sürdü, ancak GPT-3 binlerce aldı.
Bu algoritmaları eğitmek için kullanılan veri kümeleri giderek daha büyük hale geliyor. BERT modeli 3 milyar kelimelik bir veri seti üzerinde eğitildikten sonra 2018'de sınıfının en iyi NLP performansına ulaştı. 32 milyar kelimelik bir eğitim setine dayanan XLNet, BERT'yi geçti. GPT-2, bundan kısa bir süre sonra 40 milyar kelimelik bir veri kümesi üzerinde eğitildi. GPT-3, önceki tüm girişimleri gölgede bırakan yaklaşık 500 milyar kelimelik ağırlıklı bir veri seti kullanılarak eğitildi.
Eğitim verilerindeki bu tür üstel artış, AI ve Derin Öğrenmenin artan karbon ayak izine yol açar. Eğitim sırasında beslenen her bir veri parçası için sinir ağları, parametrelerini karmaşık yollarla ayarlayarak uzun bir matematiksel işlemler dizisi (hem ileri hem de geri yayılım) gerçekleştirir. Daha büyük veri kümeleri, artan hesaplama ve enerji gereksinimleri gerektirir.
Çıkarım olarak bilinen gerçek dünya ortamlarında harekete geçmek için yapay zeka modellerini dağıtma süreci, eğitimden çok daha fazla enerji gerektirir. Gerçekten de Nvidia, bir sinir ağının maliyetinin %80 ila %90'ını eğitimden ziyade çıkarımın oluşturduğuna inanıyor.
Yapay Zekanın Karbon Ayak İzi ve Derin Öğrenme ile İlgili Araştırma
İklim değişikliğinin günlük sonuçları göz önüne alındığında, AI araştırma etiğinin, çalışmanın karbon izini sınırlamaya ve dengelemeye odaklanması gerekliliği konusunda fikir birliği artıyor. Zaman, doğruluk ve diğer faktörlerin yanı sıra, araştırmacılar araştırma raporu sonuçlarına enerji maliyetini de dahil etmelidir. MIT araştırmacıları tarafından yayınlanan yakın tarihli bir çalışma raporunda, çevresel etkiyi büyük ölçüde artıran derin öğrenme sürecinin daha da altı çizildi. Araştırmacılar, “NLP'de Derin Öğrenme için Enerji ve Politika Hususları” makalesinde birçok tipik büyük yapay zeka modelini eğitmek için bir yaşam döngüsü çalışması yürüttüler.
Transformer, ELMo, BERT ve GPT-2, sahada performanstaki en önemli iyileştirmelerden sorumlu olan dört modeldir. Güç kullanımını belirlemek için tek bir GPU üzerinde bir güne kadar eğitim aldılar. Ardından, modelin orijinal belgelerinde belirtilen eğitim saatlerinin sayısını kullanarak tüm eğitim prosedürü boyunca harcanan toplam enerjiyi hesapladılar. Amerika Birleşik Devletleri'ndeki ve en büyük bulut hizmetleri sağlayıcısı olan Amazon'un AWS'sinin kullandığı enerji karışımıyla kabaca eşleşen ortalama enerji karışımına dayanarak, bu miktar, karbon dioksit eşdeğeri pound'a çevrildi.
( Resim: https://www.technologyreview.com/2019/06/06/239031/training-a-single-ai-model-can-emit-as-much-carbon-as-five-cars-in-their -yaşamlar/ )
Araştırmacılar, eğitimin çevresel maliyetlerinin model boyutuyla doğru orantılı olarak arttığını keşfettiler. Modelin nihai doğruluğunu geliştirmek için daha fazla ayar adımı uygulandığında hızla büyüdü. Özellikle sinir mimarisi araştırması, küçük performans avantajı için büyük ilişkili maliyetlere sahiptir. Sinir mimarisi araştırması, kapsamlı deneme yanılma yoluyla bir sinir ağının tasarımını aşamalı olarak değiştirerek bir modeli iyileştirmeye çalışan bir ayar prosedürüdür. Araştırmacılar ayrıca bu verilerin yalnızca bir başlangıç noktası olarak kullanılması gerektiğini belirtti. Uygulamada, yapay zeka araştırmacıları ya baştan yeni bir model oluşturur ya da mevcut bir modeli yeni bir veri kümesine uyarlar; bunların her ikisi de birçok ek eğitim ve ince ayar gerektirir.
Karbon Ayak İzini Azaltma
Karbon ayak izini azaltmanın çeşitli yolları vardır. Bir göz atalım.
- Hesaplama açısından verimli makine öğrenimi algoritmalarından yararlanın. Bu mümkündür, çünkü niceleme teknolojileri CPU'ları GPU'lar ve TPU'lar ile hızlandırabilir. Bir olasılık, uç bilgi işlem için IoT cihazları gibi kaynakları kısıtlı cihazları kullanmaktır.
- Gerekli değilse bir modeli sıfırdan eğitmeyin. Araştırmacıların çoğu sıfırdan eğitim almasa da, ağır bir modeli sıfırdan eğitmek çok fazla CPU/GPU gücü tüketebilir. Bu nedenle, önceden eğitilmiş bir model kullanmak, daha az elektrik gerektiğinden karbon ayak izini önemli ölçüde azaltabilir. Azure, görme, konuşma, dil ve arama için çeşitli gelişmiş, önceden eğitilmiş modeller sunar. Bunlar, modeli eğitmek için birçok işlem saati kullanan büyük veri kümeleri üzerinde zaten eğitilmiştir, son kullanıcının yalnızca bu modellerin bilgisini kendi veri kümelerine aktarması yeterlidir. Bu şekilde yalnızca birkaç hesaplama saati ve güç harcanır. Bunun bir yan notu var, Nvidia tarafından 2019'da yapılan araştırmaya dayanarak model çıkarımlarının eğitimin kendisinden daha büyük bir enerji tüketicisi olduğu belirtildi.
- Gerektiğinde Automated ML'yi kullanın. Önceden makine öğrenimi öncelikle bir laboratuvar etkinliğiyken, giderek artan sayıda işletme teknolojiyi laboratuvar dışında kullanmaya başlıyor. Bu, hangi modelin en verimli olduğunu belirlemenin ve daha az verimli olan modelleri hızla ortadan kaldırmanın, yalnızca hesaplama tarafında para tasarrufu sağlamakla kalmayıp, aynı zamanda karbon ayak izini de en aza indirdiği anlamına gelir.
- Birleşik öğrenme (FL) yöntemlerinin kullanılması, karbon ayak izi alanında avantajlı olabilir. Örneğin, Cambridge Üniversitesi, FL'deki uzmanlar tarafından yürütülen bir araştırma, veri merkezlerinin soğutma gereksinimleri nedeniyle avantajlıdır. GPU'lar ve TPU'lar, harcanan enerji birimi başına verilen işlem gücü açısından daha verimli hale geliyor olsa da, güçlü ve enerji tüketen bir soğutma sistemi gereksinimi devam ediyor, bu nedenle FL her zaman donanım geliştirmelerinden yararlanabilir.
- Derin öğrenme ve belirli optik sinir ağları çok fazla enerji harcar. İkincisi, model çıkarımı önemli bir enerji kullanıcısıdır. Nvidia, model çıkarımının model maliyetinin yüzde 80-90'ına mal olduğunu tahmin ediyor. Çözümlerden biri, sinir ağlarını eğitme ve test etme hızını ve verimliliğini artıran özelleştirilmiş işlemciler kullanmaktır. Sonuç olarak, uygun donanıma sahip olmak çok önemlidir.
Sonuç
AI, ikili bir işleve yönelik görünüyor. Bir yandan teknoloji, akıllı şebeke tasarımı, düşük emisyonlu altyapı geliştirme ve iklim değişikliği modellemesi yoluyla iklim sorununun sonuçlarını hafifletmeye yardımcı olma potansiyeline sahiptir. AI ise büyük bir karbon yayıcıdır.
Bu makalede gösterilen medya Analytics Vidhya'ya ait değildir ve Yazarın takdirine bağlı olarak kullanılır.
