Makine öğrenimi modelleri inanılmaz derecede güçlü araçlardır. Sınırlı insan beynimizin ayrıştıramadığı büyük veri setlerinde derinden gizlenmiş kalıpları çıkarırlar. Öyleyse, bu karmaşık algoritmaların anlaşılmaz "kara kutular" olması gerekir, çünkü açıp anlayabileceğimiz bir model işe yaramaz. Sağ?

Hepsi yanlış, en azından göre Cynthia RudinDuke Üniversitesi'nde yorumlanabilir makine öğrenimi üzerine çalışan Dr. Kariyerinin çoğunu, alanının tercih ettiği kara kutuları değiştirmek için şeffaf ama yine de doğru modeller için çabalayarak geçirdi.

Bahisler yüksek. Bu opak modeller, potansiyel bir tümöre biyopsi yapma, kefaleti kabul etme veya bir kredi başvurusunu onaylama gibi kararlarının gerçek sonuçlara sahip olduğu durumlarda daha yaygın hale geliyor. Bugün, tıbbi kararlarda yer alan en az 581 AI modeli, Gıda ve İlaç İdaresi'nden yetki almıştır. Bunların yaklaşık 400'ü, radyologların tıbbi görüntülemedeki kötü huylu tümörler veya inme belirtileri gibi anormallikleri tespit etmesine yardımcı olmayı hedefliyor.

Bu algoritmaların çoğu kara kutulardır - ya özel oldukları için ya da bir insanın anlayamayacağı kadar karmaşık oldukları için. Rudin, "Beni çok endişelendiriyor," dedi. "Daha yüksek riskli bir şeyle çalışırken makine öğreniminin tüm çerçevesinin değiştirilmesi gerekiyor."

Ama neye değişti? Son zamanlarda Rudin ve ekibi, en karmaşık makine öğrenimi modellerinin, bilgisayarla görme görevlerini yerine getiren sinir ağlarının bile, çalışmalarını doktorlara gösteren yorumlanabilir cam kutulara dönüştürülebileceğini kanıtlamak için yola çıktı.

New York, Buffalo'nun dışında büyüyen Rudin, babasının fizik ve matematiğe olan sevgisini paylaşmak için büyüdü - o, X-ray makinelerinin kalibre edilmesine yardım eden bir medikal fizikçiydi - ama o, sorunları bilgisayarlarla çözmeyi tercih ettiğini fark etti. Şimdi, meslektaşlarıyla birlikte makine öğrenimindeki en karmaşık bulmaca kutularını - sinir ağlarını - inceleyerek çalışmalarını gösteren doğru modeller oluşturmak için Duke'un Yorumlanabilir Makine Öğrenimi laboratuvarını yönetiyor.

Kuantum Rudin ile bu çabalar, makine öğrenimindeki etik yükümlülükler ve garip bilgisayar şiiri hakkında konuştuk. Röportajlar netlik için özetlendi ve düzenlendi.

Her zaman bir bilgisayar bilimcisi olmayı hayal ettiniz mi?

Hayır kesinlikle olmaz. Çocukken orkestra şefi ya da onun gibi bir şey olmak istiyordum. Ben de besteci olmak ve müzik yazmak istiyordum.

Ne tür müzik?

İşte sorun bu. Ravel ve Debussy gibi geçen yüzyılın başından kalma Fransız müziği yazıyorum. Sonra çok az insanın bu tür müzikle ilgilendiğini fark ettim ve bu yüzden bunu bir kariyer olarak sürdürmemeye karar verdim. Bir lisans öğrencisi olarak, uygulamalı matematikçi olmak istiyordum ama aksi yöne, yani makine öğrenimine yöneldim.

Yorumlanabilirlik hakkında ne zaman düşünmeye başladınız?

Mezun olduktan sonra Columbia'da New York City elektrik şirketi Con Edison ile çalışmaya başladım. Ve gerçek dünya işleri yapıyorlardı. Hangi rögar deliklerinde yangın veya patlama olacağını tahmin etmemiz gerekiyordu - o zamanlar, her yıl Manhattan'daki rögar deliklerinin yaklaşık %1'i kadardı. Her zaman "patlama olasılığı en yüksek" rögarda kendi fotoğrafımı çekmeye çalıştığım konusunda şaka yaptım - gerçi aslında hiç yapmadım.

Veriler çok dağınık olduğu için bunun makine öğreniminin yardımcı olduğu bir sorun olmadığını çok çabuk anladım. 1890'lara kadar uzanan muhasebe kayıtları vardı. Biz de tüm verileri işledik ve şirketin anlayabileceği ve birlikte çalışabileceği bu küçük modellere dönüştürdük. O zamanlar bunu bilmememe rağmen, yorumlanabilir bir makine öğrenimiydi.

O zamanlar yorumlanabilirlik hakkında ne biliyordunuz?

Yorumlanabilirlik hakkında gerçekten hiçbir şey bilmiyordum çünkü bunu kimseye öğretmediler. Makine öğrenimi kara kutu olacak şekilde tasarlandı - ya herhangi bir insanın anlayamayacağı kadar karmaşık ya da özel, birinin gizli sosu olan tahmine dayalı modeller. Bütün fikir, verilerle uğraşmanıza gerek olmamasıydı; algoritma, kaputun altındaki her şeyi hallederdi. Çok zarifti ama bu, neler olup bittiğini anlamayı çok zorlaştırıyordu.

Ama kaputun altında neler olup bittiğini bilmek neden önemli?

Bir tahmine güvenmek istiyorsanız, tüm hesaplamaların nasıl çalıştığını anlamanız gerekir. Örneğin, sağlık hizmetlerinde, modelin hastanız için geçerli olup olmadığını bilmeniz gerekir. Ve içinde ne olduğunu bilmiyorsanız modellerde sorun gidermek gerçekten zordur. Bazen modeller, ne yaptıklarını bilseniz hoşlanmayacağınız şekillerde değişkenlere bağlıdır. Örneğin, New York'taki elektrik şirketiyle onlara nötr kablo sayısına bağlı bir model verdik. Baktılar ve “Nötr kablolar mı? Bu senin modelinde olmamalı. Yanlış bir şeyler var.” Ve tabii ki veritabanında bir kusur vardı ve biz onu tam olarak belirleyemeseydik ciddi bir sorun yaşardık. Bu nedenle, sorunu giderebilmeniz için modeli görebilmeniz gerçekten yararlıdır.

Tıpta şeffaf olmayan AI modelleri hakkında ilk ne zaman endişelenmeye başladınız?

Babam tıbbi fizikçi. Birkaç yıl önce tıbbi fizik ve radyoloji konferanslarına gidiyordu. İşe giderken onu aradığımı hatırlıyorum ve “Buna inanmayacaksın ama tüm yapay zeka seansları dolu. Yapay zeka radyolojiyi devralıyor.” Sonra öğrencim Alina [Barnett] bizi mamogramları [inceleyen AI modellerini] incelemeye yönlendirdi. Sonra anladım, tamam, bekle. Yorumlanabilir modeller kullanmıyorlar. Sadece bu kara kutuları kullanıyorlar; sonra sonuçlarını açıklamaya çalışıyorlar. Belki de bu konuda bir şeyler yapmalıyız.

Bu nedenle, mamografi için yorumlanabilir modeller oluşturabileceğinizi kanıtlamaya karar verdik. doğruluğunu kaybetmedi kara kutu muadillerinin üzerinde. Sadece yapılabileceğini kanıtlamak istedik.

İşini gösteren bir radyoloji yapay zekasını nasıl yaparsınız?

Kullanmaya karar verdik vaka tabanlı akıl yürütme. İşte burada, "Bence bu şey daha önce gördüğüm diğer şeye benziyor" dersiniz. House'un TV şovundaki hastalarına yaptığı gibi. Mesela: “Bu hastanın kalp rahatsızlığı var ve onun durumunu daha önce 20 yıl önce bir hastada görmüştüm. Bu hasta genç bir kadın, o hasta da yaşlı bir adam ama kalp durumu benzer.” Ve böylece bu durum hakkında diğer durum açısından akıl yürütebilirim.

Bunu bilgisayar görüşü ile yapmaya karar verdik: "Görüntünün bu kısmı, daha önce gördüğüm görüntünün bu kısmına benziyor." Bu, akıl yürütme sürecini, bir insanın bir görüntü hakkındaki akıl yürütmesini başka bir insana nasıl açıklayabileceğine benzer bir şekilde açıklayacaktır.

Bunlar yüksek karmaşıklıktaki modellerdir. Onlar sinir ağları. Ancak mevcut bir vaka hakkında geçmiş vakalarla ilişkisi açısından akıl yürüttükleri sürece, bu, modeli yorumlanabilir olmaya zorlayan bir kısıtlamadır. Ve bilgisayar görüşündeki ölçütlerle karşılaştırıldığında herhangi bir doğruluk kaybı yaşamadık.

Bu 'Dr. House'un tekniği sağlık hizmetlerinin diğer alanlarında işe yarıyor mu?

Herhangi bir şey için vaka temelli akıl yürütmeyi kullanabilirsiniz. Mamografi projesini hayata geçirdikten sonra öğrencilerim Alina Barnett ve Stark Guo ile birlikte çalıştığımız Brandon Westover adlı bir doktor bilgilerini aktardı. doğrudan EEG taramalarına kritik hastalar için. Bu benzer bir nöral mimari ve onu birkaç ay içinde çok hızlı bir şekilde eğittiler.

Bu yaklaşım kara kutular kadar doğruysa, neden onu her şey için kullanmıyorsunuz?

Her şeyden önce, yorumlanabilir bir model yetiştirmek çok daha zordur, çünkü muhakeme süreci hakkında düşünmeniz ve bunun doğru olduğundan emin olmanız gerekir. Düşük riskli kararlar için buna gerçekten değmez. Reklamcılıkta olduğu gibi, reklam doğru insanlara ulaşırsa ve para kazanırsa, o zaman insanlar mutlu olma eğilimindedir. Ancak yüksek riskli kararlar için, bence bu ekstra çabaya değer.

Bir sinir ağının ne yaptığını anlamanın başka yolları var mı?

2017 yılı civarında insanlar bir kara kutunun tahminlerini açıklayan “açıklanabilirlik” üzerinde çalışmaya başladı. Yani sinir ağı gibi karmaşık bir işleve sahipsiniz. Bu açıklama yöntemlerini, bu işlevlere yaklaşmaya çalışmak gibi düşünebilirsiniz. Veya belirli bir tahmin için hangi değişkenlerin önemli olduğunu bulmaya çalışabilirler.

Ve bu işin bazı ciddi sorunları var. Açıklamalar yanlış olmalı, çünkü açıklamaları her zaman doğru olsaydı, kara kutuyu açıklamalarla değiştirebilirdiniz. Ve bu nedenle, açıklanabilirliğin, insanların gerçekte sağladığı yorumlanabilirlikle aynı türden garantileri gelişigüzel bir şekilde talep etmesi, özellikle yüksek riskli kararlar söz konusu olduğunda, beni çok rahatsız etti. Bir açıklama ile bile, bir mahkum olsaydınız ve nedenini gerçekten anlamadıysanız, özgürlüğünüz reddedilebilirdi. Veya size bir ev verecek bir kredi reddedilebilir ve yine nedenini bilemezsiniz. Sana boktan bir açıklama verebilirler ve bu konuda yapabileceğin hiçbir şey yok, gerçekten.

İnsanlar yorumlanabilirliği artık daha mı ciddiye alıyor?

Bence de. Eskiden bir konuşma yapardım ve ardından bazı insanlar gelip bana bağırırdı. Ve onlar, “Yorumlanabilir modellere ihtiyacımız yok; sadece gerçekten dikkatli bir şekilde test ediyoruz ve sorun yok. Şimdi insanlar daha sonra gelip “Evet, sana katılıyorum ve bunun üzerinde de çalışıyorum” diyorlar. Bence hala şu anda ülkeyi yöneten insanların açıklanabilirliğine sahipsiniz - yine, bir kara kutuyu dürtmek, onu değiştirmekten daha kolaydır. İkna etmeyi başaramadığım o adamlar ve bunu kişisel bir başarısızlık olarak görüyorum ama üzerinde çalışıyorum. [Güler.] Gelecek neslin bana yardım edeceğini umuyorum.

Herhangi bir düşük riskli makine öğrenimi uygulaması daha fazla yorumlanabilirlikten fayda sağlar mı? 

İnsanlar doğal dil işleme için yorumlanabilir modeller üzerinde çalışıyorlar. ChatGPT gibi bu büyük dil oluşturma modellerini anlamak çok zordur. Artık saldırgan bir şey söylediklerinde bunu neden yaptıklarını bilmenin faydalı olacağını fark ettik. Bu kara kutu modellerinde sorun gidermek gerçekten zor. ChatGPT'den önce, Duke'ta bilgisayar tarafından oluşturulan şiir ekibimizi yönetiyordum. ChatGPT'nin öncülü olan GPT-2 ile çalışıyorduk ve sık sık onu gerçekten yapmak istemediği bir şeyi yapmaya ikna etmeye çalışıyormuşuz gibi hissediyordum. Hangi kelimelerin genellikle birlikte anlam ifade ettiğini bulmakta iyi değildi.

Bilgisayarda üretilen şiiri neden yaptınız?

Meta-yaratıcı bir şey yapmayı umuyordum. Ekip sonelerle başladı, ardından limericklerle devam etti. Yazdılar Bu kağıt “Bir Zamanlar Çok Kötü Bir Şair Vardı, Otomatik Yapılmıştı Ama Siz Bilmediniz.” Modeli belirli bir şablonu takip etmeye zorladık - steroid kullanan Mad Libs gibi. Sadece bir isyan olan bir sürü şiir vardı. Bilgisayarın yazdığı garip bir şiir parçası aldığınızda ve "Vay canına, bu oldukça tuhaf" demeniz çok eğlenceli.

Ancak bunların hepsi, kafiye ve iambik pentametre gibi çok zor kısıtlamalarla bile metin oluşturmada hiçbir sorunu olmayan ChatGPT'den önceydi. Ancak ChatGPT bana önemli bir şey öğretti. Büyük ölçekli dil ve görüntü oluşturma modellerinde yorumlanabilirliğe sahip değilsek, bunları kontrol etmek daha zordur, bu da tehlikeli yanlış bilgilerin daha hızlı yayılmasına yardımcı olmalarının muhtemel olduğu anlamına gelir. Böylece yorumlanabilirliğin değeri konusundaki fikrimi değiştirdiler - düşük riskli kararlar için bile buna ihtiyacımız var gibi görünüyor.

Müzik bestelemek için makine öğrenimini hiç kullandınız mı?

için güzel bir bilgisayar oluşturma algoritması yayınladık. dört parçalı uyum tamamen yorumlanabilir, öğrencilerimden biri olan Stephen Hahn tarafından yazılmış. Ortak yazarların tümü müzisyendi ve müzik teorisini algoritmaya dahil ettik. Bu bir sinir ağı değildir ve üretir güzel müzik.

Demek istediğim, birinin nöbet geçirip geçirmeyeceğini tahmin etmek için küçücük bir model bulduğumuzda, bence bu çok güzel çünkü bu, birinin takdir edebileceği ve kullanabileceği çok küçük bir model. Ve müzik tamamen kalıplarla ilgilidir. Şiir tamamen kalıplarla ilgilidir. Hepsi birbirinden güzel desenler.