OpenAI'deki ilk 2.5 yılımda Robotik ekibinde bir ay görüntüsü fikri üzerinde çalıştım: İnsan benzeri tek bir robot eli Rubik küpünü çözmeyi öğretmek istedik. Son derece heyecan verici, zorlu ve duygusal bir deneyimdi. Biz çözülmüş derin pekiştirmeli öğrenme (RL), çılgın miktarlarda alan rasgeleleştirme ve gerçek dünyadan eğitim verisi olmamasıyla ilgili zorluk. Daha da önemlisi, bir ekip olarak zorluğun üstesinden geldik.

Simülasyon ve RL eğitiminden görüntü algısı ve donanım ürün yazılımına kadar çok yakın ve uyumlu bir şekilde işbirliği yaptık. Harika bir deneydi ve o zamanlar sık ​​sık Steve Jobs'u düşünürdüm. gerçeklik bozulma alanı: Bir şeye çok güçlü bir şekilde inanıp ısrarla onu zorlamaya devam ettiğinizde, bir şekilde imkansızı mümkün kılabilirsiniz.

2021'in başından itibaren Applied AI Research ekibine liderlik etmeye başladım. Bir ekibi yönetmek, farklı zorluklar sunar ve çalışma tarzı değişiklikleri gerektirir. Applied AI içindeki dil modeli güvenliği ile ilgili birkaç projeden en çok gurur duyuyorum:

1. Önceden eğitilmiş dil modellerinin nefret dolu, cinsel veya şiddet içerikli içerik üretme eğilimini değerlendirmek için bir dizi değerlendirme verisi ve görevi tasarladık ve oluşturduk.
2. Ayrıntılı bir taksonomi oluşturduk ve güçlü bir sınıflandırıcı oluşturduk. istenmeyen içeriği algılama içeriğin neden uygunsuz olduğunun yanı sıra.
3. Modelin güvenli olmayan çıktılar üretme olasılığını azaltmak için çeşitli teknikler üzerinde çalışıyoruz.

Applied AI ekibi, önceden eğitilmiş büyük dil modelleri gibi en son AI tekniklerini uygulamanın en iyi yolunu uygularken, bunların gerçek dünyadaki görevler için ne kadar güçlü ve yararlı olduklarını görüyoruz. Ayrıca, aşağıda vurgulandığı gibi, teknikleri güvenli bir şekilde uygulamanın öneminin de farkındayız. Şartımız.