Aşağıdaki röportajda, OpenAI Araştırma Ekibi’nin başı Bob McGrew, ekibiyle birlikte yakın zamanda tanıtılan 01 ve 01 Mini model serisi hakkında konuşuyor. Geliştirme süreci, çalışma prensipleri ve bu yeni modellerin özelliklerine dair ilginç bilgiler sunuyorlar.
Bob: 01 tam olarak nedir?
Geliştirici: Yeni 01 serisi ile GPT-4 gibi önceki versiyonlardan farklı bir dizi model sunuyoruz. 01, özellikle bir “Reasoning” (Akıl Yürütme) modeli olarak bilinir, yani bir soruya yanıt vermeden önce daha fazla düşünüyor. Amacımız, daha yüksek kalitede yanıtlar sunmaktır. Şu anda iki modelimiz var: 01 Preview, bu yeni yönü keşfetmek için bir ilk bakış sunuyor, ve 01 Mini, daha kompakt ve hızlı bir versiyon.
Bob: İlginç! Peki, “Reasoning” derken tam olarak neyi kastediyorsunuz?
Geliştirici: Reasoning’i açıklamanın basit bir yolu, farklı görevleri karşılaştırmaktır. Bazı sorulara hemen yanıt verebilirsiniz, örneğin “İtalya’nın başkenti neresidir?” – Roma, düşünmenize gerek yok. Ancak bir iş planı yazmak veya bir bilmece çözmek gibi karmaşık görevlerde düşünmek için zamana ihtiyacınız vardır. Burada amaç, zamanı daha iyi sonuçlara dönüştürmek ve 01 bu derinlemesine düşünme yeteneği ile bunu sağlıyor.
Bob: Bu model üzerinde ne kadar zamandır çalışıyorsunuz?
Geliştirici: Oldukça uzun zamandır. Başlangıçta AlphaGo’nun sonuçlarından çok etkilendik ve Derin Pekiştirmeli Öğrenme (Deep Reinforcement Learning) üzerine yoğunlaştık. Ancak zamanla, pekiştirmeli öğrenmeyi denetimli öğrenme yaklaşımlarıyla birleştirerek daha fazlasını başarabileceğimizi fark ettik. Birçok küçük dönüm noktamız oldu ve nihayetinde bu çabalar 01’in geliştirilmesine yol açtı.
Bob: Bu süreçte özel bir “Aha anı” yaşadınız mı?
Geliştirici: Kesinlikle! Önemli anlardan biri, modele daha fazla hesaplama gücü sunduğumuzda, yalnızca tutarlı düşünce süreçleri üretmekle kalmayıp aynı zamanda gerçekten karmaşık düşünce zincirleri oluşturmaya başladığını fark ettiğimiz zamandı. Diğer bir büyük an ise, modelin pekiştirmeli öğrenme sayesinde önceden belirlenmiş insan düşünce süreçlerine bağlı kalmadan kendi düşünce zincirlerini geliştirebildiğini keşfettiğimiz zamandı. Bu, gerçekten bir dönüm noktasıydı.
Bob: Bu süreçte bazı zorluklar yaşadığınıza eminim. En büyük zorluklar nelerdi?
Geliştirici: Büyük modelleri eğitmek inanılmaz derecede zor. Yanlış gidebilecek sayısız faktör var ve sürekli olarak modelleri başarıyla başarısızlık arasında dengede tutmak için çabalıyoruz. Bu durumu, Ay’a yönlendirdiğiniz bir roketi düşünün; küçük bir açı hatası ve hedefi kaçırırsınız. Burada da benzer bir durum var – doğru dengeyi bulmak çok zor.
Bob: Sabır ve yoğun çaba gerektiriyor gibi görünüyor. Modelleri test etmek için özel testler kullandınız mı?
Geliştirici: Evet, bir süre boyunca sürekli olarak “Bir yılda kaç saat vardır?” sorusunu sordum. Basit gibi görünebilir, ancak GPT-3 gibi eski modeller bu tür sorularda genellikle başarısız oluyordu. 01, bir yıllık yoğun çalışmanın ardından bu tür soruları nihayet güvenilir bir şekilde yanıtlamayı başardı. Bazen bu soruyu elle kodlamış olmayı diledim!
Bob: Modeli günlük hayatınızda nasıl kullanıyorsunuz?
Geliştirici: Programlama yaparken çok kullanıyorum. 01 sayesinde, sorunları tanımlamaya odaklanabiliyorum, kod yazmayı ise modele bırakıyorum. Hata ayıklamada da büyük bir yardımcı. Hata mesajını veriyorum ve model bana hemen mantıklı önerilerde bulunuyor.
Geliştirici: Benim için harika bir beyin fırtınası partneri. Belirsiz fikirleri yapılandırmama ve farklı çözüm yolları geliştirmeme yardımcı oluyor.
Bob: Ayrıca 01 Mini’yi de geliştirdiniz. Bunun arkasındaki motivasyon neydi?
Geliştirici: 01 Mini, 01 felsefesini daha geniş bir kitleye ulaştırmak için geliştirildi. Kullanımı çok daha uygun maliyetli ve hızlı. 01 Preview kadar geniş bir bilgi yelpazesine sahip olmasa da, güçlü bir akıl yürütme odağına sahip. Amacımız, uygun maliyetli ancak zeki bir çözüm sunmak, aynı zamanda büyük modelin birçok güçlü yönünü de korumaktı.
Bob: Teknik zorluklardan çok bahsettiniz. Devam etmenizi motive eden şey nedir?
Geliştirici: Benim için, zekanın farklı biçimlerde nasıl kendini gösterdiğini görmek büyüleyici. 01 ile, sorunlar üzerine daha uzun ve derin düşünme yeteneğine sahip modellerin temellerini atıyoruz – sadece dakikalar veya saatler değil, belki bir gün aylarca veya yıllarca düşünen modeller. Bu, benim için çok heyecan verici bir düşünce.
Geliştirici: Teknolojinin insanların günlük yaşamını nasıl iyileştirdiğini görmek hoşuma gidiyor. Modellerimiz akıl yürütme yoluyla gerçekten pratik sorunları çözebildiğinde, harika bir şey başarmış olacağız.
Bob: Hepinizin tutkusu çok açık. Dinleyicilere iletmek istediğiniz başka bir şey var mı?
Geliştirici: Hepimiz bu projeye çok emek verdik. Burada algoritmalardan ve donanımdan bahsediyor olsak da, nihayetinde bu tür yenilikleri mümkün kılan her zaman insanlardır ve ekip çalışmasıdır. Bu asla unutulmamalı.
Bob: Harika bir kapanış oldu. Zaman ayırdığınız için çok teşekkür ederim ve 01’in yayınlanmasından dolayı hepinizi tebrik ederim!
Geliştirici: Teşekkürler, Bob!
Bu röportajın tamamını YouTube’da İngilizce olarak izleyebilirsiniz: Yeni 01 Model Serisi Röportajı