Harvard Profesörleri Yapay Zeka Destekli Makale İncelemelerinin İnsanlardan Daha İyi Olduğunu Kabul Etti

İki Harvard profesörü, yapay zeka tarafından üretilen makale incelemelerinin, kendi hakemlik hizmetlerinin geleceğini şüpheye düşürmesine rağmen, her ölçütte en iyi insanların üretebileceğinden "artık daha iyi" olduğunu kabul etti.

Harvard Üniversitesi Nicel Sosyal Bilimler Enstitüsü Direktörü Gary King ve IQSS Veri Bilimi Direktörü Steven Worthington, üniversite öğretim üyelerine yönelik çift kör hakemlik hizmetleri olan rapidPeer'a gönderilen makalelerin incelemelerini araştırdılar.

King, "Bunu yazdığımızda, insan incelemesi için iyi bir gerekçe bulacağımızı ve dolayısıyla sevilen bir organizasyon olan rapidPeer organizasyonumuz için bir neden bulacağımızı düşündük," dedi.

2019'daki kuruluşundan bu yana, rapidPeer diğer birçok kuruma da yayıldı.

Ancak King, "bulduğumuz şey bu değildi" dedi ve ardından "organizasyonun ne yaptığını değiştirmek zorunda kalacağız" diye ekledi.

Enstitü tarafından icat edilen hizmet, makale taslakları bir dergiye resmi olarak gönderilmeden önce "kaliteli çift kör incelemeler" sağlıyor. Girişimin bir parçası olarak, hakemlere "zamanları için (iyi) ödeme yapılıyor" ve "iyi bir iş" yapmaları için teşvik ediliyor, diyor makale. İkili, büyük dergilerin editörlerinin incelemelerin gördükleri "en iyiler arasında" olduğunu söylediklerini iddia etti.

Ücretli yön, akademide atipiktir çünkü makale inceleme genellikle tazminat olmaksızın gerçekleştirilir.

İkili, 2019 ile 2026 yılları arasında gönderilen 124 akademik makalenin 134 insan tarafından yazılmış incelemesini aldı ve Anthropic'in Claude Opus aracını kullanarak eşdeğer bir yapay zeka incelemesi oluşturdu. Makaleler, ampirik verilerin istatistiksel analizleri ve tamamen nitel çalışmalar dahil olmak üzere çok çeşitli araştırma alanlarını kapsıyordu.

Yapay zeka hakemi olarak görev yapmak üzere farklı bir model olan OpenAI'nin GPT-5.5'ini seçtiler ve 10 rastgele seçilmiş inceleme çiftini inceleyip sıralamaları için önde gelen akademik dergilerin üç eski editörünü görevlendirdiler. Hem insan hem de yapay zeka hakemlerine, incelemenin kalitesi hakkında bir değerlendirme yapmaları için aynı rapidPeer kriterleri verildi.

Henüz hakem değerlendirmesinden geçmemiş olan bir makaleye göre, yapay zeka, başka bir yapay zeka modeli tarafından değerlendirildiğinde tüm çiftlerde yüzde 100, insan dergi editörleri tarafından değerlendirildiğinde ise yüzde 87 oranında insan incelemesini geride bıraktı. Makale, "Sonuçlar net: Verilere nasıl bakarsak bakalım, yapay zeka kazanıyor," diye ekliyor.

Dahası, yapay zeka incelemesi değerlendirilen yedi alanın tamamında "daha yüksek ortalama puana" sahipti: "kaynaklar, zayıf yönler, yöntemler, teori ve fikir, çerçeveleme, iletişim ve şekiller ve tablolar."

King, yapay zekanın inceleme sürecini daha verimli hale getirme fırsatlarının "muazzam" olduğunu söyledi.

King, hakem değerlendirmesinde hakemlerin, yazarların ve editörlerin birbirlerini kırmamaya çalışan insanlar olduğunu açıkladı. Yapay zekanın bu "dalkavukluğu ortadan kaldırdığını" ve bunun mevcut süreçteki büyük bir verimsizlik olduğunu düşündüğünü belirtti.

Ancak Harvard profilinde kendi "GaryAI" sohbet robotu bulunan siyasi metodoloji alanında önde gelen bir araştırmacı olan King, yapay zeka ile ilgili tehlikelerin de olduğunu söyledi. Örneğin, "İyi bilimin ne olduğuna OpenAI ve Anthropic mi karar vermeli?" diye sordu.

Makale, "Yapay zeka bize bireysel olarak fayda sağlıyor ancak bilimin kolektif çabalarını daha homojen ve sıradan hale getirme riski taşıyor," diyor ve yapay zekanın "geleneksel, ortodoks ve çoğunlukçu fikirlere" yönelme eğiliminde olduğunu gösteren çalışmalara atıfta bulunuyor. Yazarlar, yapay zeka incelemelerinin de aynı sorunlara sahip olabileceği ve "bireysel makaleleri ve bir bütün olarak bilimi homojen argümanlara ve sonuçlara doğru itebileceği" konusunda uyarıyor.

King ve Worthington, bulguları göz önüne alındığında dergilerin uygulayabileceği potansiyel politika değişikliklerine değiniyor. Belirttikleri en "gerçekçi" olanı, bazı dergilerin "insan incelemelerinin rutin kullanımını" atlayabilmesidir.

Bir dergi editörü bunun yerine "yazar tarafından gönderilen bir dosyayı (makale, derginin resmi yapay zeka isteminden oluşturulan yapay zeka incelemesi ve yazarın yapay zekaya verdiği yanıttan oluşan) inceleyebilir." Bu inceleme, editörün seçtiği özel istemler tarafından oluşturulan yeni bir yapay zeka incelemesi ve yalnızca gerekli görüldüğünde bir insan incelemesi ile desteklenebilir.

King'e göre, çalışmanın tanımladığı yapay zeka incelemesinin diğer faydaları arasında süreçte daha fazla doğruluk ve daha az önyargı riski yer alıyor.

Yazarlar, "Politikaları doğru bir şekilde oluşturabilirsek, editörün işi daha iyi hale gelebilir ve bilimsel topluluğun bu iş için cezbettiği yüksek kaliteli insanlar için daha ilgi çekici olabilir," sonucuna varıyor.