39 Meta-Analiz, 39 Olumlu Bulgular: Bir Denetim Eğitimde Yapay Zeka Araştırmalarında Ciddi Kusurlar Buldu

Yapay zeka öğrencilerin öğrenmesine yardımcı olur mu? Yeni eğitim teknolojisi sınıflarda hızla yayılırken, birçok öğretmen ve ebeveynin yanıt aradığı soru budur.

Normalde meta-analizler bakılacak doğru yer olurdu, çünkü dağınık bir araştırma gövdesini toplamaları ve kanıtların ağırlığının nerede olduğuna işaret ederek buna anlam vermeleri beklenir. Ve gerçekten de, hepsi eğitimde yapay zeka için önemli faydalar bildiren 39 tanesi var.

Ancak görünen o ki, bu kanıtı sentezleyen çalışmaların kendileri güvenilmezdir ve akran değerlendirmesi süreci sorunları yakalamakta başarısız olmuştur.

Artan sayıda olumlu yapay zeka meta-analizi sorununu tartışmak üzere 20 Ekim'de bir web seminerine ev sahipliği yapan Massachusetts Institute of Technology doçenti ve MIT Öğretim Sistemleri Laboratuvarı direktörü Justin Reich, "Bu güvenilir bir kanıt değildir" dedi. "Bu meta-analizlerin hepsi kusurludur."

39 meta-analizden 14'ünün adli denetimi, ciddi kavramsal ve istatistiksel kusurlar ortaya çıkarmıştır. Google Scholar'a göre Springer Nature, Wiley, SAGE ve Taylor & Francis dahil olmak üzere önde gelen yayıncıların dergilerinde yer alan bu 14 makale 3,000'den fazla atıf toplamıştır ve ayda 200 atıf biriktirmeye devam etmektedir—bu da yapay zekanın etkinliğinin çözülmüş bir bilim olduğunu ima etmektedir. İki İskemdinavyalı akademisyenin şikayette bulunmasının ardından, Nature dergisinde Mayıs 2025'te yayınlanmasından neredeyse bir yıl sonra bir meta-analiz geri çekilmiştir.

Yeni denetim, Ivy Tech'in Bloomington, Indiana kampüsünde bir toplum koleji profesörü olan ve temel çalışmaların bir örneklemini ve meta-analizlerde sonuçlarını birleştirmek için kullanılan istatistiksel yöntemleri inceleyen Patrick O'Neill tarafından gerçekleştirildi. O'Neill, bazıları sadece çalışma özetleri okunarak kolayca tespit edilebilecek tekrarlayan hata kalıpları buldu.

20 Ekim'deki web semineri sırasında O'Neill, "imkansız istatistikler", "halüsinasyon referanslar" ve "abartılı sonuçlar" takımyıldızını açıkladı. Temel çalışmaların bazıları, üretken yapay zeka halka sunulmadan önce yayınlanan makalelere referanslar bile aktarıyordu. Atıflara verilen bağlantılar bazen ilgisiz çalışmalara yol açıyordu.

Birleştirilen çalışmaların birçoğu yapay zekanın öğrenmeyi ne kadar artırdığını bile ölçmedi. Örneğin, yapay zeka kullanan bir eğitmenle haftada üç saat ders çalışan hemşirelik öğrencileri, hiç ders seansına katılmayan akranlarıyla karşılaştırıldı (tabii ki daha iyi test ettiler). Video oyunları oynayan ve yapay zeka tarafından oluşturulan soruları yanıtlayan öğrenciler hiçbirini yapmayan öğrencilerden daha iyi performans gösterdi. Başka bir deneyde, bir yapay zeka botuyla sohbet eden öğrencilerin daha az endişeli hissettikleri bildirildi.

Meslektaşları Reich ve O'Neill ile birlikte eleştiriye katılan lider bir meta-analiz uzmanı ve Northwestern Üniversitesi profesörü Beth Tipton, eğitimde yapay zekanın tüm çeşitli kullanımlarını kapsayan çok geniş bir meta-analiz yürütme fikrini "çılgınca" olarak nitelendirdi.

Tipton bunu matematik eğitimi üzerine bir meta-analiz yürütmeye benzetti. Matematik eğitimi etkili mi? Bu, matematiğin nasıl öğretildiğine bağlıdır. Düşünceli bir meta-analiz, soruyu uzamsal öğrenme müdahalelerinin matematik becerilerini geliştirip geliştirmediği gibi belirli bir yaklaşımla daraltabilir. Benzer şekilde Tipton, yapay zekanın nasıl kullanıldığının onun üzerine bir meta-analiz yürütülmeden önce belirtilmesi gerektiğini söyledi.

Tipton, "Khan Academy gibi içinde yapay zeka barındıran [eğitim] uygulamalarını ve programlarını kullanan insanları mı kastediyoruz? Öğrencilere Claude'a erişim vermeyi mi kastediyoruz?" diye sordu.

O'Neill, mevcut yapay zeka meta-analizi partisindeki büyük bir endişenin "yayın yanlılığı" olduğunu söyledi. Eğitimde yapay zeka için makale çağrılarının üçte ikisinin özellikle faydaları üzerine araştırma davet ettiğini, "görünüşe göre sıfır veya olumsuz sonuçları davet etmediğini" buldu. Bunun, meta-analizlerin seçilmiş, olumlu sonuçları birleştirerek etkili bir şekilde "kanıt ürettiği" anlamına geldiğini söyledi.

O'Neill artık uygun istatistiksel yöntemleri kullanarak kendi yapay zeka meta-analizini yürütüyor ve çok daha az iyimser bir tabloya ulaşıyor. İyi tasarlanmış 44 deneyin sonuçlarının, öğrenciler için çok yararlıdan çok zararlıya kadar çok farklılık gösterdiğini buldu. O'Neill'in ön hesaplamalarına göre sonuçlar kabaca sıfıra ortalamalandı. Bu, eğitimcilerin ortalama olarak yapay zekanın zararsız olduğu sonucuna varması gerektiği anlamına gelmez. Nasıl kullanıldığına bağlıdır.

Ayrıca meta-analiz eleştiri web seminerine katılan Stanford eğitim profesörü Susanna Loeb, ekibinin eğitimde yapay zeka üzerine yaklaşık 900 çalışma topladığını ve bunlardan sadece 20'sinin AI Hub for Education için kanıtların son özetine dahil edilebilecek kadar yüksek kalitede olduğunu belirlediğini belirtti. Ekibi o zamandan beri 32 çalışma daha belirledi ve bu özeti yakında güncelleyecek. Ancak, okul liderleri veya öğretmenler için yararlı olacak bir meta-analiz yürütmek için hala çok erken olduğunu söyledi. Yüksek kaliteli çalışmaların çok azı Amerika Birleşik Devletleri'ndeki K-12 okullarında gerçekleşmektedir.

Northwestern'den Tipton, hızla büyüyen meta-analiz alanının işi gözden geçirmeye nitelikli uzman arzını geride bırakmasından endişe ediyor. Daha fazla akademisyen meta-analiz yürütüyor çünkü bunlar deney yürütmekten daha hızlı ve daha ucuzdur ve hırslı profesörler için çok sayıda atıf çekebilirler. Yapay zeka hakkında kanıt açlığı, bu konuyu özellikle meta-analiz için bir mıknatıs haline getirmiş ve bir tür yapay zeka meta-analizi zanaat endüstrisi yaratmıştır.

Tipton, her gün meta-analiz makalelerini inceleme talepleri aldığını ancak hepsini kabul edemediğini söyledi. Temel çalışmaları kontrol etmek günler sürebilir ve akran değerlendirmesi ödenmeyen gönüllü bir iştir.

Tipton, tıbbın da kusurlu araştırmaları olduğunu, ancak samanı buğdaydan ayırmaya yardımcı olacak bekçileri olduğunu söyledi. Gıda ve İlaç Dairesi (FDA) ilaçları onaylamadan önce kanıtları değerlendirir ve sigortacılar hangi tedavilerin kapsanacağına karar verirken araştırmaları gözden geçirir. Eğitimin karşılaştırılabilir korumaları yoktur.

Tipton, "Eğitimde burası adeta hiç kimsenin ülkesidir" dedi. "Herhangi biri herhangi bir şey için kanıtı olduğunu söyleyebilir ve bunu herkesle paylaşabilir; tüketiciler, okullar, öğretmenler, ebeveynler bunu elekten geçirmeye ve anlamlandırmaya çalışmak zorunda kalır. Bu inanılmaz derecede sinir bozucu."

Araştırmacılar, titiz, güvenilir araştırma sentezlerini desteklemeye yardımcı olmak için hayırsever fon sağlayıcılara ve Ulusal Bilim Vakfı'na çağrıda bulundu. Reich, "Belki de gönüllü akran değerlendirmesi modelimiz eğitimdeki kritik konulardaki dönüm noktası çalışmalarında çok iyi çalışmıyor" dedi. "Akran değerlendirmesi çalışmıyor. Meta-analiz çalışmıyor."

Gerçekten güvenilir kanıtlar ortaya çıkana kadar araştırmacılar, eğitimcilere yapay zekayla ihtiyatlı bir şekilde denemeler yapmalarını, küçük öğrenci gruplarıyla başlayıp sonuçları izlemelerini tavsiye etti. O'Neill, yapay zekayı 300 öğrencilik bir ders kursuna sokmanın bile riskli olabileceğini söyledi.

Başka bir deyişle, öğretmenler kendi sınıflarında deneme yapmak üzere kendi başlarına bırakılmıştır. Yine de, eğitim araştırmacılarının kendi alanlarındaki kusurları dile getirdiklerini ve bunları düzeltmeye çalıştıklarını görmek cesaret vericidir.

Eğitimde yapay zeka meta-analizi hakkındaki bu hikaye, eğitimi kapsayan kar amacı gütmeyen, bağımsız bir haber kuruluşu olan The Hechinger Report tarafından üretilmiştir. Proof Points ve diğer Hechinger bültenlerine kaydolun.

Okul bölgelerini birleştirmenin vergi mükelleflerine para kazandırması gerekiyordu. Arkansas'ta yapılan 20 yıllık bir çalışma bunun olmadığını ortaya koydu.

Makalelerimizi çevrimiçi olarak veya basılı olarak Creative Commons lisansı altında ücretsiz olarak yeniden yayınlayın.

Tüm münhasır olmayan hikayeleri ticari olmayan bir Creative Commons lisansı altında sunuyoruz. Aşağıdaki yönergeleri kullandığınız sürece hikayelerimizi yeniden yayınlamanıza veya yeniden basmanıza izin verilir. Daha fazla ayrıntı için buraya bakın. Sorularınız varsa veya ticari kullanımı tartışmak istiyorsanız, lütfen bizimle iletişime geçin. Bu hikayeye eşlik eden fotoğrafları yeniden yayınlamak istiyorsanız, lütfen bizimle iletişime geçin.

39 meta-analiz, 39 olumlu bulgu: Eğitimde yapay zeka araştırmalarında ciddi kusurlar bulundu

39 meta-analiz, 39 olumlu bulgu: Eğitimde yapay zeka araştırmalarında ciddi kusurlar bulundu

Yapay zeka öğrencilerin öğrenmesine yardımcı olur mu? Yeni eğitim teknolojisi sınıflarda hızla yayılırken, birçok öğretmen ve ebeveynin yanıt aradığı soru budur.

Normalde meta-analizler bakılacak doğru yer olurdu, çünkü dağınık bir araştırma gövdesini toplamaları ve kanıtların ağırlığının nerede olduğuna işaret ederek buna anlam vermeleri beklenir. Ve gerçekten de, hepsi eğitimde yapay zeka için önemli faydalar bildiren 39 tanesi var.

Ancak görünen o ki, bu kanıtı sentezleyen çalışmaların kendileri güvenilmezdir ve akran değerlendirmesi süreci sorunları yakalamakta başarısız olmuştur.

Artan sayıda olumlu yapay zeka meta-analizi sorununu tartışmak üzere 20 Ekim'de bir web seminerine ev sahipliği yapan Massachusetts Institute of Technology doçenti ve MIT Öğretim Sistemleri Laboratuvarı direktörü Justin Reich, "Bu güvenilir bir kanıt değildir" dedi. "Bu meta-analizlerin hepsi kusurludur."

39 meta-analizden 14'ünün adli denetimi, ciddi kavramsal ve istatistiksel kusurlar ortaya çıkarmıştır. Google Scholar'a göre Springer Nature, Wiley, SAGE ve Taylor & Francis dahil olmak üzere önde gelen yayıncıların dergilerinde yer alan bu 14 makale 3,000'den fazla atıf toplamıştır ve ayda 200 atıf biriktirmeye devam etmektedir—bu da yapay zekanın etkinliğinin çözülmüş bir bilim olduğunu ima etmektedir. İki İskemdinavyalı akademisyenin şikayette bulunmasının ardından, Nature dergisinde Mayıs 2025'te yayınlanmasından neredeyse bir yıl sonra bir meta-analiz geri çekilmiştir.

Yeni denetim, Ivy Tech'in Bloomington, Indiana kampüsünde bir toplum koleji profesörü olan ve temel çalışmaların bir örneklemini ve meta-analizlerde sonuçlarını birleştirmek için kullanılan istatistiksel yöntemleri inceleyen Patrick O'Neill tarafından gerçekleştirildi. O'Neill, bazıları sadece çalışma özetleri okunarak kolayca tespit edilebilecek tekrarlayan hata kalıpları buldu.

20 Ekim'deki web semineri sırasında O'Neill, "imkansız istatistikler", "halüsinasyon referanslar" ve "abartılı sonuçlar" takımyıldızını açıkladı. Temel çalışmaların bazıları, üretken yapay zeka halka sunulmadan önce yayınlanan makalelere referanslar bile aktarıyordu. Atıflara verilen bağlantılar bazen ilgisiz çalışmalara yol açıyordu.

Birleştirilen çalışmaların birçoğu yapay zekanın öğrenmeyi ne kadar artırdığını bile ölçmedi. Örneğin, yapay zeka kullanan bir eğitmenle haftada üç saat ders çalışan hemşirelik öğrencileri, hiç ders seansına katılmayan akranlarıyla karşılaştırıldı (tabii ki daha iyi test ettiler). Video oyunları oynayan ve yapay zeka tarafından oluşturulan soruları yanıtlayan öğrenciler hiçbirini yapmayan öğrencilerden daha iyi performans gösterdi. Başka bir deneyde, bir yapay zeka botuyla sohbet eden öğrencilerin daha az endişeli hissettikleri bildirildi.

Meslektaşları Reich ve O'Neill ile birlikte eleştiriye katılan lider bir meta-analiz uzmanı ve Northwestern Üniversitesi profesörü Beth Tipton, eğitimde yapay zekanın tüm çeşitli kullanımlarını kapsayan çok geniş bir meta-analiz yürütme fikrini "çılgınca" olarak nitelendirdi.

Tipton bunu matematik eğitimi üzerine bir meta-analiz yürütmeye benzetti. Matematik eğitimi etkili mi? Bu, matematiğin nasıl öğretildiğine bağlıdır. Düşünceli bir meta-analiz, soruyu uzamsal öğrenme müdahalelerinin matematik becerilerini geliştirip geliştirmediği gibi belirli bir yaklaşımla daraltabilir. Benzer şekilde Tipton, yapay zekanın nasıl kullanıldığının onun üzerine bir meta-analiz yürütülmeden önce belirtilmesi gerektiğini söyledi.

Tipton, "Khan Academy gibi içinde yapay zeka barındıran [eğitim] uygulamalarını ve programlarını kullanan insanları mı kastediyoruz? Öğrencilere Claude'a erişim vermeyi mi kastediyoruz?" diye sordu.

O'Neill, mevcut yapay zeka meta-analizi partisindeki büyük bir endişenin "yayın yanlılığı" olduğunu söyledi. Eğitimde yapay zeka için makale çağrılarının üçte ikisinin özellikle faydaları üzerine araştırma davet ettiğini, "görünüşe göre sıfır veya olumsuz sonuçları davet etmediğini" buldu. Bunun, meta-analizlerin seçilmiş, olumlu sonuçları birleştirerek etkili bir şekilde "kanıt ürettiği" anlamına geldiğini söyledi.

O'Neill artık uygun istatistiksel yöntemleri kullanarak kendi yapay zeka meta-analizini yürütüyor ve çok daha az iyimser bir tabloya ulaşıyor. İyi tasarlanmış 44 deneyin sonuçlarının, öğrenciler için çok yararlıdan çok zararlıya kadar çok farklılık gösterdiğini buldu. O'Neill'in ön hesaplamalarına göre sonuçlar kabaca sıfıra ortalamalandı. Bu, eğitimcilerin ortalama olarak yapay zekanın zararsız olduğu sonucuna varması gerektiği anlamına gelmez. Nasıl kullanıldığına bağlıdır.

Ayrıca meta-analiz eleştiri web seminerine katılan Stanford eğitim profesörü Susanna Loeb, ekibinin eğitimde yapay zeka üzerine yaklaşık 900 çalışma topladığını ve bunlardan sadece 20'sinin AI Hub for Education için kanıtların son özetine dahil edilebilecek kadar yüksek kalitede olduğunu belirlediğini belirtti. Ekibi o zamandan beri 32 çalışma daha belirledi ve bu özeti yakında güncelleyecek. Ancak, okul liderleri veya öğretmenler için yararlı olacak bir meta-analiz yürütmek için hala çok erken olduğunu söyledi. Yüksek kaliteli çalışmaların çok azı Amerika Birleşik Devletleri'ndeki K-12 okullarında gerçekleşmektedir.

Northwestern'den Tipton, hızla büyüyen meta-analiz alanının işi gözden geçirmeye nitelikli uzman arzını geride bırakmasından endişe ediyor. Daha fazla akademisyen meta-analiz yürütüyor çünkü bunlar deney yürütmekten daha hızlı ve daha ucuzdur ve hırslı profesörler için çok sayıda atıf çekebilirler. Yapay zeka hakkında kanıt açlığı, bu konuyu özellikle meta-analiz için bir mıknatıs haline getirmiş ve bir tür yapay zeka meta-analizi zanaat endüstrisi yaratmıştır.

Tipton, her gün meta-analiz makalelerini inceleme talepleri aldığını ancak hepsini kabul edemediğini söyledi. Temel çalışmaları kontrol etmek günler sürebilir ve akran değerlendirmesi ödenmeyen gönüllü bir iştir.

Tipton, tıbbın da kusurlu araştırmaları olduğunu, ancak samanı buğdaydan ayırmaya yardımcı olacak bekçileri olduğunu söyledi. Gıda ve İlaç Dairesi (FDA) ilaçları onaylamadan önce kanıtları değerlendirir ve sigortacılar hangi tedavilerin kapsanacağına karar verirken araştırmaları gözden geçirir. Eğitimin karşılaştırılabilir korumaları yoktur.

Tipton, "Eğitimde burası adeta hiç kimsenin ülkesidir" dedi. "Herhangi biri herhangi bir şey için kanıtı olduğunu söyleyebilir ve bunu herkesle paylaşabilir; tüketiciler, okullar, öğretmenler, ebeveynler bunu elekten geçirmeye ve anlamlandırmaya çalışmak zorunda kalır. Bu inanılmaz derecede sinir bozucu."

Araştırmacılar, titiz, güvenilir araştırma sentezlerini desteklemeye yardımcı olmak için hayırsever fon sağlayıcılara ve Ulusal Bilim Vakfı'na çağrıda bulundu. Reich, "Belki de gönüllü akran değerlendirmesi modelimiz eğitimdeki kritik konulardaki dönüm noktası çalışmalarında çok iyi çalışmıyor" dedi. "Akran değerlendirmesi çalışmıyor. Meta-analiz çalışmıyor."

Gerçekten güvenilir kanıtlar ortaya çıkana kadar araştırmacılar, eğitimcilere yapay zekayla ihtiyatlı bir şekilde denemeler yapmalarını, küçük öğrenci gruplarıyla başlayıp sonuçları izlemelerini tavsiye etti. O'Neill, yapay zekayı 300 öğrencilik bir ders kursuna sokmanın bile riskli olabileceğini söyledi.

Başka bir deyişle, öğretmenler kendi sınıflarında deneme yapmak üzere kendi başlarına bırakılmıştır. Yine de, eğitim araştırmacılarının kendi alanlarındaki kusurları dile getirdiklerini ve bunları düzeltmeye çalıştıklarını görmek cesaret vericidir.