Öğrencilerin Yapay Zeka ile Düşünmesini İstiyorsanız Çıtayı Yükseltin

Sohbetin kendisi bir değerlendirme aracı haline gelene kadar yapay zeka öğretmenleri öğrencilere düşünmeyi öğretemez.

İki yıldır rastgele seçilmiş bir çalışmadaki öğrenciler, bir tıklama uzağında olan yapay zeka (AI) öğretmenine sahiptiler. Bu öğrencilerin %96'sı bunu en az bir kez denedi. Ancak ortalama bir öğrenci, Khanmigo adı verilen öğretmeni, erişim sağladığı günlerin yalnızca üçte birinde kullandı.

Bu bulgu, ekonomistler Philip Oreopoulos ve Nina Low'un Tennessee'deki 18 ortaokulda Khan Academy'nin Khanmigo'sunu takip eden National Bureau of Economic Research çalışma kağıdı olan "One Click Away"in temel bulgusudur. Öğrenciler Khan Academy'yi günlük matematik müdahale oturumlarında kullandılar ve Khanmigo, onlara cevap vermek yerine koçluk yapmak üzere ayarlandı.

Normal iyileştirme eğitimi alan öğrencilere kıyasla, müdahale oturumlarındaki öğrenciler mütevazı matematik kazançları elde ettiler; bu, yapay zeka olmadan Khan Academy pratiğinden bekleyeceğiniz kadardı. Çoğu öğrenci yapay zeka öğretmenini nadiren kullandı ve onunla yaptığı sohbetler nadiren matematik hakkındaydı. Başka bir deyişle, bundan yararlanmak için çok az çaba sarf ettiler.

Khan Academy CEO'su Sal Khan, bir blog yazısında çalışmayı ele aldı ve Khanmigo'nun düşük kullanımının kuruluşunun kamuoyunda söyledikleriyle eşleştiğini belirtti. Chalkbeat ile yaptığı son röportajda çalışmanın "motivasyonun ne kadar önemli olduğunu" gösterdiğini söyledi.

Öğretmenler buna şaşırmayacak, ancak sabırlı ve yetenekli bir yapay zeka öğretmeni inşa edip öğrencilerin önüne koyarsanız bunu kullanacakları yönündeki zıt varsayılıma çok para harcandı. Microsoft, Khanmigo'nun öğretmen araçlarını ülkedeki her eğitimci için ücretsiz hale getirmek üzere yeterli Azure altyapısı bağışladı. Eyaletler de toplu lisanslar satın aldı; örneğin Maryland iki yıllık bir pilot proje için bunlardan 4.350 tane satın aldı ve Indiana 112 okulda bir program başlattı.

Khan Academy şimdiden rota değiştirdi. Khan, temmuz ayındaki bir blog yazısında yapay zekanın öğretmeninin içeriğin yanında oturamayacağını, içeriğe dokunması gerektiğini ve ekibin "verimli mücadelenin bir kenara itilmesini zorlaştırması" gerektiğini yazdı. Bu yılın başlarında kuruluş, öğrencilerin sormasını beklemek yerine Khanmigo'yu doğrudan pratik problemlerine yerleştirdi.

Bu çözüm Khan Academy için mantıklı, ancak alttaki noktayı "her öğrencinin bir yapay zeka öğretmenine ihtiyacı var" şeklinde yanlış okumak kolaydır. İhtiyaçları yok. Öğrenciler hiç yapay zeka olmadan da kalkülüs öğrenebilir, güçlü denemeler yazabilir ve iyi düşünebilirler ve pek çok öğretmen bunu sınıflarından makul bir şekilde uzak tutacaktır.

Bir okul yapay zekanın öğrenci düşüncesini desteklemesini istiyorsa, yapay zeka kullanımı isteğe bağlı olamaz. Yapay zeka yardımı isteğe bağlı olduğunda öğrenciler kendilerine soru soran öğretmeni seçmezler. Onlara cevabı veren sonraki sekmedeki sohbet botunu seçerler. Bu kalıbı kendi çalışmalarıma iki yıldır tanık oluyorum ve Tennessee çalışması bunu ölçekli olarak gösteriyor. Kolej ve lise sınıflarında öğrencilere yapay zeka çalışma araçlarını bir seçenek olarak sunum yaptığımda, sürekli olarak etkileşimi ertelediler. Ancak öğrencilerin yapay zeka araçlarını kullanmasını zorunlu kıldığımda ve onlara sohbetleri izleyeceğimi ve geri bildirim vereceğimi söylediğimde, anlamlı etkileşimin başlangıcını gördüm.

O zaman bile, aracın kullanımını zorunlu kılmak yalnızca katılım sorununu çözer, çaba sorununu çözmez. Bir öğrenci bir öğretmenle konuşmaya zorlanabilir ve yine de hiçbir şey vermeyebilir. Khan Academy'nin baş öğrenme sorumlusu Kristen DiCerbo, şubat ayındaki bir EdTech Insiders panelinde "istediğimizden daha pasif etkileşim türleri" gördüğünü söyledi. Yerleşik bir öğretmen bu tür sohbetlerin daha fazlasını başlatacaktır. Öğrencinin nasıl yaptığına önem vermesini sağlayamaz.

Sektörün eksik bir adım attığını düşünüyorum: sohbetin kendisini bir değerlendirme olarak ele almak.

Bu, Elsevier'in "GenAI in Higher Education" kitabındaki Aimée Skidmore ile birlikte yazdığım "From Tutor to Test" adlı bölümümün araştırmasının tasarımıydı. Çalışma, İsviçre'deki Collège du Léman International School'da Medya ve İletişim dersinde 12. sınıftaki 21 öğrenciyi takip etti. Dört hafta boyunca öğrenciler, yapay zeka ile güçlü ve zayıf etkileşimin dökümlerini yan yana karşılaştırdılar, ardından etkili bir yapay zeka etkileşiminin neye benzediğine dair bir dereceli puanlama anahtarı (rubrik) oluşturmak için öğretmenleriyle birlikte çalıştılar. Daha sonra bir medya analiz projesi için beyin fırtınası yapmak üzere ChatGPT'yi kullandılar ve bu rubrik kullanılarak değerlendirilen tam dökümlerini teslim ettiler. Öğrenciler soruları ne kadar kesin sorduklarına, yapay zekanın önerilerine ne kadar eleştirel yanıt verdiklerine ve düşünce sahipliğini koruyup korumadıklarına göre notlandırıldı.

Daha sonra 21 öğrenciden 18'i yapay zekaya yaklaşımının değiştiğini söyledi ve 10'u artık kendi girdileri ve bunu sohbetin ilerleyen kısımlarında nasıl geliştirecekleri hakkında daha fazla düşündüğünü söyledi. Yapay zekadan iyi yanıtlar alma konusunda tamamen kendine güvenenlerin sayısı ikiden 11'e yükseldi.

Artan güven bir uyarı işareti olabilir, bu nedenle öğrencileri tek tek takip ettik. Beşi büyük bir güven kazanırken aynı zamanda yapay zekanın risklerinin de daha fazla farkına vardı. Dördü, yapay zekanın doğruluğunu değerlendirme yeteneklerine daha az güvendi ve bunu sağlıklı bir yeniden kalibrasyon olarak okuduk.

İkisi endişelendiğimiz modeli gösterdi: küçümseyici bir tutumla eşleştirilmiş büyük güven artışları. Hiç yapay zeka kullanmamış olan bir öğrenci, öğrencilerin "düşünme kapasitelerini kaybetmemek için yapay zekaya nasıl yaklaşmaları gerektiğini bilmeleri gerektiğini" yazdı.

Bu, kontrol grubu olmayan küçük bir pilottu ve verilerin çoğunluğu kendi bildirimlerine dayanıyor, yine de bunu bir başlangıç noktası olarak ele alıyorum. Yine de mantık basittir. Sohbet test olduğunda öğrenciler ne göstermeleri gerektiğini bilirler ve birisi sonuçları değerlendireceği için çaba sarf etmeye motive olurlar.

Skidmore ve ben o çalışmayı yürüttükten altı ay sonra, deneyi kendime çevirdim. Wilkes Üniversitesi'nde yapay zeka ve yaratıcılık üzerine yüksek lisans araştırmamın bir parçası olarak yapay zekayı kendi ders çalışmamda iki şekilde kullandım: geleneksel bir Sokratik öğretmen olarak ve yapay zekanın ikna etmem, öğretmem veya müzakere etmem gereken belirli, zor bir kişiyi canlandırdığı karakter rol yapma oyunları olarak. Profesörümden sohbetlerimi değerlendirmesini ve bunları benimle tartışmasını istedim. Amaç, her iki yaklaşımın da kendi eleştirel düşüncemi, yazma becerimi ve yaratıcılığımı derinleştirip derinleştirmediğini görmektir.

Öğretmen beni sıktı ve öğrencilerin bundan neden kaçındığını hemen anladım. Seçim verilseydi, işi kendi başıma yapmayı veya daha uyumlu bir sohbet botu aracılığıyla kestirme yoldan gitmeyi tercih ederdim.

Rol yapma oyunları daha ilgi çekiciydi, ancak en önemli fark bu değildi. Profesörümün sohbetteki performansımı değerlendireceğini biliyordum, bu da beni iyi iş çıkarmak istememe neden oldu ve iyi iş çıkarmak aksi takdirde yapacağımdan daha fazla düşünmek anlamına geliyordu. Başka bir deyişle, izlendiğim bilgisi katılımın çıtasını yükseltti. Yapay zeka her iki versiyonda da aynıydı. Değişen şey, birisinin işimi değerlendireceğinin farkında olmamdı.

Her iki araştırma setine dayanarak, yaklaşımın pedagojik değerini test etmeye devam etmek için bir platform oluşturdum. Buna AI Friction Labs adını verdim ve rol yapma oyunlarına Friction Bots deniyor.

Tam açıklama: AI Friction Labs benim şirketimdir ve aşağıdaki sınıflar beta testçileriydi. Aşağıdakiler araştırma değil, erken ürün geri bildirimidir.

Connecticut'taki Cheshire Academy'den Bill Fallon'ın kalkülüs sınıfında 21 öğrenci, öğretmeni oynadıkları bir rol yapma oyunu gerçekleştirdiler. Yapay zeka, teğet çizgilerini anlamayan ve anlamıyormuş gibi davranmayan bir sınıf arkadaşı olan "Devon"u oynadı. Öğrenciler "anlık değişim oranı" gibi terimlere yaslandıklarında Devon daha kafası karışmış hale geldi. Başarılı olmak için öğrencilerin konuyu sade bir dille açıklayacak kadar iyi anlamaları gerekiyordu. Dökümler daha sonra öğrencinin kalıcılığı, netliği ve öğrencinin öğretim rolünde kalıp kalmadığı açısından önce bir yapay zeka motoru, ardından öğretmen tarafından değerlendirildi.

Beş öğrenci rol yapma simülasyonunu yeniden almayı seçti. Beşi de ikinci seferde yaklaşık 34 puanlık bir ortalamayla daha yüksek puan aldı. Küçük bir grup, ancak geri dönmelerinin nedeni önemlidir: döküm ve yapay zeka değerlendirmesi, açıklamalarının nerede bozulduğunu onlara gösterdi.

Diğer öğretmenler de benzer sonuçlar gördü. Kaliforniya'daki San Domenico School'dan Mary Churchill'in fen bilimleri sınıflarında, deneyimli bir ekolojist rolünü oynayan bir yapay zeka, öğrencileri "neden?" ve "nasıl?" takip sorularıyla zorlamaya devam etti. Bir öğrenci bunun "terimleri ezberlemenin ötesine geçmeye ve arkalarındaki mekanizmaları gerçekten anlamaya zorladığını" söyledi.

Bazı öğrenciler bu egzersizleri beğenmedi. Churchill'in sınıflarında biri "sorguya çekilmiş" hissetti. Bir diğerince sorgulama "öfke tuzağına" yakındı. Birkaç kişi tekrara düştüğünü söyledi. Bu şikayetlerden bazıları gerçek çalışmaya işaret ediyor: ayarlanması gereken zorluk, daha iyi iskele ve ezilmiş yerine zorlanan öğrenciyi izleyen bir öğretmen.

Bu hayal kırıklığının bir kısmının beklenmesi gerekir. Fallon da sınıfında aynı bölünmeyi gördü. "Hayatta şeyler sizi hayal kırıklığına uğratacak" diyor. "İnsanlar sizi hayal kırıklığına uğratacak. Bu bot sizi hayal kırıklığına uğratıyor. Bunun etrafından nasıl dolaşırsınız ve bunu nasıl üretken hale getirirsiniz ve kişiye olabildiğince iyi yardımcı olursunuz? Bu bambaşka bir düşünce ve öğrenme seviyesidir."

Öğrenciler testleri de sevmezler. Genellikle bunu testlerin hiçbir şey ölçmediğinin kanıtı olarak kabul etmeyiz.

Khan, motivasyonun önemli olduğu konusunda haklı. Okullar yapay zekanın bir sınıfta yeri olmadığına karar verebilir ve bu meşru bir seçimdir. Ancak öğretmenlerin yapay zekanın düşünceyi desteklemesini istediği yerlerde, bunu isteğe bağlı kılmak işe yaramaz, çünkü öğrencilerin aldığı seçenek onlar için düşünmeyi yapan seçenektir. Yapay zeka kullanımını zorunlu kılmak da kendi başına yeterli değildir. Öğrenciler ne göstermeleri gerektiğini bildiklerinde ve yargılarına saygı duydukları birinin buna bakacağını bildiklerinde çok çalışırlar. Bu, yapay zekadan çok uzun süre önce iyi değerlendirme için geçerliydi.

Orijinal yapay zeka öğretmeni vizyonunun büyük bir kısmı kendi kendine yönetilen öğrenmeye dayanıyordu: içten motive olmuş, sabırlı bir makineyle yalnız bir öğrenci. Tanımladığım model öğretmeni merkeze geri koyuyor. Sistem, bir öğrencinin gerçek zamanlı olarak nasıl akıl yürüttüğünü, nerede takıldığını ve nasıl iyileştiğini gösteren bir sohbet dökümü üretir. Dökümler geldiğinde yapay zeka, kriterlere karşı ilk geçişli bir değerlendirme taslağı hazırlayabilir, ancak kararı öğretmen verir. Notlar ekler, taslağı düzeltir ve öğrenciye neyin geri döneceğine karar verir.

Son üç yılda binlerce sayfalık öğrenci sohbetini manuel olarak notlandırdıktan sonra, bu araçların beni eğitimin merkezinde tutmaktan ibaret olmadığını görüyorum; aynı zamanda dökümü alınmış sohbet yığınlarını eleme gibi bazen külfetli görevde de yardımcı oluyorlar. Yapay zeka motoru dökümleri belirtilen kriterlere göre değerlendirir ve ardından öğrencinin rol yapma oyununun amacına ulaşmada başarılı olabileceği veya zorlanabileceği belirli mesajları vurgular. Bu "öğretilebilir anlar", rol yapma oyunundaki kilit anlara odaklanmama ve bunları yapay zeka geri bildirimlerine göre değerlendirmeme yardımcı olur.