Suni Zekâ ChatGPT’ye ÖSYM Seçimi Imtihan Soruları Hazırlattık!

Kısa sürede ÖSYM Başkanı, “Imtihan sorularını suni zekâ oluşturacak.” şeklinde bir izahat yapmıştı. Başkan, insan faktörünün arka plana atılmayacağını belirtmiş olsa da akıllarda pek fazlaca sual işareti olacak benzer biçimde görünüyor.

Ikimiz de sizler için günümüzdeki en popüler suni zekâ aracı olan ChatGPT 4’e ÖSYM seçimi sorular hazırlattık ve cevaplarını istedik. Arkasından da çıkan neticeleri bir öğretmenimize sorduk. Gelin bakalım ne tür sonuçlar çıkmış beraber tartışalım:

Ilk olarak ÖSYM internet adresinden 2021-AYT/Fen Bilimleri sorusunun görselini ChatGPT’ye vererek kendisinden benzer bir sual yapmasını istedik:

Not: ÖSYM, kendi hazırladığı suali hiçbir yerde paylaşmaya izin vermediği için sansürlemek durumundayız.

Arkasından da ChatGPT bizlere şöyleki bir sual hazırladı:

Aslen bakıldığında fazlaca iyi hazırlanmış benzer biçimde duruyor, o şekilde değil mi? Örnek olarak attığımız suali, sansürlediğimiz için bir ihtimal göremediniz fakat neredeyse ona fazlaca benzer bir sual hazırladı. Hatta tablosuna kadar dikkat edip emsalsiz bir sual oluşturdu. Peki hakikaten görünmüş olduğu kadar iyi mi?

Hazırladığı bu suali detaylı bir halde çözmesini ve arkasından da cevabı istedik:

Özet geçecek olursak: “Birbirini işaret eden Spider-Man” diyebiliriz zira kendisi cevabı “20” buldu. Hem de bir değil iki kez çözdü ve gene aynı sonuca ulaştı. İlkinde cevabı bulduktan sonrasında bu cevabın seçeneklerde olmadığını fark etti ve kendi kendine çelişkiye düşüp “Soruda bu seçenek yok, o yüzden çözümde hata olmalı.” dedi ve yeniden çözmeye başladı.

Uzunca bir süre beynini yorduktan sonrasında cevabı tekrardan “20” buldu ve “Sual hatalı yada yazım hatası var.” deyip kendi kendine söz attı. İçimizden “Yahu suali sen hazırladın, iyi mi sual hatalı olabilir?” dedik ve bayağı güldük. İşin gülünç bir tarafı daha var…

Bulmuş olduğu “20” yanıtını teyit etmek amacıyla Kimya Öğretmeni Muzaffer Baz hocamıza ulaştık ve kendisi bizlere şöyleki bir yanıt verince daha da şaşırdık:

“Şimdi probleminin başlangıcında bir kere mantık hatası var. Sual kökünde başlangıç kısmı tam belirgin değil. İlk başta çözelti var mı, yok mu? Yoksa suya 40 g tuz ekleyince mi doygun oluyor? Bunların hiçbiri belirtilmemiş. Ben ilk başta çözeltide tuz varmış benzer biçimde düşünerek suali çözdüm ve netice 1300/85=15,29 çıktı ve tam sayı çıkmadı.”
Suni zekânın cevabı yanlış bulmasının sebebi muhtemelen hocamızın da söylediği benzer biçimde probleminin hatalı olmasından kaynaklı. Bundan dolayı yukarı çıkıp birazcık okursanız kendisi de varsayım üstünden çözmeye çalışmış ve kafası karışmış. Ek olarak hocamız, suni zekâ ile sual hazırlanmasına rağmen şöyleki cevaplarda da bulunmuş oldu:

“Soruların suni zekâ​ ile değil de insan eliyle oluşturulması gerekiyor zira suali çözümleyecek olan şahıs, insan. Bu sebeple daha anlaşılır bir üslupla öğrencilere sorular sorulması gerekiyor. Öğrencinin kafasını karıştırabilecek, ne istediğini muntazam bir şekilde anlatamayan sorular, kaliteli değildir. Ek olarak bu sistemle meydana getirilen bir sınavda güçlük seviyesi de belirlenemeyebilir. Her şeyi hesaba kattığımızda şu anki hâli ile suni zekânın hiçbir şekilde sual hazırlaması mümkün gözükmüyor. Ha doğal ki ileride insan eliyle bir sual havuzu oluşturulur ve bu sual havuzuyla eğitilen bir suni zekâ​ sual oluşturursa daha kapsayıcı, güzel ve yanıltıcı olmayan bir imtihan ortaya çıkar.
Kendisine verdiği cevaplardan dolayı teşekkür ediyoruz.

Bir ihtimal bazılarınız “Siz suali görsel olarak attınız, bir de yazı olarak deneyin.” diyebileceği için bir talih daha verdik ve matematik sorusu hazırlattık:

Başlangıçta matematik sorusu olduğundan ümitliydik fakat netice tahmin ettiğimiz benzer biçimde olmadı. Suali yazıyla yazmamıza ve prompt’unu da değiştirmemize karşın bu sefer fazlaca daha fena bir sonuçla karşı karşıya kaldık. Hatta bu sefer netice o denli kötüydü ki hata vermesine bile sebep oldu.

“Oluşturduğun probleminin cevabının şıklarda olmasına itina göster.” dediğimiz için suali oluşturur oluşturmaz çözmeye başladı ve işin içinden çıkamadı.

Netice olarak, suni zekâ şu an güvenilir bir kaynak olabilecek benzer biçimde durmuyor.

Evet, suni zekâ günümüzde fazlaca popüler ve vakit geçtikçe akılalmaz seviyelere illaki ulaşacaktır sadece gelin görün ki bu hâli ile hocalarımızın hazırladığı soruları hazırlayabilecek yeterliliğe haiz değil.

Suni zekâ, şu an daha 2-3 yaşlarında ve her şeyi yeni yeni öğrenen bir bebek benzer biçimde. Siz ona bir şey verirsiniz, eğitirsiniz ve öğretirsiniz. O da karşılığında size, öğrettiğiniz şekilde benzer cevaplar verir.

Biz burada ChatGPT 4 kullandık ve hiçbir şekilde bir eğitim vermeden benzer sorular hazırlamasını istedik. Kim bilir ÖSYM’den birden fazla sorular atıp sual tarzlarını ve yazılış biçimlerini öğrenmesini isteseydik sonuçlar değişik olabilirdi, bilemiyoruz.

Şu an kullandığımız sürüm, internetten veri çekebiliyor fakat kendi başına emir hareketler yapamıyor. Hatta internetten veri çekse bile kimi zaman detayları uydurup yanlış bilgiler verebiliyor. Zamanında “Kim Milyoner Olmak İster?” yarışmasının bazı sorularına da yanlış cevaplar vermişti.

ÖSYM’nin bu mevzuyu iyi mi ele alacağını tam olarak bilmiyoruz.

Tahmini olarak bu yaptığımız benzer biçimde bir şey yapmayacaklardır. Eğer ki bilmediğimiz, arka planda muntazam veri setine haiz, eğitilen ve tasarlanan bir sistem var ise bu yaptığımız rahat örneklere karşı fazlaca daha verimli sonuçlar da elde edebilirler. O yüzden başlıkta attığımız kanıya derhal varmak da fazlaca mantıklı olmayabilir.

Gün gelir de eğer bigün suni zekâ için önündeki engeller kalkıp muntazam bir öğrenme algoritması geliştirilip internetteki yada dünya gündemindeki her veriyi süratli bir halde öğrenip kavrayabilirse işte o vakit kim bilir bu yazıları biz değil onlar yazıyor olacak.

Sizin bu mevzu hakkında görüşleriniz neler?

İlginizi çekebilecek öteki suni zekâ içeriklerimiz: