Açık Kaynaklı Suni Zekâ Modelleri Rahat Sorularda Bile 10 Kat Daha Maliyetli
Suni zekâ teknolojileri hızla gelişirken, maliyet ve verimlilik arasındaki denge işletmeler için tehlikeli sonuç hâle geliyor. Değişik model türleri, aynı görevleri yerine getirirken bile işlem gücü ve kaynak tüketimi açısından büyük farklılıklar gösterebiliyor. Son araştırmalar, bu farkların uzun vadeli maliyet hesaplarında mühim rol oynayabileceğini ortaya koyuyor.
Açık kaynaklı suni zekâ modelleri, ilk bakışta uygun maliyetli bir seçenek şeklinde görünse de uzun solukta beklenenden daha pahalıya mal olabilir. Yeni bir araştırmaya bakılırsa, bu modeller aynı görevleri yerine getirirken kapalı kaynaklı modellere kıyasla daha çok işlem gücü ve token tüketiyor. Doğrusu başlangıçta cazip görünen maliyet pozitif yanları, zaman içinde yerini artan giderlere bırakabiliyor.
Nous Research tarafınca piyasaya çıkan çalışmada Google ve OpenAI’ın kapalı modelleri ile DeepSeek ve Magistral’in açık kaynaklı modelleri dahil olmak suretiyle oldukça sayıda suni zekâ sistemi kontrol edildi. Modeller, rahat data soruları, matematik problemleri ve mantık bulmacaları şeklinde görevlerde kıyaslandı.
Açık modeller rahat sorularda 10 kata kadar daha çok token tüketiyor
Elde edilmiş sonuçlara bakılırsa, açık ağırlıklı modeller kapalı modellere bakılırsa 1,5 ila 4 kat daha çok token kullanıyor. Rahat data sorularında bu fark 10 kata kadar çıkarken, matematik ve mantık sorularında daha düşük seviyelerde kaldı.
Araştırmacılar, token sayısının artmasının yalnızca maliyet değil, bununla birlikte cevap sürelerini ve gecikmeyi de etkilediğini belirtiyor. Çalışmada, OpenAI ve Grok-4 şeklinde kapalı modellerin daha azca token kullanacak şekilde optimize edilmiş olduğu, açık modellerin ise bazı durumlarda daha çok token kullanarak mantık yürütmeyi güçlendirmeyi hedeflediği ifade edildi. Açık kaynak modeller içinde llama-3.3-nemotron-super-49b-v1 en verimli seçenek olurken, Magistral modelleri en fazla kaynak tüketenler içinde yer aldı.
Araştırma, açık kaynaklı suni zekâ modellerinin barındırma maliyeti düşük olsa da, fazla token kullanımı yüzünden toplam maliyetin yükselebileceğini ortaya koyuyor. Bu da şirketlerin model seçerken yalnız lisans tutarına değil, bununla birlikte işlem verimliliğine de dikkat etmesi icap ettiğini gösteriyor.
