Yöntem

1. Görev seti

Görevler Türkiye'deki gerçek kullanımdan seçilir: resmî yazışma ve dilekçe, özetleme, YKS tipi matematik, Türkiye bilgisi, Türkçe açıklamadan kod yazma ve bilinmeyen sorulara verilen cevaplar. Setin üçte biri her ay yenilenir; böylece modeller görevleri ezberleyemez. Yenilenen görevler ve eski sonuçlar arşivde kalır.

2. Ölçütler ve ağırlıklar

• Yazı ve dil (%30): Resmî yazışma, dilekçe, özetleme, imla ve akıcılık.
• Akıl yürütme (%25): YKS tipi matematik ve mantık soruları.
• Türkiye bilgisi (%15): Türk tarihi, coğrafya, mevzuat ve kültür soruları.
• Kod (%15): Türkçe açıklamadan kod yazma ve hata bulma.
• Uydurmama (%15): Bilmediği soruda uydurmak yerine bilmediğini söyleme oranı.

3. Puanlama

Her cevap 0–100 arası puanlanır. Değerlendiriciler hangi modelin cevabını okuduklarını bilmez. İki değerlendiricinin farkı 20 puanı geçerse üçüncü bir değerlendirici bakar.

4. Not ve tavan kuralı

Notlar: 90–100 Çok iyi, 75–89 İyi, 60–74 Orta, 45–59 Zayıf, 0–44 Yetersiz. Uydurmama puanı 50'nin altındaysa genel puan en çok 59 olur. Bilmediği konuda kendinden emin şekilde uyduran bir model, başka alanlarda iyi olsa bile güvenilir sayılmaz.

5. Fiyat

Fiyat puana katılmaz. Her modelin aylık Türk lirası fiyatı ve ücretsiz kullanım durumu sonuçların yanında ayrıca gösterilir.

6. Açık veri

Puanlar, görevler ve ham cevaplar CC BY 4.0 lisansıyla yayımlanır. Bir hata bulursanız düzeltme kaydına yazar ve karneyi güncelleriz.