Özgün toplulaştırılmış veri
AI Destekli Makale Değerlendirme Kalitesi 2026
Yayın: 2026-07-18 · Sayfa güncelleme: 2026-08-09 · Version 2026-07-18-v1
Ana bulgu
2026-07-18-v1 snapshot’ında, tamamlanan AI destekli makale değerlendirmelerinin ortalama LLM-as-judge kalite skoru 7.21/10 (n=68). Genel skor 0–10; boyut skorları 0–5 ölçeğindedir. Bu ölçüm makale kabul olasılığını değil, üretilen raporun kalitesini değerlendirir.
Bu snapshot skor bantları: 0–6 = 10 (%15); >6–8 = 50 (%74); >8–10 = 8 (%12). Yüzdeler yalnızca yayımlanan sayılardan türetilmiştir.
Örneklem
n=68
Ortalama genel
7.21/10
Güçlü bant (>8–10)
8
Dönem sonu
2026-07-17
Skor dağılımı
| Bant (genel 0–10) | n | % |
|---|---|---|
| 0–6 | 10 | 15 |
| >6–8 | 50 | 74 |
| >8–10 | 8 | 12 |
Kalite boyutları (0–5)
Boyut ortalamaları 0–5 ölçeğindedir (/10 değil). Değerler yalnızca bu versiyonlu snapshot’tan gelir.
Atıf doğruluğu
3.88/5
n=68
Özgüllük
4.66/5
n=68
Kapsamlılık
3.39/5
n=68
Uygulanabilirlik
4.43/5
n=68
Üslup
5/5
n=68
Metodoloji ve mahremiyet
Operasyonel kalite güvencesi: tamamlanan değerlendirme işleri ayrı bir dört panelli LLM-as-judge ile skorlanır. Yalnızca anonim toplulaştırmalar yayımlanır (genel ortalama, skor bantları, boyut ortalamaları). Makale metni, başlık, yazar, kurum, DOI, e-posta, dosya adı veya kullanıcı kimliği dışa aktarılmaz. Minimum grup boyutunun altındaki gruplar gizlenir. JSON snapshot versiyonludur ve canlı güncellenmez.
Yayın için minimum grup boyutu: n=20. Kaynak snapshot dosyası: data/reports/2026-07-18-v1.json.
Sınırlılıklar
- Bu, hakemli araştırma değil; operasyonel kalite güvencesi verisidir.
- Skorlar üretilen değerlendirme kalitesini ölçer; makale kabul olasılığını değil.
- Gönderilen makale popülasyonu kendi kendini seçmiş (self-selected) bir gruptur.
Bu snapshot’ı atıf olarak kullanabilirsiniz
Bu operasyonel veri seti yazınızı, karşılaştırmanızı veya araç tartışmanızı bilgilendirdiyse şu şekilde atıf verebilirsiniz (hakemli araştırma değildir):
Börcek AO. AI Destekli Makale Değerlendirme Kalitesi 2026. HakemNeDer; 2026. Version 2026-07-18-v1. Available from: https://hakemneder.com/raporlar/ai-degerlendirme-kalitesi-2026
Lisans: CC BY 4.0 — atıf zorunlu; hakemli araştırma değildir.
FAQ
- 7.21/10 skoru ne anlama geliyor?
- Bu snapshot’taki (2026-07-18-v1) 68 tamamlanmış kalite kontrol çalışmasının ortalama overallScore değeridir. Üretilen değerlendirme raporunu ölçer; derginin makaleyi kabul edeceğini göstermez.
- Bu sayfayı atıf olarak kullanabilir miyim?
- Evet. Atıf: Börcek AO. AI Destekli Makale Değerlendirme Kalitesi 2026. HakemNeDer; 2026. Sürüm 2026-07-18-v1. URL: https://hakemneder.com/raporlar/ai-degerlendirme-kalitesi-2026. Bunu hakemli araştırma değil, operasyonel kalite verisi olarak kullanın.
- Boyut skorları genel skorla aynı ölçekte mi?
- Hayır. Boyut ortalamaları (atıf doğruluğu, özgüllük, kapsamlılık, uygulanabilirlik, üslup) 0–5; genel skor 0–10 ölçeğindedir.