İçeriğe geç
TÜBİTAK 1812 BİGGHer cümlesi kaynaklı kurumsal yapay zekâ

Ölçüm defteri

Sitedeki her rakamın kaynağı

Bu sayfa iki şey yapar: ürün ölçümünü yöntemiyle verir ve sitede geçen her sayının nereden geldiğini söyler. Ölçüm yenilendikçe tarih değişir.

Yöntem

Yanıt kalitesi ölçümü: 15 Haziran 2026 · yetki fuzz testi: 12 Ekim 2026

  1. 01

    Test seti: 39 Türkçe soru; 30'unun yanıtı verilen belgelerde var, 9'ununki yok. Üç alan eşit: hukuk, finans, sigorta.

  2. 02

    Her soru kendi kanıt parçalarıyla birlikte verilir; bu ölçüm yanıt üretimini ve doğrulamayı ölçer, aramayı değil. Arama ayrı bir ölçümle izlenir.

  3. 03

    Yanıt üreten model ile hakem model farklıdır; sıcaklık 0. Hakem her yanıtı 3 kez bağımsız değerlendirir, çoğunluk sayılır.

  4. 04

    Üç ayrı koşu alındı; tablo son koşudur, koşular arası fark bulgularda.

Sonuç

ÖlçütÖlçülenHedefAnlamı
Atıf isabeti1,000≥ 0,90Yanıtlardaki her atıf kanıt listesinde var; hayalet atıf yok
Atıf kapsamı1,000—Verilen 29 yanıtın hepsi atıflı
Çekimser kalma isabeti0,900≥ 0,8010 çekimser kalışın 9'u yerinde, 1'i gereksiz
Çekimser kalma yakalama1,000—Yanıtı olmayan 9 sorunun 9'unda durdu
Desteksiz yanıt oranı0,034≤ 0,0529 yanıttan 1'i hakem tarafından işaretlendi

Bulgular, zayıf noktalar dahil

  1. 01Bir soruda gereksiz durdu

    Kasko hasarsızlık indirimini soran bir soruda kanıt tamdı; model yine de çekimser kaldı. Üç koşuda da aynı davrandı. Güvenli yönde bir hata, ama hata. Test setinden çıkarmadık.

  2. 02Hakem, sınırdaki bir yanıtta kararsız

    Aynı yanıtlar için hakem bir koşuda 0, iki koşuda 1 yanıtı işaretledi. Bu yüzden kalite kapısı tek bir işaretle düşmeyecek biçimde (0,05) konuldu; 2 işaret düşürür.

  3. 03Tırnaklı çekimser kalma yanlış sınıflanıyordu

    Model çekimser kalma cümlesini tırnak içinde döndürünce üretim kodu bunu atıfsız bir yanıt sanıyordu. Düzeltildi, testi yazıldı. Ölçüm bu hatayı bulduğu için buradadır.

Sınırlar

  • Set küçük: 39 soru. Bir yanıtlık fark hakem oranını 0,034 oynatır. Set büyütülüyor.
  • Kendi setimiz, kendi belgelerimiz. Pilotta aynı ölçüm sizin belgelerinizle tekrarlanır; kabul kapısı o ölçümdür ve 100 örneklik elle incelemeyi içerir.
  • Bu sayfa otomatik ölçümdür; insan incelemesinin yerini tutmaz.

Sitedeki sayılar ve kaynakları

Bir sayının kaynağı burada yoksa o sayı sitede yoktur.

%19 (bilgi arama payı)
McKinsey Global Institute, The social economy: Unlocking value and productivity through social technologies, Temmuz 2012, Exhibit 2: bilgi çalışanlarının haftalık süresinin %19'u bilgi arama ve toplama. ↗
180 500 saat / yıl
Hesap: 500 kişi × 1 900 saat × 0,19. Kurumunuz için kendi sayılarınızı koyun.
29/29 · 9/9 · 1/29 · 1/30 · 1,000 · 0,900 · 0,034
Yukarıdaki ölçüm, 15 Haziran 2026.
0,20 · 0,30 · 0,20 (eşikler)
Üretim varsayılanları: doğrulama ortalaması 0,20, en zayıf cümle 0,30, yeniden sıralanmış arama güveni 0,20 (yeniden sıralayıcı yoksa 0,015). Kiracı ayarıyla yalnız sıkılaştırılabilir.
516 yanıt, 477 kabul
En zayıf cümle eşiğinin 0,30'a alınması: kayıtlı 516 yanıt üzerinde yeniden değerlendirme, Ekim 2026 (mühendislik notları).
2 010 sorgu, 0 sızıntı
Yetki fuzz testinin son tam koşusu, 12 Ekim 2026. Her sürümde tekrarlanır.
13 tehdit
Yazılı tehdit modeli, T-1 ile T-13; yaşayan belge.
%5 ile %15 (çekimser kalma)
Pilot için hedef aralık; kiracı bazında sayaçla izlenir.
2 hafta
Pilot planı: 1. hafta bağlama ve dizinleme, 2. hafta ölçüm. Donanım hazırlığı hariç.
0,97 sıra uyumu · 30 → 8 · ~7 sn
Yerel yeniden sıralayıcının int8 sürümü, Türkçe altın sette tam sürüme karşı; bir dizüstü işlemcide 30 parça (mühendislik notları).

Kendi belgelerinizle ölçün.

İki haftalık pilot: kaynaklarınız bağlanır, sizin sorularınızla ölçülür, rapor size kalır.