Ölçüm defteri
Sitedeki her rakamın kaynağı
Bu sayfa iki şey yapar: ürün ölçümünü yöntemiyle verir ve sitede geçen her sayının nereden geldiğini söyler. Ölçüm yenilendikçe tarih değişir.
Yöntem
Yanıt kalitesi ölçümü: 15 Haziran 2026 · yetki fuzz testi: 12 Ekim 2026
- 01
Test seti: 39 Türkçe soru; 30'unun yanıtı verilen belgelerde var, 9'ununki yok. Üç alan eşit: hukuk, finans, sigorta.
- 02
Her soru kendi kanıt parçalarıyla birlikte verilir; bu ölçüm yanıt üretimini ve doğrulamayı ölçer, aramayı değil. Arama ayrı bir ölçümle izlenir.
- 03
Yanıt üreten model ile hakem model farklıdır; sıcaklık 0. Hakem her yanıtı 3 kez bağımsız değerlendirir, çoğunluk sayılır.
- 04
Üç ayrı koşu alındı; tablo son koşudur, koşular arası fark bulgularda.
Sonuç
| Ölçüt | Ölçülen | Hedef | Anlamı |
|---|---|---|---|
| Atıf isabeti | 1,000 | ≥ 0,90 | Yanıtlardaki her atıf kanıt listesinde var; hayalet atıf yok |
| Atıf kapsamı | 1,000 | — | Verilen 29 yanıtın hepsi atıflı |
| Çekimser kalma isabeti | 0,900 | ≥ 0,80 | 10 çekimser kalışın 9'u yerinde, 1'i gereksiz |
| Çekimser kalma yakalama | 1,000 | — | Yanıtı olmayan 9 sorunun 9'unda durdu |
| Desteksiz yanıt oranı | 0,034 | ≤ 0,05 | 29 yanıttan 1'i hakem tarafından işaretlendi |
Bulgular, zayıf noktalar dahil
01Bir soruda gereksiz durdu
Kasko hasarsızlık indirimini soran bir soruda kanıt tamdı; model yine de çekimser kaldı. Üç koşuda da aynı davrandı. Güvenli yönde bir hata, ama hata. Test setinden çıkarmadık.
02Hakem, sınırdaki bir yanıtta kararsız
Aynı yanıtlar için hakem bir koşuda 0, iki koşuda 1 yanıtı işaretledi. Bu yüzden kalite kapısı tek bir işaretle düşmeyecek biçimde (0,05) konuldu; 2 işaret düşürür.
03Tırnaklı çekimser kalma yanlış sınıflanıyordu
Model çekimser kalma cümlesini tırnak içinde döndürünce üretim kodu bunu atıfsız bir yanıt sanıyordu. Düzeltildi, testi yazıldı. Ölçüm bu hatayı bulduğu için buradadır.
Sınırlar
- Set küçük: 39 soru. Bir yanıtlık fark hakem oranını 0,034 oynatır. Set büyütülüyor.
- Kendi setimiz, kendi belgelerimiz. Pilotta aynı ölçüm sizin belgelerinizle tekrarlanır; kabul kapısı o ölçümdür ve 100 örneklik elle incelemeyi içerir.
- Bu sayfa otomatik ölçümdür; insan incelemesinin yerini tutmaz.
Sitedeki sayılar ve kaynakları
Bir sayının kaynağı burada yoksa o sayı sitede yoktur.
- %19 (bilgi arama payı)
- McKinsey Global Institute, The social economy: Unlocking value and productivity through social technologies, Temmuz 2012, Exhibit 2: bilgi çalışanlarının haftalık süresinin %19'u bilgi arama ve toplama. ↗
- 180 500 saat / yıl
- Hesap: 500 kişi × 1 900 saat × 0,19. Kurumunuz için kendi sayılarınızı koyun.
- 29/29 · 9/9 · 1/29 · 1/30 · 1,000 · 0,900 · 0,034
- Yukarıdaki ölçüm, 15 Haziran 2026.
- 0,20 · 0,30 · 0,20 (eşikler)
- Üretim varsayılanları: doğrulama ortalaması 0,20, en zayıf cümle 0,30, yeniden sıralanmış arama güveni 0,20 (yeniden sıralayıcı yoksa 0,015). Kiracı ayarıyla yalnız sıkılaştırılabilir.
- 516 yanıt, 477 kabul
- En zayıf cümle eşiğinin 0,30'a alınması: kayıtlı 516 yanıt üzerinde yeniden değerlendirme, Ekim 2026 (mühendislik notları).
- 2 010 sorgu, 0 sızıntı
- Yetki fuzz testinin son tam koşusu, 12 Ekim 2026. Her sürümde tekrarlanır.
- 13 tehdit
- Yazılı tehdit modeli, T-1 ile T-13; yaşayan belge.
- %5 ile %15 (çekimser kalma)
- Pilot için hedef aralık; kiracı bazında sayaçla izlenir.
- 2 hafta
- Pilot planı: 1. hafta bağlama ve dizinleme, 2. hafta ölçüm. Donanım hazırlığı hariç.
- 0,97 sıra uyumu · 30 → 8 · ~7 sn
- Yerel yeniden sıralayıcının int8 sürümü, Türkçe altın sette tam sürüme karşı; bir dizüstü işlemcide 30 parça (mühendislik notları).
Kendi belgelerinizle ölçün.
İki haftalık pilot: kaynaklarınız bağlanır, sizin sorularınızla ölçülür, rapor size kalır.