Mühendislik notlarıKarar
"Yetersiz bilgi" kararı nasıl veriliyor
Arama güveni, cümle düzeyinde doğrulama ve atıf denetimi. Eşikler ve Türkçe için nasıl kalibre edildikleri.
Belgelerde karşılığı olmayan bir soruya akıcı yanıt yazmak, dil modelinin en iyi yaptığı şeydir. Brainer'da bu davranışı üç kapı durdurur.
Birinci kapı arama güveni. En iyi sonucun puanı eşiğin altındaysa yanıt üretimine hiç geçilmez. İki ölçek vardır: yeniden sıralayıcı çalıştıysa 0,20, çalışmadıysa birleşik sıralama puanı için 0,015. İkisini tek eşikle yönetmeye çalıştığımızda kapı yeniden sıralayıcı açıkken hiç kapanmıyordu; bunu ölçümde fark ettik.
İkinci kapı cümle düzeyinde doğrulama. Üretilen yanıt cümlelere ayrılır; her cümle, atıf yaptığı bölümün o iddiayı taşıyan cümleleriyle birlikte çok dilli bir NLI modeline verilir. Cümledeki her sayı kaynakta aynen aranır; bulunmayan sayı cümleyi düşürür. Ortalama 0,20'nin ya da en zayıf cümle 0,30'un altındaysa yanıt reddedilir.
Eşikler İngilizce ölçeklerden alınmadı. Modelin Türkçe girdide doğru cümlelere de düşük puan verdiğini gördük; İngilizce için önerilen 0,70 eşiği Türkçede neredeyse her yanıtı reddediyordu. Kayıtlı 516 yanıt üzerinde en zayıf cümle eşiğini 0,30'a aldığımızda 477 yanıt kabul edildi ve alakasız bir cümle taşıyan yanıtların geçme oranı %44'ten %15'e indi.
Üçüncü kapı atıf denetimi. Her atıf, aramanın getirdiği parça listesinde olmak zorundadır. Listede olmayan bir atıf uydurulmuş bir kaynaktır; yanıt reddedilir. Reddedilen yanıt bir kez daha, daha sıkı bir istemle denenir; yine geçemezse kullanıcı "yetersiz bilgi" görür ve nedeni sayaçta tutulur.
Bedeli: model bazen yanıtı olan soruda da durur. Haziran ölçümünde 30 sorudan 1'inde böyle oldu. Bunu güvenli yönde bir hata sayıyoruz ve test setinde tutuyoruz. Pilotta hedef, çekimser kalma oranının %5 ile %15 arasında kalması; üstüne çıkarsa eşikler kiracı için birlikte ayarlanır.