Yöntem

Basiro, yapay zekânın bir marka hakkında söylediklerini nasıl ölçer

Basiro'nun gösterdiği her rakamın kaç cevaba dayandığı, ne kadar kesin olduğu ve cevapların kendisi açıktır. Bu sayfa yöntemi anlatır; ürünün içinde her rakam arkasındaki cevaplara bağlanır.

Yöntem

Bir rakam kaç cevap ister

%50 civarındaki bir oranda n cevap, yaklaşık şu kadar puan artı eksi kesinlik verir:

20'de 19 ile 200'de 190 ikisi de %95'tir. Yalnız ikincisi kanıttır: aralığı %91–%97, birincininki %76–%99.

API ve ekran

API'den gelen cevap ile bir kişinin asistanın kendi ekranında gördüğü farklı olabilir: ekran kendi varsayılanlarını, konumu ve ürün kartlarını ekler. İkisini de yakaladığımız yerde farkı gösteriyoruz.

Cevapları ne kadar doğru okuyoruz

Okumayı, doğru cevabı elle işaretlenmiş örnek cevaplarla sınıyoruz: ürünün kullandığı okumanın aynısını bu örneklerde çalıştırıp karşılaştırıyoruz. Bu her sürümde çalışır; bir öncekinden kötü okuyan sürüm durdurulur.

Arapça%100kontrollerin ortalaması · 16 test cevabı
Türkçe%100kontrollerin ortalaması · 15 test cevabı
İngilizce%100kontrollerin ortalaması · 15 test cevabı

Şimdiye kadar 46 test cevabının 0 tanesi insanlar tarafından etiketlendi. Gerisi okumanın çalıştığını sınayan elle yazılmış örnekler; gerçek cevaplar için henüz kanıt değil. Hedefimiz her dilde en az 100 etiketli gerçek cevap.

OkunanArapçaTürkçeİngilizce
Marka anıldı%100%100%100
Adaş işletme (F1)%100%100%100
Sıra%100%100%100
Ton%100%100%100
Anılan rakipler (F1)%100%100%100
Bulunan iddialar (F1)%100%100%100
İddia kararları%100%100%100
Cevap mı, geri soru mu%100%100%100

F1 bulunanı ve kaçırılanı birlikte ölçer; n etiketlerdeki öğe sayısıdır. Oranlar %95 aralıkla verilir. Aralığı ve örnek sayısını görmek için bir puanın üzerine gelin.

Ölçüm sağlığı

Her markanın bir ölçüm sağlığı ekranı vardır: son 24 saatte hangi yapay zekâ cevap verdi, hangisi kredi, günlük kota ya da hata yüzünden durdu, her biri en son ne zaman cevap verdi. Boş bir ekran her zaman sebebini söyler.

Markanızı ücretsiz kontrol edin