Şeffaf Puanlama Nedir, Neden Önemlidir?

Tavsiye siteleri bir puan verir ve genellikle o puanın nasıl oluştuğu kapalıdır. Kullanıcıdan beklenen, sayıya güvenmesidir. Oysa bir puanın değeri, yüksekliğinden değil, hesabının denetlenebilir olmasından gelir.

Birinci şart: kriterler açık olmalı

Puanın hangi kriterlerden oluştuğu ve her kriterin ağırlığı yayımlanmalıdır. "Uzman değerlendirmesi" gibi kapalı bir ifade, denetlenebilir değildir. Buna karşılık "özellik seviyesi yüzde 40, fiyat karşılığı yüzde 40, garanti ve destek yüzde 20" gibi bir tablo, herkesin kontrol edebileceği bir iddiadır; toplamı yüze tamamlanır.

TavsiyeHane'de kriterler ve ağırlıkları metodoloji sayfasında açıkça yayımlanır ve her ürün sayfasında puanın kriterlere dağılımı gösterilir.

Açıklığın ikinci yarısı, kriterin nasıl ölçüldüğüdür. "Fiyat karşılığı" iyi bir kriter adıdır ama tek başına bir şey söylemez. Hangi fiyat alınıyor: liste fiyatı mı, son on günün en düşüğü mü? Hangi özellik seti karşılaştırılıyor? Bu sorular cevaplanmadıkça ağırlık tablosu da havada kalır.

İkinci şart: ağırlık kullanıcıya bırakılmalı

Yayımlanmış ağırlıklar bir varsayımdır: ortalama kullanıcının neye önem verdiğine dair bir tahmin. Ama sizin önceliğiniz farklı olabilir. Fiyat sizin için ikinci planda, garanti birinci planda olabilir.

Bu yüzden şeffaflığın ikinci adımı, ağırlıkları kullanıcının değiştirebilmesidir. Kendi ağırlıklarınızı verdiğinizde sıralama değişiyorsa, bu puanlamanın gerçekten kriterlere dayandığının kanıtıdır. Değişmiyorsa ortada bir hesap değil, bir etiket vardır.

Hesap nasıl işler: küçük bir örnek

Ağırlıklı puan, kriter puanlarının ağırlıklarla çarpılıp toplanmasıdır. Bir telefonun özellik puanı 8, fiyat karşılığı 6, garanti ve destek puanı 9 olsun. Ağırlıklar yukarıdaki tablodaki gibi yüzde 40, yüzde 40 ve yüzde 20 ise sonuç 8x0,4 + 6x0,4 + 9x0,2 = 7,4 olur.

Aynı ürünü fiyata daha çok önem veren biri değerlendirsin: fiyat ağırlığı yüzde 70, özellik yüzde 20, garanti yüzde 10 olsun. Bu kez sonuç 6x0,7 + 8x0,2 + 9x0,1 = 6,7 olur. Ürün değişmedi, ölçüt değişti. Şeffaf bir sistemde bu iki sayının ikisi de meşrudur ve hangi ağırlıkla üretildiği yazar.

Üçüncü şart: veri yoksa sıfır değil, "yok" denmeli

En sık yapılan hata, ölçülmemiş bir kriteri sıfır saymaktır. Bu, ölçüm yapılmamış bir ürünü kötü bir ürün gibi gösterir ve sıralamayı bozar. Doğru davranış, o kriterin eksik olduğunu açıkça belirtmek ve puanı mevcut kriterler üzerinden oranlamaktır.

Farkı sayıyla görelim: yukarıdaki telefonun garanti verisi elde olmasın. Sıfır sayılırsa puan 5,6'ya düşer ve ürün haksız yere geriler. Mevcut iki kriter kendi içinde yeniden oranlanırsa (her biri yüzde 50) puan 7,0 olur ve yanına "garanti verisi yok" notu düşülür. İkinci yol daha az bilgi iddia eder ama yanlış bilgi üretmez.

Aynı ilke fiyat denetimi için de geçerlidir: yeterli fiyat geçmişi yoksa "indirim sahte" denmez, "ölçüm yetersiz" denir. Bu ayrımı sahte indirim yazımızda örnekledik.

Dördüncü şart: puan satılmamalı

Şeffaflığın en kritik maddesi budur. Sponsorlu içerik olabilir ama sponsorluk puanı etkilememeli ve sponsorlu kayıt açıkça işaretlenmelidir. Bir puanın satın alınabildiği yerde diğer üç şartın hiçbir anlamı kalmaz.

Ayrım şudur: reklam, yerleşimi satın alır; puan ise ölçümden çıkar. Bir işletmenin listede görünmesi için ödeme yapması gerekiyorsa, o liste bir sıralama değil bir ilan panosudur. Kontrol edilecek şey, sponsorlu kaydın ayrı etiketlenip etiketlenmediği ve ödeme yapmayan kayıtlarla aynı ölçüte tabi olup olmadığıdır.

Şeffaflığın taklidi: üç yaygın kalıp

Şeffaflık dili, şeffaflık olmadan da kullanılabilir. Sık görülen üç kalıp:

• Uzun bir "nasıl değerlendiriyoruz" metni ama tek bir sayısal ağırlık yok. Anlatı var, hesap yok.
• "Editörün seçimi" rozeti. Rozetin hangi ölçüte göre verildiği yazmıyorsa, rozet bir bilgi değil bir vurgudur.
• Ağırlık tablosu yayımlanmış ama tek bir kriterin ağırlığı yüzde altmışın üzerinde. Tabloda beş kriter görünse de puanı fiilen bir tanesi belirler; kalan dördü tabloyu kalabalık gösterir, hesabı değiştirmez.

Puan değiştiğinde ne olmalı?

Şeffaflığın az konuşulan bir boyutu, puanın zaman içindeki hareketidir. Ürün aynı kalıp puanı düştüyse ya veri değişmiştir ya yöntem. İkisi de kullanıcının bilmesi gereken şeydir.

Bu yüzden yöntem değişikliklerinin tarihiyle birlikte duyurulması, "puan neden düştü" sorusunun cevabının bulunabilir olması gerekir. Aksi hâlde puanın kendisi denetlenebilir olsa bile geçmişi kara kutu kalır.

Denetlenebilirlik: karne

Şeffaflık bir slogan olmaktan çıkmak için ölçülmelidir. Kaç kaydın puanı ölçüme dayanıyor, kaçı editör değerlendirmesi, kaçında yeterli veri yok? Bu oranların yayımlanması, sitenin kendi iddiasını denetime açması demektir. Bizim oranlarımız şeffaflık karnesi sayfasında duruyor.

Kaç ondalık basamak anlamlı?

Şeffaf bir puan, hassasiyetini de açıklamak zorundadır. Kriterler tam sayı olarak puanlanıyorsa sonucu iki ondalıkla yazmak, olmayan bir kesinlik iddia etmektir. Yukarıdaki örnekte tek bir kriterdeki bir puanlık değişiklik, sonucu tam olarak o kriterin ağırlığı kadar oynatır: yüzde 40 ağırlıklı bir kriterde 0,4 puan. İki kaydı ayıran fark bundan küçükse, o fark ölçümün gürültüsüdür.

Pratik sonuç şu: iki kaydın puanı arasındaki fark yarım puanın altındaysa sıralamayı değil kriter dağılımını okuyun. 8,4 ile 8,2 arasındaki farkın hangi kriterden geldiğine bakın; o kriter sizin için önemsizse sıralama tersine dönmüş olabilir.

Şeffaflık doğruluk demek değildir

Bir puanın hesabının görülebilir olması, hesabın doğru olduğunu göstermez. Ağırlıklar kötü seçilmiş, kriter puanları yanlış verilmiş, veri eskimiş olabilir. Şeffaflığın sağladığı şey daha mütevazıdır: hata varsa bulunabilir olur.

Kapalı bir sistemde yanlış bir puanı fark etmenin yolu yoktur; neye itiraz edileceği bile bilinmez. Açık bir sistemde okur ağırlığı değiştirip sonucu kendi ölçütüyle yeniden üretir ve hatayı gösterebilir. Bu yüzden şeffaflık bir kalite garantisi değil, denetim imkânıdır.

Özetle

Şeffaf puanlama, güveni talep etmek yerine kanıt sunmaktır. Kriterleri açıklar, ağırlığı kullanıcıya bırakır, eksik veriyi gizlemez ve puanı satmaz. Yıldız ortalamalarının neden tek başına yetmediğini ayrı bir yazıda ele aldık. Kategorilere göz atmak için ürünler, hizmetler ve mekânlar bölümlerinden başlayabilirsiniz.