Yıldız Ortalaması Neden Yanıltır?

Yıldız ortalaması, karmaşık bir bilgiyi tek bir sayıya indirir. Bu pratiktir ama bedeli vardır: indirgeme sırasında kararı asıl belirleyecek bilgiler kaybolur. Aynı 4,6 ortalamaya sahip iki ürün, birbirinden tamamen farklı riskler taşıyabilir.

Dağılım kaybolur

4,6 ortalama iki farklı şekilde oluşabilir. Birinci üründe yorumların neredeyse tamamı dört ve beş yıldızdır. İkincisinde ise yorumların yüzde doksanı beş yıldız, yüzde onu bir yıldızdır; hesap tutar, çünkü 0,90x5 + 0,10x1 = 4,6. Ortalama aynı, gerçeklik farklı: ikinci üründe on kullanıcıdan biri ciddi bir sorun yaşamış demektir.

Bu yüzden ortalamaya bakmadan önce dağılıma bakmak gerekir. Ortası boş, uçlarda toplanmış bir dağılım ya kalite tutarsızlığına ya da manipülasyona işaret eder. İkincisinin işaretlerini sahte yorum yazımızda topladık.

İki ürün arasında seçim yaparken sorulacak asıl soru şudur: bir ve iki yıldızlı yorumların toplam payı yüzde kaç? Bu oran, sizin kötü deneyim yaşama olasılığınızın kaba bir tahminidir. Yüzde onluk bir kuyruk, on alıcıdan birinin memnun kalmayacağı anlamına gelir; yüzde on beşlik kuyruk yaklaşık yedide birdir. Bu risk pahalı ürünlerde iade süreciyle, hizmetlerde ise telafisi olmayan bir günle ödenir.

Ortalama ne kadar kolay oynar?

Sayıyla bakınca manipülasyonun ucuzluğu görünür hâle gelir. On yorumu olan ve ortalaması 4,0 olan bir ürüne beş adet beş yıldız eklendiğinde ortalama 4,33'e çıkar. Aynı ürünün bin yorumu olsaydı ortalama 4,000'den yalnızca 4,005'e çıkardı; beş yorumun etkisi üçüncü ondalık basamakta kalır, ikinci ondalıkta hiç görünmezdi.

Bu asimetri iki sonuç doğurur. Birincisi, yeni ürünlerin ortalaması en kolay oynatılan sayıdır. İkincisi, listeleme sıralamaları ortalamaya göre yapıldığında, az yorumlu ürünler haksız biçimde üste çıkar. Sebebi aynıdır: ortalama, kaç yoruma dayandığını yanında taşımaz.

Örneklem büyüklüğü kaybolur

Yedi yorumdan gelen 4,9 ile bin yorumdan gelen 4,5 aynı güvenilirlikte değildir. Az sayıda yorum, birkaç kişinin deneyimini tüm kullanıcıların deneyimi gibi sunar. Küçük örneklemin ortalaması oynaktır; iki yeni yorum onu belirgin biçimde değiştirebilir.

Pratik kural: yorum sayısı otuzun altındaysa ortalamayı bir eğilim olarak okuyun, bir ölçüm olarak değil. Otuz sihirli bir sayı değil; ortalamadaki belirsizlik yorum sayısının kareköküyle azalır. On yorumdan yüz yoruma çıkmak belirsizliği kabaca üçte birine indirir, yüzden sonra her yeni yorumun kattığı kesinlik hızla düşer.

Küçük örneklem nasıl düzeltilir?

Yaygın yöntem, az yorumlu ürünün ortalamasını kategori ortalamasına doğru çekmektir. Mantığı basittir: elimizde yeterli kanıt yoksa, ürünün kategorinin ortalamasına benzediğini varsaymak, birkaç kişinin görüşünü gerçek gibi sunmaktan daha az hatalıdır.

Kaba bir örnek: kategori ortalaması 4,2 olsun ve düzeltme eşiği elli yorum kabul edilsin. Beş yorumdan 4,9 alan bir ürünün düzeltilmiş puanı 4,26 civarına iner; yorum sayısı arttıkça düzeltilmiş puan gerçek ortalamaya yaklaşır. Böylece "yedi yorumla zirvede" görüntüsü ortadan kalkar.

Yöntemin bedeli vardır ve şeffaf bir sistem bunu saklamaz: aynı düzeltme, gerçekten iyi olan yeni bir ürünü de aşağı çeker. Doğru çözüm eşiği gizlemek değil, ham ortalamayı ve düzeltilmiş puanı yan yana göstermektir.

Bir kullanıcı olarak bu hesabı yapmanız gerekmez. Yapmanız gereken, gördüğünüz sayının yanında yorum sayısının da yazıp yazmadığına bakmaktır. Yazmıyorsa, o sayı bir ölçüm değil bir süstür. Aynı yerde doğrulanmış yorum oranının verilip verilmediğine de bakın; nedenini doğrulanmış yorum yazımızda anlattık.

Zaman kaybolur

Ortalama, üç yıl önceki yorumla dün yazılan yorumu eşit ağırlıkta sayar. Oysa ürünler değişir: üretici parça tedarikçisini değiştirir, yazılım güncellemesi performansı düşürür, servis ağı zayıflar. Eski yorumlarla şişmiş bir ortalama, bugünkü ürünü tarif etmiyor olabilir.

Bunu görmenin yolu, yorumları tarihe göre sıralayıp son altı ayın tonunu ayrı okumaktır. Genel ortalama 4,6 iken son altı ayın ortalaması 3,4 ise, karar vermeniz gereken sayı ikincisidir.

Bu fark özellikle uzun ömürlü ürünlerde belirleyicidir. Bir telefonun ilk aylardaki yorumları kutu heyecanını, ikinci yıldaki yorumları ise pil ömrünü ve güncelleme desteğini anlatır. Ayrıntısını pil sağlığı ve güncelleme desteği yazılarımızda ele aldık.

Kullanım bağlamı kaybolur

Aynı ürün farklı kullanıcılar için farklı performans gösterir. Halı ağırlıklı bir evde iyi çalışan robot süpürge, tüylü halıda takılabilir. Yoğun oyun oynayan bir kullanıcı için yetersiz olan telefon, mesajlaşma ağırlıklı kullanımda fazlasıyla yeterlidir.

Tek bir ortalama bu farkı taşıyamaz. Bu yüzden TavsiyeHane'de puan, kriterlere ayrıştırılmış olarak sunuluyor ve hangi kriterin sizin için ne kadar önemli olduğunu kendiniz belirleyebiliyorsunuz. Yöntemin ayrıntısı metodoloji sayfamızda.

Farklı sitelerin ortalamaları neden tutmaz?

Aynı ürünün bir sitede 4,7, başka bir sitede 3,9 görünmesi çoğu zaman ürünle ilgili değildir. Nedenleri ölçüm tasarımındadır.

• Ölçek farkı: beşli ölçekte 4 iyi sayılırken, onlu ölçekte 8 vasat sayılır. İki sayı doğrudan karşılaştırılamaz.
• Yorum toplama biçimi: teslimattan sonra otomatik hatırlatma gönderen bir platformda memnun kullanıcı da yorum yazar. Yalnızca kendiliğinden yazılan yorumlarda ise şikâyet payı yüksektir.
• Filtre politikası: bazı platformlar aşırı uçları ya da doğrulanmamış yorumları eler, bazıları elemez.
• Kapsam farkı: mekân puanları çoğu zaman fiyat, ulaşım ve servis hızını da içerir; ürün puanı içermez. Bir restoran puanının tam olarak neyi ölçtüğünü ayrı bir yazıda inceledik.

Neye bakmalı?

Ortalama yerine bakılacaklar:

• Yıldız dağılımının şekli
• Yorum sayısı ve doğrulanmış yorum oranı
• Son altı ayın ayrı ortalaması
• Düşük puanlı yorumlarda tekrar eden şikâyet başlıkları
• Kriter bazlı puanlar

Son madde çoğu zaman kararı tek başına belirler: bir ürünün genel puanı iyi ama sizin için en önemli kriterdeki puanı düşükse, o ürün sizin için iyi bir ürün değildir.

Özetle

Yıldız ortalaması bir başlangıç noktası, bir sonuç değil. Dağılıma, örneklem büyüklüğüne, zamana ve kullanım bağlamına bakmadan verilen kararlar, tek bir sayının gizlediği risklere açıktır. Puanlarımızın ne kadarının ölçüme dayandığını şeffaflık karnemizde görebilirsiniz.