Cevap hazır bir listeden gelmiyor, her seferinde yeniden yazılıyor
Google'da arama yaptığınızda, Google'ın önceden bulup kaydettiği sayfaların bir listesini görürsünüz. Aynı aramayı birkaç dakika sonra tekrarlarsanız liste büyük ölçüde aynı kalır. AI asistanı böyle çalışmaz. Her soruda cevabı yeniden yazar.
Asistan cevabı parça parça kurar ve her adımda birkaç olası devam arasından birini seçer. Çoğu asistan bu seçimde bilerek bir miktar rastlantıya yer bırakır; cevapların doğal görünmesini sağlayan şeylerden biri de budur. Sonuç: aynı soru, aynı asistanda bile, farklı bir metin olarak dönebilir. Metin değişince içinde adı geçen işletmeler de değişebilir.
Temsilî örnek, gerçek bir ölçüm değil: "Ankara'da çocuklarla arası iyi bir diş kliniği önerir misin?" diye soruyorsunuz ve cevapta üç klinik adı geçiyor. Aynı soruyu öğleden sonra yeniden soruyorsunuz. O üç isimden ikisi duruyor, üçüncünün yerine daha önce görmediğiniz bir isim gelmiş. Hangisi doğru? İkisi de. Her biri o anın cevabı.
Beş motor, beş ayrı cevap
Müşteriniz yalnız ChatGPT kullanmıyor. Gemini, Claude, Perplexity ve Google aramasının en üstünde çıkan Google AI Overviews özeti de aynı soruya cevap veriyor. Bunlar ayrı ürünler; çoğu farklı şirketlerden geliyor. Gemini ile Google AI Overviews ikisi de Google'ın, ama aynı soruya aynı cevabı vermek zorunda değiller. Bu yazıda bu asistanların her birine kısaca motor diyoruz.
- Bazıları cevabı yazarken o an internette arama yapar ve kaynak gösterir. Bazıları daha çok önceden öğrendiklerine dayanır.
- Her biri farklı siteleri, farklı yorumları ve farklı listeleri okur.
- Google AI Overviews her aramada çıkmaz. Bazı sorularda hiç AI özeti olmaz, yalnız normal arama sonuçları gelir.
Bu yüzden bir motorda adınızın geçmesi, diğerlerinde de geçtiğiniz anlamına gelmez. Tersi de doğru: ChatGPT'de görünmemeniz, Perplexity'de de görünmediğiniz anlamına gelmez.
Kelimeler, dil ve ülke de cevabı değiştirebilir
Siz kendi cümlenizle sordunuz. Müşteriniz kendi cümlesiyle soracak. Şu üç soru aynı ihtiyacı anlatıyor ama aynı listeyi getirmek zorunda değil:
- "İstanbul'da güvenilir bir oto ekspertiz firması hangisi?"
- "İkinci el araba almadan önce ekspertizi nereye yaptırayım?"
- "Kadıköy'de uygun fiyatlı bir ekspertiz önerir misin?"
Dil de önemli. Türkçe sorulan soru ile aynı sorunun İngilizcesi farklı işletmeler getirebilir. Cevap, sorunun hangi ülkeden ve hangi ülke için sorulduğuna göre de değişebilir. Türkiye'den Türkçe sorup kendinizi gördüyseniz bile, Almanya'daki bir müşteri İngilizce sorduğunda sizi görüp görmediğini hâlâ bilmiyorsunuz. Bunu, yurt dışından hasta bekleyen klinikler için yazdığımız rehberde örneklerle anlattık.
Modeller ve okudukları kaynaklar zamanla değişir
AI şirketleri modellerini düzenli olarak günceller. Yeni bir sürüm aynı soruya farklı bir üslupla ve farklı isimlerle cevap verebilir. İnternet de yerinde durmuyor: yeni haberler, yorumlar, rehber yazıları ve harita ya da rehber sitelerindeki işletme kayıtları yayımlanıyor, eskileri yayından kalkıyor. Cevap yazarken internette arama yapan bir asistan her hafta biraz farklı bir interneti okuyor.
Yani geçen ay aldığınız cevap bugün aynı olmayabilir. Ölçüm metodolojimizde de bunu açıkça yazıyoruz: aynı cevabın başka bir hesapta, başka bir konumda, başka bir model sürümünde veya başka bir tarihte tekrar edeceğini iddia etmiyoruz.
Tek cevap bir fotoğraftır
Bunların hepsi aynı yere çıkıyor. Tek bir cevap, o anın fotoğrafıdır; nerede durduğunuzu göstermez.
- Adınızı gördüyseniz: sevindirici, ama bir sonraki soruda, başka bir motorda ya da gelecek hafta tekrar edeceği belli değil.
- Adınızı görmediyseniz: can sıkıcı, ama hiç görünmediğiniz anlamına da gelmez. Belki aynı ihtiyaç başka kelimelerle sorulduğunda ya da başka bir motorda adınız geçiyor.
- İki durumda da rakiplerinize göre nerede durduğunuzu bilmiyorsunuz. Asıl soru o.
Bu cevapları genelde kimlerin doldurduğunu görmek için yerel işletmeler saha notumuza göz atabilirsiniz.
Adil bir tablo için şu dört şeyin her seferinde sabit kalması gerekir. Yoksa iki kontrol arasındaki farkın sizin yaptığınız bir değişiklikten mi, yoksa şanstan mı geldiğini ayıramazsınız:
SOV Tracker bunu nasıl ölçüyor?
Ücretli planlarda ölçüm, bu değişkenleri sabit tutacak şekilde kurulu:
- Soruları siz seçersiniz ve her ölçümde kelimesi kelimesine aynı metin sorulur. Bir sorunun metninde tek bir harf bile değişse, bu o sorunun yeni bir sürümü sayılır.
- Her soru, seçtiğiniz hedef ülke ve dil için takip edilir. Motorlara o ülkedeki bir telefondan ya da bilgisayardan değil, API üzerinden soruyoruz. Bu yüzden o ülkedeki her kullanıcının ekranını birebir gördüğümüzü iddia etmiyoruz.
- Takip ettiğiniz soruların tamamı her hafta, aynı kısa zaman aralığında beş motorda birden sorulur: ChatGPT, Gemini, Claude, Perplexity ve Google AI Overviews.
- Öncelikli olarak işaretlediğiniz sorular ayrıca her gün ChatGPT ve Google AI Overviews'ta kontrol edilir. Bu günlük takip (Priority Pulse) yalnız iki motordan geldiği için, aşağıda anlattığımız haftalık SOV Skorunuza karıştırılmaz.
- Teknik bir hata yüzünden ölçülemeyen, hiç AI cevabı dönmeyen ya da motorun cevaplamayı reddettiği soru, "adınız geçmedi" diye sıfır yazılmaz. Ayrı bir durum olarak kaydedilir. Bir motor o hafta yeterince ölçülemediyse sonuç bunu açıkça belirtir.
- Soru listeniz ya da rakip listeniz değişirse, önceki haftayla karşılaştırma gösterilmez ve yanına nedeni yazılır. Farklı şeyleri ölçen iki hafta aynıymış gibi kıyaslanmaz.
Öne çıkan sonuç SOV Skorunuzdur (SOV, Share of Voice'un kısaltmasıdır): rakip olarak seçtiğiniz işletmelere karşı bahsedilme payınız. Sizin ve bu rakiplerin cevaplarda toplam kaç kez anıldığına bakılır, bu toplamın içindeki sizin payınız hesaplanır. Rakip eklemediyseniz SOV Skoru "ölçülmedi" olarak gösterilir; boşluk sıfırla ya da yüzde yüzle doldurulmaz. Hesabın ayrıntısı SOV Skoru nasıl hesaplanır yazısında, tüm kurallar metodoloji sayfasında.
Ölçmek, adınızın cevaplarda geçmesini sağlamaz. Size verdiği şey, tek bir cevabın şansına kalmayan bir eğilimdir. İki ölçüm arasındaki bir değişim bile, buna neyin yol açtığını tek başına kanıtlamaz; ama ChatGPT'ye bir kez bakmaktan çok daha sağlam bir zemindir.
Önce ücretsiz karne, sonra düzenli takip
Başlamak için para ödemeniz gerekmiyor. Ücretsiz karne ChatGPT'ye işletmenizin adının geçmediği beş soru sorar; cevapların kaçında adınızın kendiliğinden geçtiğini ve sizin yerinize hangi işletmelerin anıldığını gösterir. Üyelik gerekmez; aynı işletme için 30 günde bir yapılabilir.
Karnenin öne çıkan yüzdesi Keşif Görünürlüğü'dür (İngilizcesi: Discovery Visibility) ve SOV Skoru değildir. Rakiplerinize karşı bir pay ölçmez; ChatGPT'nin gerçekten cevap verdiği soruların kaçında adınızın geçtiğini gösterir. Teknik bir hata yüzünden cevap gelmeyen soru, hesaba sıfır diye girmez. Bakmaya değer bir sorun olup olmadığını görmek için iyi bir başlangıçtır. Karnenin tamamını nasıl okuyacağınızı ücretsiz karne rehberimizde anlattık.
Aynı işletme için 30 gün dolmadan yeniden tarama başlatırsanız yeni bir tarama yapılmaz; mevcut karnenizin bağlantısı gösterilir. Kısa aralıkla tekrarlanan tek bir tarama, zaten gerçek bir değişimden çok AI cevaplarının doğal değişkenliğini gösterebilir. Gerçek değişimi görmek için aynı soruların aynı şekilde, düzenli sorulması gerekir. Rakiplerinize göre nerede durduğunuzu beş motorda haftadan haftaya izlemek isterseniz planlara bakabilirsiniz.
Kimse bir cevabı garanti edemez
"Sizi ChatGPT'de ilk sıraya çıkarırız" diyen birine temkinli yaklaşın. Asistanların ne söyleyeceğine dışarıdan kimse karar veremez; biz de veremeyiz. Bizim işimiz ölçmek ve size zaman içinde nerede durduğunuzu gösteren dürüst bir tablo vermek.