Yazıdan Ana Çıkarımlar
- Crawl-to-refer oranı = platformun HTML tarama isteği / o platformun Referer başlığıyla gelen HTML isteği (Cloudflare tanımı, Temmuz 2025).
- Klasik arama hâlâ en dengeli ilişki: Ekim 2026 Cloudflare Radar verisinde Google 4,8:1, Microsoft 40:1 (SEOmator derlemesi, 31.10.2026).
- Yapay zeka platformlarında oran yüzlerden binlere çıkıyor ve aydan aya sert oynuyor: OpenAI Eylül 2026'da 341:1, Ekim'de 775:1.
- Referrer göndermeyen uygulamalar oranı olduğundan yüksek gösterir; tek ayın rakamıyla engelleme kararı verilmez.
- Doğru hamle çoğu zaman topyekûn engelleme değil; kendi oranınızı ölçmek, bot türüne göre ayrıştırmak ve yapay zeka cevaplarında alıntılanacak içerik üretmektir.
Crawl-to-refer oranı nedir sorusunun kısa cevabı şu: bir arama motorunun ya da yapay zeka platformunun sitenizden kaç sayfa okuduğunu, karşılığında size kaç ziyaretçi gönderdiğiyle kıyaslayan orandır. Konu bu sonbaharda yeniden gündemde, çünkü Cloudflare Radar verisini aylık derleyen SEOmator raporu 31 Ekim 2026'da güncellendi ve OpenAI'nin oranı tek ayda 341:1'den 775:1'e çıktı.
Crawl-to-refer oranı, bir platformun sitenizden çektiği HTML sayfa sayısını gönderdiği ziyaretçi sayısına böler; oran büyüdükçe platform aldığına göre daha az trafik geri verir. Bu yazıda oranın nasıl hesaplandığını, platformların bugün nerede durduğunu, kendi sitenizde aynı hesabı nasıl yapacağınızı ve bu rakamı bir iş kararına nasıl çevireceğinizi anlatıyoruz.
Crawl-to-Refer Oranı Tam Olarak Neyi Ölçer?
Yönetici için özeti: bu oran, içeriğinizle yapay zeka platformları arasındaki alışverişin terazisidir. Bir taraf sayfalarınızı okuyor, diğer taraf size müşteri adayı gönderiyor. Terazi ne kadar dengesizse içeriğiniz o kadar "bedava ham madde" gibi kullanılıyor demektir.
Metriği tanımlayan Cloudflare, hesabı Temmuz 2025'te şöyle açıkladı: pay, bir platformun bot kullanıcı ajanlarından (User-Agent) gelen ve cevabı text/html olan isteklerin toplamı; payda, Referer başlığında o platforma ait bir alan adı bulunan HTML isteklerinin toplamı. Sonuç tek bir yönlendirmeye normalize edilir.
Crawl-to-refer oranı = Platformun HTML tarama istekleri / O platformdan gelen HTML yönlendirme istekleri
Örnek okuma: 500:1 → platform, size gönderdiği her 1 ziyaret için 500 sayfa okuyor
Üç teknik ayrıntı yorumu doğrudan etkiler:
- Bot ailesi tek platformda toplanır. Cloudflare, aynı şirketin eğitim botu ile kullanıcı adına çalışan botunu tek platform adı altında birleştiriyor. Yani oran "eğitim botu ne alıyor" değil, "şirket toplamda ne alıyor" sorusunu cevaplar.
- Referrer göndermeyen uygulamalar oranı şişirir. Cloudflare, Claude'un yerel uygulamasının Referer başlığı göndermediğini ve bu yüzden oranların gerçeğinden yüksek görünebileceğini kendisi not ediyor.
- Google'ın ön yükleme trafiği hariç tutulur. Google'ın ağından (AS15169) gelen yönlendirmeler, kullanıcının gerçekten okumadığı ön yükleme (prefetch) istekleri içerdiği için hesaba katılmıyor.
Google, OpenAI, Anthropic ve Perplexity Oranları Ne Söylüyor?
Rakamları okumadan önce bir uyarı: aynı metrik için farklı dönemlerden alınmış çok farklı rakamlar dolaşıyor. Bu yüzden aşağıdaki tabloda her sütunun kaynağını ve dönemini ayrı yazdık. Birincil sütun Cloudflare'in kendi blogundan; 2026 sütunları ise Cloudflare Radar API verisini aylık çeken SEOmator raporundan.
| Platform | Temmuz 2025 (Cloudflare, birincil) | 2025 yıl geneli seyir (Cloudflare Radar Year in Review) | Eylül 2026 (Radar API, SEOmator) | 1-30 Ekim 2026 (Radar API, SEOmator) |
|---|---|---|---|---|
| Google (arama) | 5,4:1 | Yaklaşık 3:1 ile 30:1 arası | 4,7:1 | 4,8:1 |
| Microsoft | 40,7:1 | Tepe değerler genelde 50:1- 70:1 | 40:1 | 40:1 |
| OpenAI | 1.091,4:1 | Mart'ta 3.700:1 zirve | 341:1 | 775:1 |
| Anthropic | 38.065,7:1 | 500.000:1'e kadar; sonra ~25.000:1-100.000:1 | 549:1 | 482:1 |
| Perplexity | 194,8:1 | Eylül'den itibaren 200:1 altı | 2.373:1 | 4.056:1 |
Tablodan üç sonuç çıkıyor. Birincisi, klasik arama hâlâ "okuduğu kadar gönderen" taraf: Cloudflare'in Temmuz 2026 yazısına göre yönlendirme trafiğinin yaklaşık %88'i Google'dan geliyor. İkincisi, yapay zeka platformlarının oranı yüzlerle binler arasında. Üçüncüsü, sıralama sabit değil: Anthropic 2025'te açık ara en dengesiz platformken 2026'da OpenAI'nin altına indi, Perplexity ise 2025'te büyük yapay zeka platformları arasındaki en düşük oran konumundan 2026'da en yüksek orana çıktı.
📊 İstatistik: Cloudflare Radar verisine göre OpenAI'nin crawl-to-refer oranı Eylül 2026'da 341:1 iken 1-30 Ekim 2026'da 775:1 oldu; aynı dönemde Google 4,8:1'de kaldı. SEOmator, Ekim artışının büyük kısmını ChatGPT bağlantılarının referrer taşımamasına bağlıyor (SEOmator GEO Data Report, 31.10.2026).
Neden Aynı Platformun Oranı Ay İçinde İkiye Katlanabiliyor?
Oran iki sayının bölümü olduğu için ya tarama artar ya da görünen yönlendirme azalır. Ekim 2026'daki OpenAI sıçraması ikinci türe iyi bir örnek. Search Engine Journal'ın 15 Ekim 2026 haberine göre ChatGPT, 8-15 Ekim arasında cevap içindeki bazı bağlantıları utm_source=chatgpt.com etiketi ve referrer olmadan açtı; bu tıklamalar analitikte "Direct" olarak göründü. Ziyaretçi gelmeye devam etti ama Referer başlığına bakan bir ölçüm onu göremedi.
Bu yüzden crawl-to-refer oranını bir "verimlilik puanı" gibi değil, bir "görünen alışveriş" göstergesi gibi okumak gerekir. Tek ayın rakamıyla botları engellemek, ölçüm hatasına iş kararı bağlamak anlamına gelebilir. En az üç aylık seyir ve kendi sitenizin verisi birlikte okunmalıdır.
Kendi Sitenizde Crawl-to-Refer Oranı Nasıl Hesaplanır?
Sektör ortalaması yön gösterir, karar ise kendi verinizle verilir. Kurumsal bir sitede hesap üç adımda yapılır.
1. Pay: sunucu veya CDN logundan bot isteklerini sayın. Platformların resmi belgelerindeki kullanıcı ajanları: OpenAI için GPTBot , OAI-SearchBot , ChatGPT-User ; Anthropic için ClaudeBot , Claude-SearchBot , Claude-User ; Perplexity için PerplexityBot , Perplexity-User . Cloudflare yöntemine yakın kalmak için yalnızca HTML sayfalarını sayın, görsel ve stil dosyalarını dışarıda bırakın:
# Son 30 günlük erişim logunda OpenAI botlarının HTML sayfa istekleri (yaklaşık)
grep -E "GPTBot|OAI-SearchBot|ChatGPT-User" access.log \
| grep -vE "\.(css|js|png|jpe?g|webp|gif|svg|ico|woff2?|pdf)" \
| wc -l
2. Payda: aynı dönemde o platformdan gelen ziyaretleri bulun. GA4'te Explore (Keşfet) > Free form (Serbest biçim) raporunda boyut olarak Session source (Oturum kaynağı), metrik olarak Sessions (Oturumlar) seçip chatgpt.com satırını okuyun. GA4 kurulumu için ayrıntılı rehber bu serinin ikinci yazısında.
3. Bölün ve aylık izleyin. Aşağıdaki tablo temsilidir; rakamlar bir sitenin gerçek verisi değil, hesabın nasıl okunacağını gösterir.
| Adım | Veri kaynağı | Temsili değer |
|---|---|---|
| A: OpenAI botlarının HTML istekleri (30 gün) | Sunucu / CDN logu | X istek (temsili: 12.000) |
| B: chatgpt.com kaynaklı oturumlar (30 gün) | GA4 Explorations | Y oturum (temsili: 40) |
| Oran | A / B | X/Y : 1 (temsili: 300:1) |
Logdaki kullanıcı ajanı taklit edilebilir; kesin sonuç için platformların yayımladığı IP aralıklarıyla doğrulama yapılır. Ayrıca GA4 oturumu ile Cloudflare'in saydığı HTML isteği birebir aynı birim değildir; amaç mutlak doğruluk değil, aylık eğilimi görmektir.
Botları Engellemeli mi, İzin mi Vermeli?
Karar tek bir "evet/hayır" değil, bot türüne göre ayrışan bir politika. Altyapı tarafında da seçenekler arttı: Cloudflare 1 Temmuz 2026'da Search, Agent ve Training botlarını ayrı ayrı yönetme imkânını ücretsiz plan dahil tüm müşterilere açtı ve 15 Eylül 2026 itibarıyla yeni alan adlarında reklam gösteren sayfalarda Training ve Agent botlarını varsayılan olarak engelleyen, Search'ü açık bırakan yeni varsayılanları duyurdu. Bir yıl önce başlattığı pay per crawl ise HTTP 402 "Payment Required" koduyla, botlardan tarama başına ücret istemeyi mümkün kılıyor.
| Bot amacı | Size dönüşü | Genel eğilim |
|---|---|---|
| Arama (ör. OAI-SearchBot, Claude-SearchBot, PerplexityBot) | Yapay zeka cevaplarında kaynak olarak görünme, tıklama | Açık tutun; GEO görünürlüğünün kapısı |
| Kullanıcı adına erişim (ör. ChatGPT-User, Claude-User, Perplexity-User) | Kullanıcının sorduğu anda sayfanızın okunması | Çoğu kurumsal sitede açık |
| Model eğitimi (ör. GPTBot, ClaudeBot) | Dolaylı; doğrudan trafik yok | İçerik değerine ve hukuki duruşa göre karar verin |
Örnek senaryo: Teknik dokümantasyonu güçlü, orta ölçekli bir B2B üretici, sunucu yükü şikâyeti üzerine tüm yapay zeka botlarını engellemeyi düşündü. Önce kendi oranını hesapladı ve yapay zeka asistanlarından gelen az sayıdaki ziyaretin, ürün sayfalarında ortalamanın üzerinde teklif formu doldurduğunu gördü. Sonuçta eğitim botunu kısıtladı, arama ve kullanıcı botlarını açık bıraktı, en çok taranan dokümanlarını alıntılanabilir soru-cevap yapısına çevirdi. Karar, sezgiyle değil kendi verisiyle verildi.
Crawl-to-Refer Oranı İçerik Stratejisine Nasıl Çevrilir?
Oranın asıl mesajı şu: yapay zeka platformları içeriğinizi okuyor, ancak cevabı çoğu zaman kendi arayüzünde veriyor. Tıklama azaldıkça değer, cevabın içinde markanızın adının ve kaynağınızın geçmesine kayıyor. Bu, GEO (Generative Engine Optimization) yani yapay zeka cevaplarında görünürlük işidir; disiplinin kapsamını GEO uzmanı nedir, ne iş yapar? yazımızda anlattık.
Pratikte üç şey öne çıkar. Birincisi, alıntılanabilir yapı: her sayfanın başında tek cümlelik net tanım, kaynaklı rakam, soru formunda başlıklar. İkincisi, ölçüm: yapay zeka kaynaklı oturumları ayrı bir kanalda izlemek ve dönüşüm oranını klasik aramayla kıyaslamak. Üçüncüsü, seçici açıklık: değerli ve özgün veriyi korurken, markanızı tanıtan içeriği yapay zeka arama botlarına açık tutmak. Bu üçlüyü kurmak, kurumsal yapay zeka çözümleri ile veri analizi işinin kesiştiği yerdir; ölçüm altyapısı ve içerik dönüşümü için hizmetlerimiz sayfasına bakabilirsiniz.
💡 Uzman notu: Crawl-to-refer oranını tek başına bir "kötü bot listesi" olarak kullanmayın. En sağlıklı okuma, oranı yapay zeka kaynaklı oturumların dönüşüm oranıyla yan yana koymaktır: az ama nitelikli ziyaret gönderen bir platform, çok ziyaret gönderip hemen çıkılan bir kaynaktan daha değerli olabilir.
Sonuç: Önce Kendi Oranınızı Ölçün
Crawl-to-refer oranı, yapay zeka çağında içeriğinizin ne kadar okunduğunu ve karşılığında ne kadar ziyaret getirdiğini tek rakamda gösterir. Ancak rakam dönemden döneme ve ölçüm hatalarıyla sert oynar; bu yüzden karar sektör tablosuyla değil, kendi log ve GA4 verinizle verilmelidir. Oranı bot türüne göre politika ve alıntılanabilir içerik stratejisine çevirmek için bizimle iletişime geçin.
İlgili içerik: Hizmetlerimiz · GEO uzmanı nedir, ne iş yapar? · Yapay zeka ajanları kurumsal şirketlerde nasıl kullanılır?
Kaynaklar
- Cloudflare - "The crawl before the fall… of referrals: understanding AI's impact on content providers" (crawl-to-refer metriğinin tanımı ve hesaplama yöntemi), 01.07.2025 · https://blog.cloudflare.com/ai-search-crawl-refer-ratio-on-radar/
- Cloudflare - "The crawl-to-click gap: Cloudflare data on AI bots, training, and referrals" (Ocak-Temmuz 2025 oran tablosu), 29.08.2025 · https://blog.cloudflare.com/crawlers-click-ai-bots-training/
- Cloudflare - "Cloudflare Radar 2025 Year in Review" (2025 crawl-to-refer seyri), Aralık 2025 · https://blog.cloudflare.com/radar-2025-year-in-review/
- SEOmator - "GEO Data Report, October 2026: Which AI Crawlers & LLM Bots Take the Most and Give the Least?" (Cloudflare Radar API, Eylül 2026 ve 1-30 Ekim 2026), güncelleme 31.10.2026 · https://seomator.com/blog/crawl-to-refer-ratio-ai-crawlers-llm-bots
- Cloudflare - "Your site, your rules: new AI traffic options for all customers" (Search/Agent/Training kontrolleri, 15.09.2026 varsayılanları), 01.07.2026 · https://blog.cloudflare.com/content-independence-day-ai-options/
- Cloudflare - "Content Independence Day, one year on" (yönlendirme trafiğinin ~%88'i Google), 01.07.2026 · https://blog.cloudflare.com/agentic-internet-bot-report/
- Cloudflare - "Introducing pay per crawl" (HTTP 402 modeli), 01.07.2025 · https://blog.cloudflare.com/introducing-pay-per-crawl/
- Search Engine Journal - "ChatGPT Traffic Drop Appears To Be A Tracking Problem" (8-15 Ekim 2026 utm/referrer kaybı), 15.10.2026 · https://www.searchenginejournal.com/chatgpt-traffic-drop-appears-to-be-a-tracking-problem/593157/
- OpenAI - "Overview of OpenAI Crawlers" (GPTBot, OAI-SearchBot, ChatGPT-User) · https://developers.openai.com/api/docs/bots
- Anthropic - "Does Anthropic crawl data from the web, and how can site owners block the crawler?" (ClaudeBot, Claude-SearchBot, Claude-User) · https://support.claude.com/en/articles/8896518
- Perplexity - "Perplexity Crawlers" (PerplexityBot, Perplexity-User) · https://docs.perplexity.ai/guides/bots
Sıkça Sorulan Sorular
Crawl-to-refer oranı, bir platformun botlarının sitenizden çektiği HTML sayfa sayısının, aynı platformdan sitenize gelen yönlendirme ziyaretine bölünmesidir. Cloudflare bu metriği Temmuz 2025'te Radar'a ekledi ve hesabı User-Agent ile Referer başlıkları üzerinden yapıyor. 500:1 gibi bir oran, platformun size gönderdiği her ziyaretçi için 500 sayfa okuduğu anlamına gelir.
Büyük platformlar arasında en dengeli ilişki klasik aramada. Cloudflare Radar verisini derleyen SEOmator raporuna göre 1-30 Ekim 2026'da Google 4,8:1, Microsoft 40:1 seviyesindeydi. Yapay zeka platformlarında ise aynı dönemde OpenAI 775:1, Anthropic 482:1 ve Perplexity 4.056:1 olarak ölçüldü.
Pay için sunucu veya CDN logunuzda ilgili platformun bot kullanıcı ajanlarından gelen HTML isteklerini sayın. Payda için aynı dönemde GA4 Explorations raporunda o platformun alan adından (ör. chatgpt.com) gelen oturumları bulun. Payı paydaya bölün ve sonucu her ay aynı yöntemle izleyin; tek ayın rakamı yerine eğilime bakın.
Topyekûn engelleme çoğu kurumsal site için doğru değildir. Arama ve kullanıcı adına çalışan botlar, yapay zeka cevaplarında kaynak olarak görünmenin kapısıdır; eğitim botları ise içerik değerinize ve hukuki duruşunuza göre ayrıca değerlendirilir. Kararı tek ayın oranıyla değil, en az üç aylık seyir ve yapay zeka kaynaklı oturumların dönüşüm verisiyle verin.
Pay per crawl, Cloudflare'in 1 Temmuz 2025'te duyurduğu ve site sahiplerinin yapay zeka botlarından tarama başına ücret istemesini sağlayan özelliğidir. Ödeme yapmayan bota HTTP 402 "Payment Required" cevabı döner; site sahibi her bot için izin ver, ücret al veya engelle seçeneklerinden birini seçebilir. Cloudflare 2026'da buna ek olarak Search, Agent ve Training botlarını ayrı yönetme imkânını tüm planlara açtı.

