robots.txt Hesaplaşması: Web Sitelerinin %27’si Neden Kazara Yapay Zekaya Görünmez?

Yapay zeka devrimi ilk başladığında, birçok yayıncının, hukuk departmanının ve güvenlik yöneticisinin ilk refleksi oldukça basitti: her şeyi engellemek.

Birçoğu robots.txt dosyasına şu iki satırı ekledi:

User-agent: *
Disallow: /

Veya doğrudan GPTBot ve ClaudeBot gibi botları hedefleyerek yapay zeka modellerinin sitelerindeki içerikleri kazımasını (scraping) engellemeye çalıştı.

Ancak 2026 yılına geldiğimizde manzara tamamen değişti. ChatGPT Search (OAI-SearchBot), Claude Search (Claude-SearchBot) ve Perplexity gibi yapay zeka arama motorları, artık web sitelerine yüksek dönüşüm oranına sahip ciddi bir yönlendirme (referral) trafiği sağlıyor.

Yakın zamanda yapılan kurumsal web siteleri analizleri çarpıcı bir gerçeği ortaya koydu: Web sitelerinin %27'si kazara yapay zeka aramalarına tamamen görünmez durumda.

Bu görünmezlik bilinçli bir iş kararının sonucu değil. Tarayıcı (crawler) dinamiklerinin yanlış anlaşılması ve Cloudflare gibi CDN'lerdeki görünmez, edge düzeyindeki güvenlik filtrelerinin bir araya gelmesinden kaynaklanıyor.

Bu rehberde, yapay zeka model eğitimi ile yapay zeka araması arasındaki kritik farkı, kazara engellemeleri nasıl önleyeceğinizi ve markanızı yapay zeka aramalarında görünür kılarken fikri mülkiyetinizi nasıl koruyacağınızı inceliyoruz.

---

Kritik Ayrım: Eğitim Botları ve Arama Botları

Birçok geliştirici ve pazarlamacı, robots.txt üzerinden GPTBot'u engellediğinde ChatGPT'nin sitelerini okumasını engellediğini varsayıyor. Bu hem yanlış bir varsayım hem de ciddi görünürlük kayıplarına yol açabilir.

Yapay zeka şirketleri iki farklı kategoride tarayıcı (crawler) konuşlandırır:

1. Model Eğitim Botları (Çevrimdışı İşleme): Bu botlar, gelecekteki temel modelleri eğitmek amacıyla devasa veri kümeleri oluşturmak için web'i tarar. Bunları engellemek, içeriğinizin modelin temel ağırlıklarına dahil edilmesini önler.

   • Örnekler: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google).

2. Arama / Erişim Botları (Gerçek Zamanlı Arama - RAG): Bu botlar, bir kullanıcı yapay zekaya güncel bir soru sorduğunda web'i gerçek zamanlı olarak tarar (Retrieval-Augmented Generation veya RAG). Eğer bunları engellerseniz, gerçek zamanlı alıntılardan ve yapay zeka arama sonuçlarından tamamen elenirsiniz.

   • Örnekler: OAI-SearchBot (OpenAI), Claude-SearchBot (Anthropic), PerplexityBot (Perplexity).

Yapay Zeka User-Agent Karşılaştırma Tablosu

Sağlayıcı	Model Eğitimi (Engelle)	Arama (İzin Ver)	Kullanıcı Tetiklemeli (İzin Ver)
OpenAI	GPTBot	OAI-SearchBot	ChatGPT-User
Anthropic	ClaudeBot	Claude-SearchBot	Claude-User
Google	Google-Extended	Googlebot	—
Perplexity	—	PerplexityBot	—

---

%27 Hatası: WAF Katmanında Kazara Engelleme

robots.txt gönüllü bir standartken, Web Uygulama Güvenlik Duvarları (WAF) ve İçerik Dağıtım Ağları (CDN) engellemeleri doğrudan ağ katmanında zorunlu kılar.

Cloudflare verilerine göre, yapay zeka tarayıcılarını engelleyen web sitelerinin çeyreğinden fazlası bunu güvenlik duvarı ayarları nedeniyle kazara yapıyor.

1. Ücretsiz Planlarda Cloudflare Bot Fight Mode (BFM)

Cloudflare'in Bot Fight Mode (BFM) aracı, kötü niyetli kazımaları önlemek için harikadır. Ancak Free (Ücretsiz) planlarda BFM, özel istisnalara izin vermeyen basitleştirilmiş bir kural kümesiyle çalışır. Bot Fight Mode'u açtığınızda Cloudflare; OAI-SearchBot ve ClaudeBot gibi doğrulanmış botları bile otomatik olarak 403 Forbidden hatasıyla engeller.

• Çözüm: Ücretsiz bir Cloudflare planındaysanız, Bot Fight Mode'u kapatmalı ve bunun yerine kötü niyetli botları engellemek için özel WAF kuralları tanımlamalısınız.

2. Yönetilen WAF Kuralları (Super Bot Fight Mode)

Pro, Business ve Enterprise planlarında Super Bot Fight Mode (SBFM) kuralları yapılandırmanıza olanak tanır. Ancak birçok sistem yöneticisi, firewallManaged fazı altında "Yapay Zeka Tarayıcılarını Engelle" gibi toptan kurallar uygulayarak arama botlarını da eğitim botlarıyla birlikte engeller.

• Çözüm: Yönetilen kurallardan önce çalışan http_request_firewall_custom fazında, cf.client.bot ifadesini hedefleyen ve managed bypass kurallarını skip eden özel bir WAF kuralı oluşturun.

---

Cerrahi Yapay Zeka Tarayıcı Politikası Tasarlama

İçeriğinizi model eğitiminden korurken yapay zeka asistanları tarafından önerilmeyi ve alıntılanmayı sürdürmek için cerrahi bir engelleme stratejisi uygulamanız gerekir.

Önerilen robots.txt yapılandırması:

User-agent: *
Allow: /
Disallow: /api/

# Yapay Zeka Model Eğitim Botlarını Engelle
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Yapay Zeka Arama ve Erişim Botlarına İzin Ver
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

İçerik Sinyalleri (Content Signals RFC Draft)

IETF taslağı olan Content-Signal yönergesi, yayıncıların yapay zeka ajanlarının içeriklerini tam olarak nasıl kullanabileceğini bildirmelerini sağlar. HTTP yanıtlarınıza şu başlığı ekleyebilir veya robots.txt dosyanızda belirtebilirsiniz:

Content-Signal: ai-train=no, search=yes, ai-input=yes

• ai-train=no: Bu içeriği gelecekteki modelleri eğitmek için kullanma.
• search=yes: Bu içeriği gerçek zamanlı yapay zeka arama sonuçlarına dahil et.
• ai-input=yes: Kullanıcı talep ettiğinde yapay zeka asistanının bu sayfayı okumasına izin ver.

---

Sitenizin Yapay Zeka Görünürlüğünü Nasıl Denetlersiniz?

Sitenizin yapay zeka tarafından erişilebilir olup olmadığını tahmin etmeyin, test edin:

1. Ajan Gibi Curl Edin: Sunucunuzun yapay zeka user-agent'larına nasıl yanıt verdiğini terminalden OAI-SearchBot'u taklit ederek doğrulayın:

   curl -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; OAI-SearchBot/1.0; +http://openai.com/searchbot)" -I https://www.yourdomain.com
   

   Eğer 403 Forbidden veya 401 Unauthorized alıyorsanız, CDN veya WAF katmanınız yapay zeka aramalarını engelliyor demektir.

2. robots.txt Dosyasını Doğrulayın: Sitemap ve robots.txt dosyalarının erişilebilir olduğundan emin olun. Arama botlarına izin veren kuralları geçersiz kılacak çakışan toptan engelleme kuralları (User-agent: * Disallow: /) bulunmadığından emin olun.

3. Semantik HTML Kontrolü Yapın: Yapay zeka ajanları bilgiyi görsel olarak değil, erişilebilirlik ağacından (accessibility tree) okur. Sayfanızın başlık hiyerarşisini (h1 -> h2 -> h3) ve semantik HTML etiketlerini (<main>, <article>) doğru kullandığınızdan emin olun.

Cerrahi bir engelleme stratejisi uygulayarak, içeriğinizi ve fikri mülkiyetinizi korurken yarının satın alma kararlarını şekillendirecek yapay zeka yanıtlarında yerinizi alabilirsiniz.