AI Crawler Listesi 2026: Hangi Botlara İzin Vermeli?

2026’da sitenizi sadece Googlebot ziyaret etmiyor. GPTBot, ClaudeBot, PerplexityBot, Amazonbot ve bir düzine başka AI crawler’ı her gün kapınızı çalıyor. Bazıları içeriğinizi model eğitimi için topluyor, bazıları sizi ChatGPT ve Perplexity yanıtlarına kaynak olarak taşıyor.

İkisi arasındaki farkı bilmeden verilen bir “hepsini engelle” kararı, sitenizi AI aramalarından tamamen silebilir. Tersine, hiç düşünmeden hepsine kapıyı açmak da her site için doğru değil.

Bu yazıda 2026’nın ana AI botlarını tek tabloda topluyor, engelle/izin ver kararını site tipine göre çerçeveliyor ve denetimlerde en çok karşılaştığımız iki robots.txt tuzağını anlatıyoruz.

Hızlı özet: 2026’nın ana AI crawler’ları ikiye ayrılır: eğitim botları (GPTBot, Google-Extended, Applebot-Extended) ve arama botları (OAI-SearchBot, PerplexityBot). Ticari siteler arama botlarına kesinlikle izin vermeli. Kritik tuzak: robots.txt’de Allow yazması erişimi kanıtlamaz; WAF 403/429 dönebilir, sunucu günlüğünden doğrulayın.

2026 AI Crawler Listesi: Kim Kimdir?

Kısa cevap: 2026 itibarıyla takip etmeniz gereken dokuz ana bot var ve en kritik ayrım “eğitim” ile “arama” amacı arasında. Eğitim botunu engellemek gelecekteki model bilgisinden sizi çıkarır; arama botunu engellemek sizi bugünkü AI yanıtlarından anında siler.

Tablodan iki nüans önemli:

Google-Extended’ı engellemek Google sıralamanızı etkilemez. Klasik Googlebot ayrı çalışmaya devam eder. Ama Gemini tarafındaki görünürlüğünüzü keser. AI Overviews’un beslenme zinciri de Google’ın kendi indeksinden geldiği için, buradaki asıl kural klasik Googlebot’a hiç dokunmamak.

ChatGPT-User bir crawler değil. Bu bot toplu tarama yapmaz; bir kullanıcı ChatGPT’ye “şu sayfayı özetle” dediğinde devreye girer. Engellerseniz potansiyel müşteriniz sizin sayfanızı ChatGPT’de açamaz. Bunu engellemenin neredeyse hiçbir senaryoda mantığı yok.

AI görünürlüğünün neden bu kadar önemli hale geldiğini GEO nedir yazımızda ayrıntılı anlatmıştık; bu yazı o stratejinin “kapı politikası” ayağı.

Eğitim Botu ile Arama Botu Arasındaki Fark Nedir?

Fark şu: eğitim botu içeriğinizi bir modelin uzun vadeli bilgisine katar, arama botu ise sizi bugün verilen AI yanıtlarına gerçek zamanlı kaynak yapar. Aynı şirketin iki botu bile tamamen farklı işler yapabilir; OpenAI bunun en net örneği.

OpenAI üçlüsünü ayıralım:

• GPTBot → topladığı içerik gelecekteki GPT sürümlerinin eğitim verisine girer. Etkisi aylar sonra, dolaylı yoldan görünür.
• OAI-SearchBot → ChatGPT’nin arama indeksini besler. Etkisi haftalar içinde, doğrudan citation olarak görünür.
• ChatGPT-User → indeksleme yapmaz, kullanıcının o an istediği sayfayı çeker.

Bu ayrım karar mekanizmanızı değiştirir. “OpenAI içeriğimle model eğitmesin ama ChatGPT aramalarında çıkayım” diyorsanız bu teknik olarak mümkün: GPTBot’u kapatır, OAI-SearchBot’u açık bırakırsınız. Büyük yayıncıların çoğu 2026’da tam olarak bu modeli uyguluyor.

Anthropic ve Perplexity tarafında ayrım daha az keskin. ClaudeBot hem eğitim hem indeks amaçlı tek user-agent olarak çalışıyor; PerplexityBot ise neredeyse saf bir arama botu, Perplexity’nin citation’ları doğrudan buradan besleniyor.

Hangi Siteler Engellemeli, Hangileri İzin Vermeli?

Kısa cevap: görünürlükten para kazanıyorsanız izin verin, içeriğin kendisinden para kazanıyorsanız seçici davranın. 90+ projede gördüğümüz tablo net: Türkiye’deki ticari sitelerin (ajans, klinik, e-ticaret, SaaS) neredeyse tamamı için AI botlarını engellemek kendi ayağına sıkmak demek.

İki profili ayıralım:

Ticari siteler: kapıyı açın

Hizmet satan, lead toplayan, ürün listeleyen siteler için hesap basit. İçeriğinizin “çalınacak” bir telif değeri yok; değeriniz bulunmakta. ChatGPT bir kullanıcıya “İstanbul’da X hizmeti veren kimler var?” derken sizi sayması, o içeriğin eğitime girmesinden kat kat değerli. Şirketinizin ChatGPT’de neden çıkmadığını anlattığımız 5 sebep yazısındaki ilk maddelerden biri de zaten yanlışlıkla engellenmiş AI botları.

Ticari site önerimiz: tablodaki 9 bottan 8’ine izin verin; sadece Bytespider’ı sunucu katmanında kısın, çünkü karşılığında görünürlük vermiyor.

İçerik/yayıncı siteleri: seçici olun

Haber siteleri, özgün araştırma yayınlayanlar ve içeriğini lisanslamayı düşünen yayıncılar için eğitim botları bir pazarlık kozudur. Bu profilde makul model: eğitim botlarını (GPTBot, Google-Extended, Applebot-Extended) kapatıp arama botlarını (OAI-SearchBot, PerplexityBot) açık tutmak. Böylece trafiği ve citation’ı korur, eğitim iznini masada tutarsınız.

Kararsızsanız şu soruyu sorun: “Bir AI botu içeriğimi okuyup kullanıcıya beni önerdiğinde kazanan ben miyim?” Cevap evetse engellemeyin.

robots.txt Örnek Konfigürasyonları

Aşağıda 2026 için üç hazır şablon var. Kendinize uyanı alın, ama önce bir sonraki bölümdeki iki tuzağı mutlaka okuyun.

Senaryo 1: Ticari site, tam görünürlük (önerdiğimiz varsayılan)

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Bytespider
Disallow: /

Senaryo 2: Yayıncı, “arama evet, eğitim hayır”

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ChatGPT-User
Allow: /

Senaryo 3: Yönetim paneli olan site (tuzağa dikkat)

User-agent: *
Disallow: /admin/
Disallow: /uye/

User-agent: GPTBot
Disallow: /admin/
Disallow: /uye/
Allow: /

User-agent: PerplexityBot
Disallow: /admin/
Disallow: /uye/
Allow: /

Üçüncü senaryodaki tekrarlar yazım hatası değil, zorunluluk. Nedenini hemen açıklayalım.

robots.txt’nin yanına AI botlar için bir de /llms.txt dosyası koymak 2026’da iyi pratik haline geldi; nasıl hazırlanacağını llms.txt rehberimizde adım adım anlattık.

robots.txt Bot Grubu Tuzağı: Yıldızlı Kurallar Yok Sayılır

Kural şu: bir bota özel User-agent grubu açtığınız anda, o bot User-agent: * altındaki kuralların tamamını yok sayar. Kurallar birleşmez; bot kendine en özel eşleşen tek grubu okur ve gerisini hiç görmez.

Sahada en çok şöyle patlıyor: sitenin yıllardır duran User-agent: * grubunda Disallow: /admin/ var. GEO çalışması yapılırken dosyanın altına iyi niyetle şu eklenir:

User-agent: GPTBot
Allow: /

Sonuç? GPTBot artık /admin/, /uye/, /sepet/ dahil siteyi kural sınırı olmadan tarayabilir. Çünkü kendi grubu var ve o grupta tek satır yazıyor: her yer serbest. Yıldızlı gruptaki tüm Disallow’lar o bot için buharlaştı.

Çözüm mekanik ama şart: özel grup açtığınız her bot için, korumak istediğiniz Disallow satırlarını o grubun içine kopyalayın. Senaryo 3’teki şablon tam olarak bunu yapıyor. Kaç bot grubu açtıysanız o kadar tekrar; sıkıcı ama tek doğru yol bu.

Allow Yazdınız, Peki Bot Gerçekten Girebiliyor mu?

Hayır, garantisi yok ve bu yazının en kritik uyarısı bu: robots.txt bir niyet beyanıdır, erişim kanıtı değildir. Bot dosyayı okur, “buyurun” yazdığını görür, sayfayı ister; ama istek sunucuya ulaştığında WAF, Cloudflare veya hosting’in güvenlik modülü aynı bota 403 ya da 429 dönebilir. Bot açısından kapı hem açık hem kilitlidir.

Bunu birinci elden yaşadık. Geçtiğimiz haftalarda 200 sayfalık bir sağlık sitesinde SEO/GEO denetimi yaparken robots.txt tertemizdi: GPTBot dahil tüm AI botlara Allow: / verilmişti. Kağıt üstünde her şey doğru. Ama sunucu erişim günlüğüne indiğimizde tablo farklıydı: sunucunun güvenlik katmanı GPTBot’un her isteğine 429 Too Many Requests dönüyordu. Site aylardır “AI’a açığız” sanırken OpenAI tarafına tek sayfa bile verememişti. robots.txt’e bakan hiçbir araç bunu yakalayamazdı; kanıt sadece günlükteydi.

Bu yüzden AI erişimini üç adımda doğrulayın:

1. Sunucu erişim günlüğüne bakın. GPTBot, OAI-SearchBot, PerplexityBot user-agent’larını arayın. Görmek istediğiniz şey 200 yanıtlı satırlar. Hiç kayıt yoksa bot ya gelmiyor ya daha üst katmanda (CDN/WAF) kesiliyor.
2. Kontrollü UA testi yapın. Botun user-agent’ıyla kendi sitenize istek atıp dönen kodu ölçün. Burada iki incelik var: botları ayrı ayrı test edin (GPTBot’un engellenmesi OAI-SearchBot’un da engellendiğini göstermez, tersi de geçerli) ve testi ölçülü yapın; art arda bot taklidi istekler bazı güvenlik katmanlarında kendi IP’nizi banlatabilir.
3. CDN/WAF panelini kontrol edin. Cloudflare 2023’ten beri “AI Scrapers and Crawlers” engelini tek tıkla sunuyor ve bazı planlarda bu ayar farkında olunmadan açık kalıyor. Hosting panellerindeki bot koruması modülleri de meşru AI botlarını “şüpheli trafik” diye kesebiliyor.

Denetimlerimizde gördüğümüz kaba oran şu: robots.txt’i AI botlara açık sitelerin kayda değer bir kısmında en az bir bot sunucu katmanında sessizce engelleniyor. Ve sahibi bunu hiç bilmiyor, çünkü hata sayfası kullanıcıya değil sadece bota gösteriliyor.

2026 İçin Pratik Kontrol Listesi

Bu yazıdan cebinize kalması gerekenler:

• Tablodaki 9 botu eğitim / arama ekseninde tanıyın; karar bu eksene göre verilir.
• Ticari siteyseniz varsayılanınız “izin ver” olsun; sadece Bytespider gibi karşılıksız botları kısın.
• Yayıncıysanız arama botlarını açık tutup eğitim botlarında seçici davranın.
• Bota özel grup açtığınızda * kurallarının o bot için öldüğünü unutmayın; Disallow’ları kopyalayın.
• Allow yazdıktan sonra işi bitmiş saymayın: erişimi sunucu günlüğünden veya UA testiyle kanıtlayın.
• Doğrulamayı tek seferlik değil, üç ayda bir tekrarlanan bir rutin yapın; CDN ve güvenlik ayarları sessizce değişebiliyor.

Sitenizin AI botlara gerçekte ne döndüğünü, hangi platformlarda görünüp hangilerinde sessizce elendiğini ölçtürmek isterseniz GEO / AI Search hizmetimize göz atabilir ya da iletişim sayfasından ücretsiz 30 dakikalık görüşme planlayabilirsiniz. robots.txt’inize bakmak beş dakika; günlüklerinizin ne söylediğini görmek ise çoğu zaman asıl sürpriz.