robots.txt, sitemap.xml ve llms.txt Nedir? Site Köküne Eklenmesi Gereken Üç Dosya Rehberi

robots.txt arama ve yapay zeka botlarına hangi sayfalara girebileceklerini söyler, sitemap.xml sitenizdeki tüm sayfaları güncellenme tarihleriyle listeler, llms.txt ise yapay zeka arama motorlarına sitenizi ve önemli sayfalarını sade bir metinle tanıtır. Üçü de site kökünde durur, düz metin dosyasıdır ve birkaç dakikada oluşturulur. Doğru kurulmuş bu üç dosya, sitenizin hem Google hem de ChatGPT, Perplexity gibi yapay zeka motorlarında bulunmasının ilk adımıdır.

robots.txt Nedir ve Nasıl Yazılır?

robots.txt, alan adınızın kökünde bulunan ve botlara izin ile yasakları bildiren dosyadır. Bir bot siteye gelince önce bu dosyaya bakar. Her kural bir bot adı (User-agent) ve izin (Allow) ya da yasak (Disallow) satırlarından oluşur.

• Yönetim paneli, arama sonuç sayfaları ve geçici klasörler Disallow ile kapatılır.
• Görsel ve CSS klasörleri açık bırakılır; Google sayfayı doğru görmek için bunlara ihtiyaç duyar.
• Dosyanın sonuna Sitemap satırıyla site haritasının tam adresi eklenir.
• Yapay zeka botlarına (GPTBot, ClaudeBot, PerplexityBot, Google-Extended gibi) izin vermek istiyorsanız her biri için ayrı User-agent bloğu açıp Allow yazın.

Unutmayın: robots.txt bir güvenlik aracı değildir. Yasakladığınız sayfa hâlâ herkese açıktır; yalnızca uslu botlar oraya girmez. Gizli sayfaları şifreyle koruyun.

sitemap.xml Nedir ve Neden Önemli?

Site haritası, botlara sitenizdeki sayfaların listesini tek yerden verir. Bot bağlantıları takip ederek sayfaları zaten bulur; ancak site haritası yeni ve derin sayfaların çok daha hızlı keşfedilmesini sağlar. Her kayıt dört bilgi içerir:

1. loc: Sayfanın tam adresi.
2. lastmod: Son değişiklik tarihi; en önemli alan, botlar buna göre yeniden tarar.
3. changefreq: Tahmini güncellenme sıklığı (daily, weekly, monthly).
4. priority: 0.0 ile 1.0 arası önem; ana sayfa 1.0, arşiv sayfaları 0.3 gibi.

Dinamik sitelerde site haritasını elle yazmak yerine veritabanından üreten bir betik kullanın; yeni yazı eklendiğinde harita kendiliğinden güncellensin. 50 bin adresi geçen sitelerde haritayı parçalara bölüp bir dizin haritasından bağlayın.

llms.txt Nedir?

llms.txt, 2024 sonunda ortaya çıkan ve yapay zeka arama motorlarına yönelik yeni bir öneridir. Markdown biçiminde yazılır, sitenizin ne olduğunu bir iki cümleyle açıklar, ardından önemli sayfaları başlık ve kısa açıklamalarla listeler. Amaç, dil modellerinin sitenizi HTML kalabalığı içinde değil, temiz bir özetle anlamasıdır. Yapısı basittir:

• Birinci seviye başlık olarak site adı.
• Alıntı bloğunda tek cümlelik açıklama.
• İkinci seviye başlıklar altında bağlantı listeleri: Ana sayfalar, Rehberler, Ürünler gibi.

İsteğe bağlı olarak llms-full.txt dosyasında önemli içeriklerin tam metnini de sunabilirsiniz. Henüz resmi standart değildir ancak Anthropic, Cloudflare ve pek çok belgeleme sitesi benimsemiştir; maliyeti sıfır, potansiyel getirisi yüksektir.

Dosyalar Nereye Yüklenir?

Üçü de alan adının hemen ardından erişilebilir olmalıdır: siteadi.com/robots.txt biçiminde. Alt klasöre koyulan robots.txt dikkate alınmaz. Yükledikten sonra tarayıcıdan adresi açıp içeriği görün; 404 dönüyorsa yol yanlıştır. Site haritasını Google Search Console ve Bing Webmaster Tools üzerinden ayrıca bildirin.

Sık Yapılan Hatalar

• Test ortamındaki Disallow: / satırının canlıya taşınması; site tamamen indeksten düşer.
• Site haritasında yönlendirilen veya 404 veren adreslerin kalması.
• lastmod alanına her gün bugünün tarihini yazmak; botlar bir süre sonra güvenmez.
• robots.txt ile bir sayfayı yasaklayıp aynı sayfaya noindex koymak; bot sayfayı okuyamadığı için noindex etiketini de göremez.
• llms.txt içine yüzlerce bağlantı doldurmak; kısa ve seçici tutun.

Saha Notu

Kendi projelerimde bu üç dosyayı artık her yeni siteye ilk gün ekliyorum. Yerel haber sitesinde site haritasını elle tutarken haberlerin Google tarafından bulunması bazen iki günü buluyordu; PHP ile veritabanından dinamik üretilen haritaya geçince yeni haberler birkaç saat içinde görünmeye başladı. llms.txt tarafında somut ölçüm zor; ancak API portalının belgeleme sayfalarını llms.txt ile listeledikten sonra sunucu günlüklerinde ClaudeBot ve GPTBot isteklerinin belirgin arttığını gördüm. Maliyeti bir metin dosyası olan işi ertelemenin anlamı yok.

Sık Sorulan Sorular

robots.txt olmazsa ne olur?

Botlar her yere girmeye çalışır. Site yine indekslenir ama gereksiz sayfalar da taranır ve site haritası adresi bildirilmez.

Site haritasını ne sıklıkla güncellemeliyim?

Her yeni sayfa veya önemli düzenlemede. Dinamik üretim bunu otomatik yapar.

Yapay zeka botlarını engellemeli miyim?

İçeriğinizin yapay zeka cevaplarında kaynak gösterilmesini istiyorsanız izin verin; kapatmak görünürlüğünüzü azaltır.

llms.txt zorunlu mu?

Hayır. Ancak eklemenin bir maliyeti yok ve yapay zeka motorları için sitenizin özeti niteliğinde çalışır.

WordPress sitede bu dosyalar nasıl eklenir?

Yoast ve Rank Math gibi eklentiler robots.txt ve site haritasını yönetir; llms.txt için ayrı bir eklenti ya da FTP ile kök klasöre yükleme yeterlidir.

Özet

robots.txt botların nereye girebileceğini, sitemap.xml hangi sayfaların var olduğunu, llms.txt ise sitenizin yapay zeka gözünde ne anlama geldiğini anlatır. Üçü de düz metin dosyasıdır, site köküne konur ve dakikalar içinde kurulur. Dinamik site haritası, yapay zeka botlarına açık robots.txt ve kısa tutulmuş bir llms.txt, sitenizin hem klasik arama hem de yapay zeka arama motorlarında görünürlüğü için en ucuz ve en etkili başlangıçtır.