Robots.txt dosyası nasıl oluşturulur

Bir robots.txt dosyası hazırlanırken dikkate alınması gereken 3 temel nokta vardır:

  1. Robots.txt dosyasının site url’siyle aynı formatta olması gerekir. Daha önce http://www.siteadresi.com için http://www.siteadresi.com/robots.txt olmalıdır.
  2. Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması gerekir.
  3. Ve son olarak robots.txt dosyasının UTF-8 karakter kodlamasına uygun olması gerekiyor.

Robots.txt dosyası içinde işlemleri gerçekleştirmek için kullanılan komutlar şunlardır:

  • User-agent: Bu komutla sitenize hangi arama robotunun gelebileceğini siz karar verirsiniz. (Örneğin tüm arama motoru robotları, sadece Google ya da sadece Bing) Yine sitenizin arama robotları tarafından hiçbir şekilde taranmasını istemiyorsanız yine bu komutu kullanabilirsiniz.
  • Allow/ Disallow: Dizin engelleme ya da izin verme komutlarını kullanarak sitenizdeki sadece belirli dizinlere erişim izni verebilir ya da istediğiniz sınırlamayı koyabilirsiniz.
  • Crawl-delay: Tarama gecikmesi belirtme komutu olarak da adlandırabileceğimiz bu komutla birlikte arama motorlarının site içinde tarama yaparken harcadığı zamanı sınırlandırabilirsiniz. Bu komut genellikle sunucu hatası yaşayan ve yüksek ziyaretçi sebebiyle zaman zaman hizmet veremeyen siteler tarafından kullanılır.
  • Sitemap komutu: Bir “Site Haritası” yönergesi, sitenin XML Site Haritası adresini belirtir. Sitemap.xml dosyası, sitenizin doğru taranması konusunda arama botlarına en önemli bilgileri verir.

Robots Online Oluşturma Araçları

https://en.ryte.com/free-tools/robots-txt-generator/ ve https://www.seoptimer.com/robots-txt-generator adreslerinden herhangi birine girerek kendi sitenize en uygun robots.txt dosyasını saniyeler içinde oluşturabilirsiniz.

Örnek Robots.txt Dosyası

Tüm arama motoru robotları tarafından resimlerin indexlenmesinin engellenmesi:

User-agent: *
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /images/
Allow: /

Bu örnek, robotların sitenizdeki tüm görüntüleri (tüm resimler klasörü, .jpg, .pgn, .gif ile biten her şey) indirmesini önler. Diğer her şeye izin verilir.

Örneğin sitenizde herhangi bir içeriğin taranmasını istemiyorsunuz. O halde Robots.txt dosyanız bunları içeriyor olmalı:

User-agent: Robot adı (Google, Yahoo, Bing)
Disallow: Engellenecek dizin

WordPress İçin Robots.txt Örneği

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /attachments/
Disallow: /?attachment_id=*
Disallow: /?replytocom=*

Sitemap: https://www.siteadresiniz.com/sitemap.xml


Engin Dinç'in videolarının yer aldığı ED TV logosu

SEO, Sosyal medya ve kitap basımı ile ilgili videolarımın yer aldığı ED TV‘yi ziyaret ederek videolarımdam ücretsiz faydalanabilirsiniz.


Engin DİNÇ

Araştırmacı, yazar, sosyal medya danışmanı, SEO uzmanı ve SEO içerik yazarı, USMED üyesi, TDV ve AFAD gönüllüsü

DEVAMINI OKUYUN

Algı Yönetimi ve Yalan Haberler analiz araçları bot siteleri En iyi sosyal medya yönetimi araçları en çok aranan kelimeler en çok arananlar google google bots google botu nasıl oluşturulur google de çok aranan kelimeler Google haritalar Google maps google robotu Google seo googletrends Google Trends ile Toplum Analizi Google Trends Verileri Sonucunda Ülkelerin Gelişmişlik Düzeyleri Haritaların SEOya ektisi isviçre içerik yazarlığı içerik yazarı kontrspekülasyon Kurgu Montaj Belgelerin Tespit Edilmesi robots.txt Robots.txt Oluşturucu (Generator) robots oluşturma seo seo içerik yazarlığı seo içerik yazarı seo keliemleri seo uyumlu yazı yazma seo yazarlığı seo yazarı seo yazısı sosyal medya sosyal medya siteleri sosyal medya yönetimi türkiye yandex botu nasıl oluşturulur yönetim araçları zimbabve özgün içerik İnsanların İlgi Alanları Toplumsal Gelişmişliği Gösteriyor İşletmelerin Haritalarda bulunması

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir