Robots.txt Nasıl Oluşturulur?

Bir robots.txt dosyası hazırlanırken dikkate alınması gereken 3 temel nokta vardır:

  1. Robots.txt dosyasının site url’siyle aynı formatta olması gerekir. Daha önce http://www.siteadresi.com için http://www.siteadresi.com/robots.txt olmalıdır.
  2. Dosyasının sitenizin kök dizininde bulunuyor olması gerekir.
  3. Ve son olarak robots.txt dosyasının UTF-8 karakter kodlamasına uygun olması gerekiyor.

Robots.txt dosyası içinde işlemleri gerçekleştirmek için kullanılan komutlar şunlardır:

  • User-agent: Bu komutla sitenize hangi arama robotunun gelebileceğini siz karar verirsiniz. (Örneğin tüm arama motoru robotları, sadece Google ya da sadece Bing) Yine sitenizin arama robotları tarafından hiçbir şekilde taranmasını istemiyorsanız yine bu komutu kullanabilirsiniz.
  • Allow/ Disallow: Dizin engelleme ya da izin verme komutlarını kullanarak sitenizdeki sadece belirli dizinlere erişim izni verebilir ya da istediğiniz sınırlamayı koyabilirsiniz.
  • Crawl-delay: Tarama gecikmesi belirtme komutu olarak da adlandırabileceğimiz bu komutla birlikte arama motorlarının site içinde tarama yaparken harcadığı zamanı sınırlandırabilirsiniz. Bu komut genellikle sunucu hatası yaşayan ve yüksek ziyaretçi sebebiyle zaman zaman hizmet veremeyen siteler tarafından kullanılır.
  • Sitemap komutu: Bir “Site Haritası” yönergesi, sitenin XML Site Haritası adresini belirtir. Sitemap.xml dosyası, sitenizin doğru taranması konusunda arama botlarına en önemli bilgileri verir.

Robots Online Oluşturma Araçları

https://en.ryte.com/free-tools/robots-txt-generator/ ve https://www.seoptimer.com/robots-txt-generator adreslerinden herhangi birine girerek kendi sitenize en uygun robots.txt dosyasını saniyeler içinde oluşturabilirsiniz.

Örnek Robots.txt Dosyası

Tüm arama motoru robotları tarafından resimlerin indexlenmesinin engellenmesi:

User-agent: *
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /images/
Allow: /

Bu örnek, robotların sitenizdeki tüm görüntüleri (tüm resimler klasörü, .jpg, .pgn, .gif ile biten her şey) indirmesini önler. Diğer her şeye izin verilir.

Örneğin sitenizde herhangi bir içeriğin taranmasını istemiyorsunuz. O halde Robots.txt dosyanız bunları içeriyor olmalı:

User-agent: Robot adı (Google, Yahoo, Bing)
Disallow: Engellenecek dizin

WordPress İçin Robots Örneği

Kullanıcı aracısı: *
Disallow: / wp-admin /
Allow: /wp-admin/admin-ajax.php
Disallow: / attachments /
Disallow: /? Attachment_id = *
Disallow: /? Answertocom = *

Site Haritası: https://www.siteadresiniz.com/sitemap.xml


Engin Dinç'in videolarının yer aldığı ED TV logosu

ED TV

SEO, Sosyal medya ve kitap basımı ile ilgili videolarımın yer aldığı ED TV‘yi ziyaret ederek videolarımdam ücretsiz faydalanabilirsiniz.


Engin DİNÇ

USMED AR-GE Başkanı ve UMED Üyesi, Dijital İletişim Uzmanı, Yazar

Devamını Okuyun

5g Adrenochrome algı yönetimi Algı Yönetimi ve Dijital Vatandaşlık analiz bitcoin BlockChain blog dijital vatandaşlık e-ticaret ebabil harekatı Engin Dinç evlilik Facebook google haber hümanoid islam kontrspekülasyon koronavirüs LGBT makine manipülasyon mavi tik medya okuryazarlığı memurluk mobil oyunlar nazi robot robots sanal para seo siber savaş siber vatan siborg sosyal medya Tiktok trends Twitter türkiye türkiyenin hümanoid laboratuvarı nerede yasa youtube çocuk ticareti İnstagram

Yazar: Engin Dinç

1988 İstanbul doğumlu. Adalet Bakanlığı’nda göreve başladı (2011). Anadolu Üniversitesi Kamu Yönetimi Bölümünü Bitirdi (2016). Uluslararası Sosyal Medya Derneği (USMED) üyesi oldu (2017). Türkiye Diyanet Vakfı (TDV) gönüllüsü oldu (2018). Uluslararası Sosyal Medya Derneği (USMED) AR-GE Başkanı Oldu (2020). Anadolu Üniversitesi Hukuk/Adalet Bölümünü bitirdi (2021). Uluslararası Medya Enformasyon Derneği üyesi oldu (2021). Türk Kızılay gönüllüsü oldu (2021). Araştırmaları ve denemeleri çeşitli dergilerde yayınlandı. İlk kitabını 2015 yılında çıkarttı. İngilizce ve Göktürkçe bilmektedir. Ankara’da ikamet etmekte ve Adalet Bakanlığı’nda kamu hizmetine devam etmektedir. Evli ve bir kız babasıdır.