Robots.txt Nasıl Oluşturulur?

Bir robots.txt dosyası hazırlanırken dikkate alınması gereken 3 temel nokta vardır:

  1. Robots.txt dosyasının site url’siyle aynı formatta olması gerekir. Daha önce http://www.siteadresi.com için http://www.siteadresi.com/robots.txt olmalıdır.
  2. Dosyasının sitenizin kök dizininde bulunuyor olması gerekir.
  3. Ve son olarak robots.txt dosyasının UTF-8 karakter kodlamasına uygun olması gerekiyor.

Robots.txt dosyası içinde işlemleri gerçekleştirmek için kullanılan komutlar şunlardır:

  • User-agent: Bu komutla sitenize hangi arama robotunun gelebileceğini siz karar verirsiniz. (Örneğin tüm arama motoru robotları, sadece Google ya da sadece Bing) Yine sitenizin arama robotları tarafından hiçbir şekilde taranmasını istemiyorsanız yine bu komutu kullanabilirsiniz.
  • Allow/ Disallow: Dizin engelleme ya da izin verme komutlarını kullanarak sitenizdeki sadece belirli dizinlere erişim izni verebilir ya da istediğiniz sınırlamayı koyabilirsiniz.
  • Crawl-delay: Tarama gecikmesi belirtme komutu olarak da adlandırabileceğimiz bu komutla birlikte arama motorlarının site içinde tarama yaparken harcadığı zamanı sınırlandırabilirsiniz. Bu komut genellikle sunucu hatası yaşayan ve yüksek ziyaretçi sebebiyle zaman zaman hizmet veremeyen siteler tarafından kullanılır.
  • Sitemap komutu: Bir “Site Haritası” yönergesi, sitenin XML Site Haritası adresini belirtir. Sitemap.xml dosyası, sitenizin doğru taranması konusunda arama botlarına en önemli bilgileri verir.

Robots Online Oluşturma Araçları

https://en.ryte.com/free-tools/robots-txt-generator/ ve https://www.seoptimer.com/robots-txt-generator adreslerinden herhangi birine girerek kendi sitenize en uygun robots.txt dosyasını saniyeler içinde oluşturabilirsiniz.

Örnek Robots.txt Dosyası

Tüm arama motoru robotları tarafından resimlerin indexlenmesinin engellenmesi:

User-agent: *
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /images/
Allow: /

Bu örnek, robotların sitenizdeki tüm görüntüleri (tüm resimler klasörü, .jpg, .pgn, .gif ile biten her şey) indirmesini önler. Diğer her şeye izin verilir.

Örneğin sitenizde herhangi bir içeriğin taranmasını istemiyorsunuz. O halde Robots.txt dosyanız bunları içeriyor olmalı:

User-agent: Robot adı (Google, Yahoo, Bing)
Disallow: Engellenecek dizin

WordPress İçin Robots Örneği

Kullanıcı aracısı: *
Disallow: / wp-admin /
Allow: /wp-admin/admin-ajax.php
Disallow: / attachments /
Disallow: /? Attachment_id = *
Disallow: /? Answertocom = *

Site Haritası: https://www.siteadresiniz.com/sitemap.xml


Engin Dinç'in videolarının yer aldığı ED TV logosu

ED TV

SEO, Sosyal medya ve kitap basımı ile ilgili videolarımın yer aldığı ED TV‘yi ziyaret ederek videolarımdam ücretsiz faydalanabilirsiniz.


Engin DİNÇ

Araştırmacı, yazar, sosyal medya uzmanı, USMED üyesi, Türkiye Düşünce Platformu üyesi ve sekreteri, TDV ve AFAD gönüllüsü

Devamını Okuyun

algı yönetimi Algı Yönetimi ve Dijital Vatandaşlık analiz araçları BlockChain bot siteleri dijital vatandaşlık Engin Dinç En iyi sosyal medya yönetimi araçları en çok aranan kelimeler en çok arananlar Facebook google bots google botu nasıl oluşturulur google de çok aranan kelimeler Google haritalar Google maps google robotu googletrends Google Trends ile Toplum Analizi Google Trends Verileri Sonucunda Ülkelerin Gelişmişlik Düzeyleri hümanoid isviçre manipülasyon robotlarla evlilik robots.txt Robots.txt Oluşturucu (Generator) robots oluşturma seo seo keliemleri siborg sosyal medya sosyal medya siteleri sosyal medya yönetimi Tiktok Twitter türkiye türkiyenin hümanoid laboratuvarı nerede yandex botu nasıl oluşturulur yapay zeka yazar youtube yönetim araçları zimbabve zombi virüsü İnsanların İlgi Alanları Toplumsal Gelişmişliği Gösteriyor