Bir robots.txt dosyası hazırlanırken dikkate alınması gereken 3 temel nokta vardır: Robots.txt dosyasının site url’siyle aynı formatta olması gerekir. Daha önce http://www.siteadresi.com için http://www.siteadresi.com/robots.txt olmalıdır. Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması gerekir. Ve son olarak robots.txt dosyasının UTF-8 karakter kodlamasına uygun olması gerekiyor. Robots.txt dosyası içinde işlemleri gerçekleştirmek için […]