Bağlantıda sorun var !!! Robots.txt dosyası ne işe yarar
Robots.txt dosyası ne işe yarar facebook paylaş Robots.txt dosyası ne işe yarar twitter paylaş Robots.txt dosyası ne işe yarar google plus paylaş Robots.txt dosyası ne işe yarar linkedin paylaş

Robots.txt dosyası ne işe yarar


Arama motorları bir web sitesine geldiğinde ilk olarak robots.txt dosyasına bakarlar. Site ile ilgili nasıl bir arama yapacağını bu dosyadan öğrenirler. Bizde bu dosya içerisinde gerekli herşeyi belirtebiliriz. İstediğimiz bölümleri robotlara tarattırabilir veya istemediğimiz bölümleri taratmayabiliriz. Bunu ayrı ayrı yapabilmemizle beraber tüm siteyi taratıp taratmamakta bizim elimizde.

Peki nasıl yapacağız. Öncelikle robots.txt dosyamızı oluşturalım. Bu dosyayı notepad ile oluşturaibiliriz. İçerisine yazabileceklerimizi aşağıda açıklamalı olarak veriyorum. Hangizi sizin için uygun olursa onu kullanırsınız. Ayrıca bu dosyanız en dış dizinde bulunmalıdır. Yani ana dizinde. Boş bir robots.txt dosyası tüm sitenizin taranmasını sağlayacak olan kod ile aynı görevi görevi görür.

Normal bir roxots.txt

User-Agent: *
Allow: /

bu şekilde olur. Bu tüm sayfaları tara ve indexle demektir.

Aşağıdaki kod ile ise web sitemizin tamamının taranmamasını sağlayabiliriz.

User-Agent: *
Disallow: /

Tek bir sayfanın tüm robotlar tarafından indexlenmesini engellemek için:

User-agent: *
Disallow: /dizin/sayfa.html

Bir dizin içerisinde ki tüm sayfaları engelemek için ise:

User-agent: *
Disallow: /dizin-adi/

şeklinde bir kod kullanırız. Umarım işinize yarar, kolay gelsin arkdaşlar.


[ YORUM YAZ ] [ YAZDIR ]
Anahtar kelimeler: