Robots txt oluşturucu

Varsayılan - Tüm Robotlar:
Tarama Bekletme:
Sitemap: (Eğer Yoksa Boş Bırakın)
Arama Motorları:
Google
Google Image
Google Mobile
MSN Search
Yahoo
Yahoo MM
Yahoo Blogs
Ask/Teoma
GigaBlast
DMOZ Checker
Nutch
Alexa/Wayback
Baidu
Naver
MSN PicSearch
Kısıtlı Dizinler:
Kısıtlı Dizinler:
Kısıtlı Dizinler:
Kısıtlı Dizinler:
Kısıtlı Dizinler:
Kısıtlı Dizinler:
Kısıtlı Dizinler:

Robots.txt nedir ?

Arama motorlarına sitemizin hangi bölümlerinin indexlenip  hangisinin indexlenmeyeceğini gösteren yegane txt dosyasıdır. Gereksiz ve bilinçsiz kullanımı ciddi manada trafik problemlerine sebep olabilir. Google gibi arama motorları tarafından yanlış indekslenmesinize sebep olabilir. Her ne kadar basit bir txt dosyası gibi gözüküyor olsa da bu yüzden robots.txt ayarları titizlikle yapılmalıdır.

 

Robots kodları ile bir klasörü engellemek istediğinizi varsayalım. Yönetim klasörünü arama motorlarından gizlemek için aşağıdaki kodlaarı yerleştirmelisiniz.

 

User-agent: *
Disallow: /yonetim/

 

Bir dosya uzantısı türünü tamamen taranmasını engellemek de son derece kolaydır. Pdf uzantılı dosyaları arama motorlarından gizlemek ve indekslenmesini engellemek için şu kodları yerleştirin.

 

User-agent: *
Disallow: /*.pdf

 

Otomatik robots.txt oluşturma aracı

Sitemizdeki online ve pratik robots.txt dosyası oluşturma aracı ile kolayca robots dosyanızı oluşturabilirsiniz. Sİtenizin hangi sayaları önbellege alınsın, hangileri alınmasın bunları seçip hesapla demeniz yetirlidir.

 

Seo araçlarını her geçen gün güncellemeye ve yenilerini geliştirmeye çalışıyoruz umarız faydasını görebilirsiniz.

Konu ile İlgili Benzer Aramalar
  • robots.txt generator