Yahoo Robot'un Siteye Girisini Yasaklama

Evet son zamanlarda herkesin ozellikle forum sahiplerinin en buyuk derdi Yahoo ve robotu Slurp. Gercekten artik herkese bikkinlik verdi bir anda istila eder gibi site icine dalmasi ve bazen yuzlerce robot ile hic cikmadan siteyi indexlemesi, tamam indexlesin belki guzel diyenleriniz olabilir ama durum bu kadar basit degil ilk olarak bu indexlemenin ben simdiye kadar hic bir geri donusunu gormedim eminim diger webmaster arkadaslardan da goren olmamistir. Google disinda kalan arama motorlarindan siteye ziyaretci olarak gelen sayisi normal vasifta site icin iki elin parmagini gecmez (bu konustugum Turkce siteler icin gecerli ingilizce ya da baska yabanci icerikli sitelerde durum degisebiliyor).

Ikinci olarakta sitenin bant genisliginden yiyerek siteleri yavaslatmasi hatta anlik online ziyaretci yogunlugundan dolayi kapatmasi (gecici) bile soz konusu. Bir anda onlarca/yuzlerce robotun gelmesi gercekten forum sahiplerini zor durumda birakiyor.

Simdi cogu yerde gordugum ancak bazi orneklerin yanlis bilgilendirme oldugu icin bircok arkadasimizin sonuc alamadigi Yahoo robot'tan nasil kurtulunur sorusunun cevabini veriyorum:

Yahoo botu engellemek icin robots.txt dosyasi olusturmamiz lazim evet biliyorum cogu arkadas olusturduk ama calismiyor diyebilir ancak robots.txt dosyanizi dogru tanimlarsaniz calismama diye bir sey soz konusu degil. Calisan ornege gecmeden once Robotstxt.org sitesine girerek ornekleri incelemeniz bilgi sahibi olmaniz acisindan faydali olacaktir.

Simdi verecegim robots.txt dosyasi 4 foruma eklenmis ve hala ekli olan ve %100 calisan ornektir.

Ilk yapmaniz gereken note pad'i acin ve bir text olusturun ve isimine robots deyin daha sonra olusturmus oldugunuz robots.txt dosyanizi acin ve icerisine hic bir degisiklik yapmadan

User-Agent: *
Allow: /

User-Agent: Slurp
Disallow: /

User-Agent: yahoo-slurp
Disallow: /

bu kodu yapistirin ve kayit edin, unutmayin dosya adi robots olacak robot olarak yapmayin. Daha sonra bu kayit ettigimiz robot.txt dosyamizi ftp'nizi acin ve ana dizininize atin (index ya da default dosyaniz neredeyse ornek: wwwroot icine).

Simdi onemli konuya geldik bu dosyayi atar atmaz yahoo robot sitenize girisi kesmiyecek eger Google Site Yöneticisi Araçları ya da Ingilizce Web Tools kullaniyorsaniz oraya gidin sol menuden Araclar/Tools sekmesine tiklayin ve ordan Analyze robots.txt kismina bakin orada eklemis oldugunuz robots.txt dosyasinin icerigini gordugunuz an Yahoo Robot'un sitenize girisini engellediniz demektir bu da ortalama 1 ila 5 gun arasi surer.

Yukarida da belirttigim gibi soyledigim sekilde bir robots.txt dosyasi hazirlarsaniz Yahoo robota tamamiyle dur diyebilirsiniz ayni sekilde bunu istemediginiz baska robotlar icin uygulamaniz da mumkun ayrintili bilgiyi Robotstxt.org sitesinde ve Google Yardim Sayfasinda bulabilirsiniz.

Umarim bilgiler yardimci olur :)

Yazan: Web Lokum

Hiç yorum yok: