Yahoo Robot'un Siteye Girisini Yasaklama
Evet son zamanlarda herkesin ozellikle forum sahiplerinin en buyuk derdi Yahoo ve robotu Slurp. Gercekten artik herkese bikkinlik verdi bir anda istila eder gibi site icine dalmasi ve bazen yuzlerce robot ile hic cikmadan siteyi indexlemesi, tamam indexlesin belki guzel diyenleriniz olabilir ama durum bu kadar basit degil ilk olarak bu indexlemenin ben simdiye kadar hic bir geri donusunu gormedim eminim diger webmaster arkadaslardan da goren olmamistir. Google disinda kalan arama motorlarindan siteye ziyaretci olarak gelen sayisi normal vasifta site icin iki elin parmagini gecmez (bu konustugum Turkce siteler icin gecerli ingilizce ya da baska yabanci icerikli sitelerde durum degisebiliyor). Ikinci olarakta sitenin bant genisliginden yiyerek siteleri yavaslatmasi hatta anlik online ziyaretci yogunlugundan dolayi kapatmasi (gecici) bile soz konusu. Bir anda onlarca/yuzlerce robotun gelmesi gercekten forum sahiplerini zor durumda birakiyor. Simdi cogu yerde gordugum ancak bazi orneklerin...