Sitemdeki bütün dizinleri, dosyaları google okusun istiyorum, kodu hangisidir?
User-agent: *
Disallow:/
User-agent: *
Allow:/
bunlardan hanigisi olucak
User-agent: *
Disallow:/
User-agent: *
Allow:/
bunlardan hanigisi olucak
allow işte.
ocanal
robots.txt bütün dizinlerin okunması için değil, botun erişmesini istemediğinizi dizinleri belirtmek içindir, asıl kullanım amacı olarak
bonjurkes
O zaman ftp dizinine robots.txt dosyası atmasam google bot bütün dizinleri okurmu
xxfastboy
yep.
ocanal
1