Vizualizare mesaje fără răspuns | Vizualizare subiecte active Acum este 25 Sep 2018, 04:04



Răspunde la subiect  [ 2 mesaje ] 
Despre "robots.txt" 
Autor Mesaj
Caporal
Avatar utilizator

Membru din: 03 Feb 2012, 03:15
Mesaje: 50
Localitate: timisoara
Mesaj Despre "robots.txt"
Salut prieteni
Legat de fisierul "robots.txt" este bine sa lasi cat mai multi roboti sa-ti caute prin site sau nu, de exemplu
    User-agent: Googlebot
    Disallow:
    User-agent: googlebot-image
    Disallow:
    User-agent: googlebot-mobile
    Disallow:
    User-agent: MSNBot
    Disallow:
    User-agent: Slurp
    Disallow:
    User-agent: Teoma
    Disallow: /
    User-agent: twiceler
    Disallow: /
    User-agent: Gigabot
    Disallow: /
    User-agent: Scrubby
    Disallow: /
    User-agent: Robozilla
    Disallow:
    User-agent: Nutch
    Disallow: /
    User-agent: ia_archiver
    Disallow:
    User-agent: baiduspider
    Disallow: /
    User-agent: naverbot
    Disallow: /
    User-agent: yeti
    Disallow: /
    User-agent: yahoo-mmcrawler
    Disallow:
    User-agent: psbot
    Disallow:
    User-agent: asterias
    Disallow:
    User-agent: yahoo-blogs/v3.9
    Disallow:
    User-agent: *
    Disallow:
este o lista prea mare? ajuta sau mai mult incurca ,cum este scrisa lista ofera permite sau interzice robotii?
Multumesc

_________________
" A pricepe este mai important decat a sti " http://www.vidanjaretimisoara.ro




16 Mar 2013, 13:34
Profil YIM WWW
GENERAL
Avatar utilizator

Membru din: 14 Mar 2011, 14:38
Mesaje: 185
Mesaj Re: Despre "robots.txt"
Salut Caporal @Vasile...

e ok sa ai robots txt cat mai "primitor" . Nici un robot corect nu dauneaza sanatatii!!

Citeste aici un articol super profi si complet despre robots.xt> http://searchengineland.com/a-deeper-look-at-robotstxt-17573

:headshot:

_________________
Cele mai bune pachete de optimizare seo le gasiti pe DanBradu.com




19 Mar 2013, 17:01
Profil YIM WWW
Afişează mesajele din ultimele:  Sortează după  
Răspunde la subiect   [ 2 mesaje ] 
Linkuri Ieftine

Cine este conectat

Utilizatorii ce navighează pe acest forum: Niciun utilizator înregistrat şi 1 vizitator


Nu puteţi scrie subiecte noi în acest forum
Nu puteţi răspunde subiectelor din acest forum
Nu puteţi modifica mesajele dumneavoastră în acest forum
Nu puteţi şterge mesajele dumneavoastră în acest forum
Nu puteţi publica fişiere ataşate în acest forum

Mergi la:  
cron

Powered by phpBB