{\rtf1\ansi\ansicpg1252\cocoartf949\cocoasubrtf460 {\fonttbl\f0\fswiss\fcharset0 Helvetica;} {\colortbl;\red255\green255\blue255;} \paperw11900\paperh16840\margl1440\margr1440\vieww9000\viewh8400\viewkind0 \pard\tx566\tx1133\tx1700\tx2267\tx2834\tx3401\tx3968\tx4535\tx5102\tx5669\tx6236\tx6803\ql\qnatural\pardirnatural \f0\fs24 \cf0 # Robots heliswiss.es\ User-agent: *\ Disallow: /control/\ Disallow: /documents/\ \ # Sitemap permitido, b\'fasquedas no, enlaces salientes no, widget no.\ # Sitemap: http://www.heliswiss.es/sitemap.xml\ Disallow: /cerca\ Disallow: /visita\ Disallow: /makeLov\ Disallow: /makeFav\ Disallow: /unmakeFav\ \ # Lista de bots que suelen respetar el robots.txt pero rara\ # vez hacen un buen uso del sitio y abusan bastante...\ \ User-agent: MSIECrawler\ Disallow: /\ \ User-agent: WebCopier\ Disallow: /\ \ User-agent: HTTrack\ Disallow: /\ \ User-agent: Microsoft.URL.Control\ Disallow: /\ \ User-agent: libwww\ Disallow: /\ \ #\ # Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen\ # idas de pinza, toca decirles que reduzcan la marcha.\ # El valor es en segundos y pod\'e9is dejarlo bajo e ir \ # subiendo hasta el punto \'f3ptimo.\ #\ \ User-agent: noxtrumbot\ Crawl-delay: 50\ \ User-agent: msnbot\ Crawl-delay: 30\ \ User-agent: Slurp\ Crawl-delay: 10\ }