以下是源码 冒号老是报错 输入的冒号是英文的 还是报错! 哪位大神请教以下! 源码:
# section 1 User-agent: BadCrawler Disallow: / # section 2 User-agent: * Crawl-delay: 5 Disallow: /trap # section 3
Sitemap: http://example.webscraping.com/sitemp.xml
参考下这个 https://g.sov5.cn/robots.txt