Robots.txt 生成与测试工具

为您的网站创建和验证robots.txt文件

生成 robots.txt

网站URL

搜索引擎爬虫设置

允许所有搜索引擎爬取

禁止所有搜索引擎爬取

特殊规则

禁止图片索引 (noimageindex)

禁止缓存页面 (noarchive)

禁止显示摘要 (nosnippet)

禁止访问的路径 (每行一个)

允许访问的路径 (每行一个)

网站地图URL (可选)

测试 robots.txt

编辑

测试

robots.txt 内容

选择搜索引擎测试

Google

Bing

百度

Yandex

DuckDuckGo

测试URL