
robots.txt文件生成器
点击收藏-
全局设置
-
限制目录
-
Sitemap
-
国内搜索引擎
-
国外搜索引擎
1、robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
2、robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
3、如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
4、robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
5、注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
robots.txt文件内容1、搜索引擎蜘蛛的是否可访问性或者说可爬行性
2、搜索引擎蜘蛛针对目录或者文件的可访问性
3、网站站点地图sitemap路径定义
4、搜索引擎蜘蛛爬行的时间间隔限制
关于robots.txt文件生成器1、通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
2、创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
3、把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐工具
倡议书
AI帮您书写一份倡议书!
差评回复
帮你给差评来个完美的回复
反义词批量生成
批量生成词语的反义词
抖音短视频标题
抖音短视频生成器
励志名言
批量生成励志名言警句
SWOT分析法
经典模型、四大维度帮你理性全方位分析,辅助你做出最佳决策.
ASCII码对照表
可显示ASCII码参考表
BCC校验在线计算
BCC校验(异或校验)在线计算工具
墙砖用量计算器
帮助您快速、精准地计算所需的墙砖数量
渐变色大全
渐变色在线查询工具
CRC32在线加密工具
CRC32在线加密工具
Emoji表情
常用的各种各样的Emoji表情
肺龄计算器
在线肺龄计算器
复利计算器
在线储蓄利息再生利息计算工具
HTML/UBB互转工具
在线HTML与UBB代码转换工具
htpasswd在线生成
可在线生成不同类型的htpasswd加密内容
捏泡泡小游戏
一款在线解压小游戏
在线迷宫小游戏
一款在线闯迷宫的小游戏
在线扫雷小游戏
一款在线扫雷的休闲小游戏
随机MAC地址
随机MAC地址在线生成工具
十二时辰转换
在线将时间转为十二时辰
文本添加行号工具
在线给文本添加行号工具
UTF8与中文互转
UTF8转中文/中文转UTF8处理工具
在线Websocket接口测试
一款免费在线的Websocket接口测试工具