黑客
登录
客服
网络安全
帖子详情

网站中的robots.txt有什么用?

发现很多个网站都有,小风教程网也有,请问这个文件是干嘛的?
868次浏览
2020-2-17 2:05:48发布
2020-2-17 3:24:13不成功就成仁不成功就成仁年费会员1级
这个文件是写个蜘蛛看的,也就是搜索引擎,可以告诉搜索引擎不要抓取网站的某些页面,楼主百度搜索inurl:/admin试试看,就会发现很多个网站的后台,这些网站都是没有正确使用robots文件导致搜索引擎抓取了他们的后台地址,暴露了后台地址也就增加了被入侵的可能。
2020-2-17 3:56:05EEEEEEEE年费会员1级
做网站优化会经常用到的
2020-7-12 10:38:13忆梦资源网忆梦资源网5级
robots.txt是搜索引擎中访问网站的时候要查bai看的第一个文件。Robots.txt文件告诉du蜘蛛程序在服务器上什么文zhi件是可以被查看的。
当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。
我来回答
网站中的robots.txt有什么用?

    取消

问答活动
最新帖子
推荐帖子

黑客技术 黑客软件 黑客教程 黑客书籍

关于我们 | 免责声明 | 学员守则 | 广告服务 | 联系我们

©2013-2020 xf1433.com 版权所有

本站资源仅供用于学习和交流,请遵循相关法律法规