机器人协议

机器人协议(Robots.txt)不过是一个TXT文本文件,存在于你域名根目录之下,作用是将网站的目录结构信息告诉爬虫和蜘蛛,并限制其对特定文件夹和内容的访问,或者是完全将它们关在门外。

作者:Qiuss时间:2011-1-21

1
门户 创业 提交 推广网店 草根 其实 新知 网站建设行业 独立 拉德 顿悟 pv 产品 讨好 竞价 畅言 公司规模 空格 易懂 微博推广 百度区域性搜索 中心 为什 oauth 竞价排名 错误 已经 团购 标签 端口 主页 关键 follow 后果 重视 寻找 好坏 思考 宽带 永久在线 入侵 距离 屏蔽百度 不可不 手法 原因分析 访客 计算机病毒 搜索质量 网站改版