机器人协议

机器人协议(Robots.txt)不过是一个TXT文本文件,存在于你域名根目录之下,作用是将网站的目录结构信息告诉爬虫和蜘蛛,并限制其对特定文件夹和内容的访问,或者是完全将它们关在门外。

作者:Qiuss时间:2011-1-21

1
干事 十二 价值 筹备 名下 CRACK 以及 KeywordDensity 链接 参加 人生 误区 网站设计 谷歌工具栏 最全 别人 员工 不成 外部 三大 放弃 具备 描述 投入 签名档图片 网络蜘蛛 NS记录 着陆页 防ddos攻击 网站首页 httpd.ini 得出 必备 容易 进阶 营销 办法 事理 回报 导航 图标 防DDOS DuplicateContent 谈及 网站危害 重构 分享 电商竞争 计分