爬虫
来自Blueidea
爬虫是一种自动获取网页内容的程序，是搜索引擎的重要组成部分。事实上，搜索引擎优化很大程度上就是针对爬虫而做出的优化。
资料
- 什么是网络爬虫程序？
- Google机器人，Googlebot
- 如何验证谷歌抓取机器人(Googlebot)？[1]
- Google爬虫如何工作：
备注
- ↑ 为何要验证？某些网站对Google机器人做了免验证处理，这也就是为什么有时Google搜索结果中能展现的内容，进入链接后却提醒必须验证。搞清楚如何验证谷歌抓取机器人的原理，就可以伪造一些HTTP请求头，以使可以免登陆访问页面。
