爬虫
来自Blueidea
yoom
(
讨论
|
贡献
)
2010-03-26T11:52:39的版本
(创建新页面为 '爬虫是一种自动获取网页内容的程序,是
搜索引擎
的重要组成部分。
搜索引擎优化SEO
, ==资料== *[http://baike.baidu.com/view/14313…')
(差异) ←上一版本 |
最后版本
(
差异
) |
下一版本→
(
差异
)
跳转至:
导航
、
搜索
爬虫是一种自动获取网页内容的程序,是
搜索引擎
的重要组成部分。
搜索引擎优化SEO
,
资料
什么是网络爬虫程序?
Google机器人
,
Googlebot
如何验证谷歌抓取机器人(Googlebot)?
[1]
备注
↑
某些时候当用Google搜索出来一些感兴趣内容后,当点击链接进入时,却被提醒要登陆才能访问,由此可判定该网站部分页面对Google机器人做了开放免验证功能。
分类
:
搜索引擎
导航菜单
个人工具
登录
创建账户
命名空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
首页
最近更改
随机页面
帮助
工具
链入页面
相关更改
特殊页面
固定链接
页面信息