http://wiki.blueidea.com/index.php?action=history&feed=atom&title=%E7%88%AC%E8%99%AB
爬虫 - 版本历史
2026-04-30T10:06:19Z
本wiki的该页面的版本历史
MediaWiki 1.24.1
http://wiki.blueidea.com/index.php?title=%E7%88%AC%E8%99%AB&diff=6710&oldid=prev
yoom：\* 因Google服务器变更，因此以前链接无妨访问，在此更新之 *\
2010-04-08T01:27:40Z
<p>\* 因Google服务器变更，因此以前链接无妨访问，在此更新之 *\</p>
<table class='diff diff-contentalign-left'>
<col class='diff-marker' />
<col class='diff-content' />
<col class='diff-marker' />
<col class='diff-content' />
<tr style='vertical-align: top;'>
<td colspan='2' style="background-color: white; color:black; text-align: center;">←上一版本</td>
<td colspan='2' style="background-color: white; color:black; text-align: center;">2010-04-08T01:27:40的版本</td>
</tr><tr><td colspan="2" class="diff-lineno">第6行：</td>
<td colspan="2" class="diff-lineno">第6行：</td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>*[http://baike.baidu.com/view/1431312.html 什么是网络爬虫程序？]</div></td><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>*[http://baike.baidu.com/view/1431312.html 什么是网络爬虫程序？]</div></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>*[http://baike.baidu.com/view/1849733.html Google机器人]，[http://baike.baidu.com/view/1848615.htm Googlebot]</div></td><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>*[http://baike.baidu.com/view/1849733.html Google机器人]，[http://baike.baidu.com/view/1848615.htm Googlebot]</div></td></tr>
<tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>*[http://www.<del class="diffchange diffchange-inline">googlechinawebmaster</del>.<del class="diffchange diffchange-inline">com</del>/2008/02/googlebot.html 如何验证谷歌抓取机器人(Googlebot)？]<ref>为何要验证？某些网站对Google机器人做了免验证处理，这也就是为什么有时Google搜索结果中能展现的内容，进入链接后却提醒必须验证。搞清楚如何验证谷歌抓取机器人的原理，就可以伪造一些HTTP请求头，以使可以免登陆访问页面。</ref></div></td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>*[http://www.<ins class="diffchange diffchange-inline">google</ins>.<ins class="diffchange diffchange-inline">cn/ggblog/googlewebmaster-cn</ins>/2008/02/googlebot.html 如何验证谷歌抓取机器人(Googlebot)？]<ref>为何要验证？某些网站对Google机器人做了免验证处理，这也就是为什么有时Google搜索结果中能展现的内容，进入链接后却提醒必须验证。搞清楚如何验证谷歌抓取机器人的原理，就可以伪造一些HTTP请求头，以使可以免登陆访问页面。</ref></div></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>*Google爬虫如何工作：</div></td><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>*Google爬虫如何工作：</div></td></tr>
<tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>**[http://www.<del class="diffchange diffchange-inline">googlechinawebmaster</del>.<del class="diffchange diffchange-inline">com</del>/2008/03/blog-post.html 与谷歌机器人的第一次约会：标头和压缩]</div></td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>**[http://www.<ins class="diffchange diffchange-inline">google</ins>.<ins class="diffchange diffchange-inline">cn/ggblog/googlewebmaster-cn</ins>/2008/03/blog-post.html 与谷歌机器人的第一次约会：标头和压缩]</div></td></tr>
<tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>**[http://www.<del class="diffchange diffchange-inline">googlechinawebmaster</del>.<del class="diffchange diffchange-inline">com</del>/2009/02/http-if-modified-since.html 与谷歌机器人的第二次约会：HTTP 状态代码和If-Modified-Since]</div></td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>**[http://www.<ins class="diffchange diffchange-inline">google</ins>.<ins class="diffchange diffchange-inline">cn/ggblog/googlewebmaster-cn</ins>/2009/02/http-if-modified-since.html 与谷歌机器人的第二次约会：HTTP 状态代码和If-Modified-Since]</div></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>==备注==</div></td><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>==备注==</div></td></tr>
</table>
yoom
http://wiki.blueidea.com/index.php?title=%E7%88%AC%E8%99%AB&diff=6679&oldid=prev
2010-03-26T04:02:27 yoom
2010-03-26T04:02:27Z
<p></p>
<table class='diff diff-contentalign-left'>
<col class='diff-marker' />
<col class='diff-content' />
<col class='diff-marker' />
<col class='diff-content' />
<tr style='vertical-align: top;'>
<td colspan='2' style="background-color: white; color:black; text-align: center;">←上一版本</td>
<td colspan='2' style="background-color: white; color:black; text-align: center;">2010-03-26T04:02:27的版本</td>
</tr><tr><td colspan="2" class="diff-lineno">第1行：</td>
<td colspan="2" class="diff-lineno">第1行：</td></tr>
<tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>爬虫是一种自动获取网页内容的程序，是[[搜索引擎]]<del class="diffchange diffchange-inline">的重要组成部分。</del></div></td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>爬虫是一种自动获取网页内容的程序，是[[搜索引擎]]<ins class="diffchange diffchange-inline">的重要组成部分。事实上，[[SEO|搜索引擎优化]]很大程度上就是针对爬虫而做出的优化。</ins></div></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td></tr>
<tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div><del style="font-weight: bold; text-decoration: none;">[[SEO|搜索引擎优化SEO]]，</del></div></td><td colspan="2"> </td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>==资料==</div></td><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>==资料==</div></td></tr>
<tr><td colspan="2" class="diff-lineno">第7行：</td>
<td colspan="2" class="diff-lineno">第6行：</td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>*[http://baike.baidu.com/view/1431312.html 什么是网络爬虫程序？]</div></td><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>*[http://baike.baidu.com/view/1431312.html 什么是网络爬虫程序？]</div></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>*[http://baike.baidu.com/view/1849733.html Google机器人]，[http://baike.baidu.com/view/1848615.htm Googlebot]</div></td><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>*[http://baike.baidu.com/view/1849733.html Google机器人]，[http://baike.baidu.com/view/1848615.htm Googlebot]</div></td></tr>
<tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>*[http://www.googlechinawebmaster.com/2008/02/googlebot.html 如何验证谷歌抓取机器人(Googlebot)？]<ref><del class="diffchange diffchange-inline">某些时候当用Google搜索出来一些感兴趣内容后，当点击链接进入时，却被提醒要登陆才能访问，由此可判定该网站部分页面对Google机器人做了开放免验证功能。</del></ref></div></td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>*[http://www.googlechinawebmaster.com/2008/02/googlebot.html 如何验证谷歌抓取机器人(Googlebot)？]<ref><ins class="diffchange diffchange-inline">为何要验证？某些网站对Google机器人做了免验证处理，这也就是为什么有时Google搜索结果中能展现的内容，进入链接后却提醒必须验证。搞清楚如何验证谷歌抓取机器人的原理，就可以伪造一些HTTP请求头，以使可以免登陆访问页面。</ins></ref></div></td></tr>
<tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div> </div></td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins class="diffchange diffchange-inline">*Google爬虫如何工作：</ins></div></td></tr>
<tr><td colspan="2"> </td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins class="diffchange diffchange-inline">**[http://www.googlechinawebmaster.com/2008/03/blog-post.html 与谷歌机器人的第一次约会：标头和压缩]</ins></div></td></tr>
<tr><td colspan="2"> </td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins class="diffchange diffchange-inline">**[http://www.googlechinawebmaster.com/2009/02/http-if-modified-since.html 与谷歌机器人的第二次约会：HTTP 状态代码和If-Modified-Since]</ins></div></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td></tr>
<tr><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>==备注==</div></td><td class='diff-marker'> </td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>==备注==</div></td></tr>
</table>
yoom
http://wiki.blueidea.com/index.php?title=%E7%88%AC%E8%99%AB&diff=6678&oldid=prev
yoom：创建新页面为 '爬虫是一种自动获取网页内容的程序，是搜索引擎的重要组成部分。 搜索引擎优化SEO， ==资料== *[http://baike.baidu.com/view/14313…'
2010-03-26T03:52:39Z
<p>创建新页面为 '爬虫是一种自动获取网页内容的程序，是<a href="/index.php?title=%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E" title="搜索引擎">搜索引擎</a>的重要组成部分。 <a href="/index.php?title=SEO" title="SEO">搜索引擎优化SEO</a>， ==资料== *[http://baike.baidu.com/view/14313…'</p>
<p><b>新页面</b></p><div>爬虫是一种自动获取网页内容的程序，是[[搜索引擎]]的重要组成部分。<br />
<br />
[[SEO|搜索引擎优化SEO]]，<br />
<br />
==资料==<br />
<br />
*[http://baike.baidu.com/view/1431312.html 什么是网络爬虫程序？]<br />
*[http://baike.baidu.com/view/1849733.html Google机器人]，[http://baike.baidu.com/view/1848615.htm Googlebot]<br />
*[http://www.googlechinawebmaster.com/2008/02/googlebot.html 如何验证谷歌抓取机器人(Googlebot)？]<ref>某些时候当用Google搜索出来一些感兴趣内容后，当点击链接进入时，却被提醒要登陆才能访问，由此可判定该网站部分页面对Google机器人做了开放免验证功能。</ref><br />
<br />
<br />
==备注==<br />
<br />
<references /><br />
<br />
<br />
[[Category:搜索引擎]]</div>
yoom