为什么爬虫有时候爬不到 现在爬虫为啥不好爬了

有可能是爬虫模块没有爬取到数据。

为什么爬虫有时候爬不到 现在爬虫为啥不好爬了

为什么爬虫有时候爬不到 现在爬虫为啥不好爬了

为什么爬虫有时候爬不到 现在爬虫为啥不好爬了

每当我们写爬虫的时候，短暂的代码运行与抓取如果期间出现异常情况，我们可以及时的发现。

实际的爬虫开发项目往往运行需要耗时，对于增量式爬虫有时也是需要放到上面跑的。

解决办法：

当爬虫爬取国外网站的时候，常常会出现HTTPErro 404的情况，而用浏览器却可以正常浏览网页，这时候只需要把爬虫伪装成浏览器即可，也就是加上User-Agent就可以了，具体如何获取User-Agent，可以用浏览器随便打开一个网页，然后右键选择‘审查元素’，在Network里面找到即可！

本来网页几万的数据，但是爬虫爬到5千行就自己停止了，为什么

搜索引擎，通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词(即)进行索引，建立索引数据库的全文搜索引擎。当用户查找某个的时候，所有在页面内容中包含了该的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后，这些结果将按照与搜索的相关度高低，依次排列