一款你必须会用的 Chrome 爬虫插件。

最近,有同学问我。


我不想写代码,如何快速爬取几个数据量不太大的网页?

这个需求,估计大家很多时候都会遇到,比如,你想爬取秒杀页面的商品信息进行对比;你想爬取国家统计局官网发布的你感兴趣的数据;等等。

既然说到这里,我就简单的介绍一下网络爬虫。网络爬虫的主要目的是爬取互联网上的网页。你可以把互联网中的每一个网页想象成一个点,那么整个互联网将是彼此连通的。是不是很像我们大学学过的图论?如果从任何一个网页出发,在时间资源允许的情况下,使用广度优先算法(BFS)或者深度优先算法(DFS)是可以爬完整个互联网的。对这两种算法不太熟悉的同学可以去背书了。

下面以比较流行的 Scrapy 架构图为例,流线为数据流向。

一款你必须会用的 Chrome 爬虫插件。

看了这幅图,是不是对一般的爬虫有了大致的了解了。

专业的网络爬虫(比如百度/谷歌的爬虫)为了节约资源和时间,因此,设计是相当复杂的。这些爬虫一般是基于分布式集群构建的,有些机子负责调度,有些机子负责下载,有些机子专门基于网页进行分析,等等。并非简单的用 BFS/DFS 就能解决的,比如,我们以调度器为例,它就需要来管理下载优先级,当引擎发送过来 Request 请求,就需要按照优先级进行整理排列,入队,当引擎需要时,交还给引擎。

虽然关于各种语言的爬虫框架很多,要是用这些框架来爬这点数据,确实有点大材小用了,而且还得要编码调试,各种麻烦!!!

我发现 Chrome 商店里面有一款爬虫插件,刚好解决这个痛点,它的名字叫做 Web Scraper,目前有 22w 的用户下载。

一款你必须会用的 Chrome 爬虫插件。

官方网址:https://www.webscraper.io

这个爬虫操作特别简单,照着官方文档,几分钟就学会了。

我这里就说几个关键点吧。

1、启动

一般初次使用,不知道怎么打开它,用快捷键 ctrl+shift+i 打开开发者工具。

一款你必须会用的 Chrome 爬虫插件。

sitemaps:你所有的爬虫。

create new sitemap:创建一个新爬虫的起始地址。

2、选择器

一款你必须会用的 Chrome 爬虫插件。

对于一个选择器而言,就有如下几种元素,它主要作用是为爬虫分析网页的功能,提供了可视化选择的功能,如下图所示。

一款你必须会用的 Chrome 爬虫插件。

好了,再来细说一下,选择器内部的几个元素。

Id: 选择器的ID;

Type:要抓取内容的类型,有文本、图片以及元素集等;

Selector:选择器。点击 select 按钮可以选择我们要抓取的内容,点击 element preview 按钮可以预览选择的内容,而点击 data preview 按钮可以预览抓取的数据;

Multiple:勾选了这个按钮可以并联相同的内容;

Regex:正则表达式;

Delay:延迟。为了让页面有足够的时间加载数据;

Parent Selectors:父选择器。

有的同学可能会问,如果我要在一个页面选择多个元素,该怎么办呢?上面的提到的 Type 属性里面的 Element 就起到这个作用,如我这里。

一款你必须会用的 Chrome 爬虫插件。

3、关系图

我觉得这个功能特别棒,帮我们看到这个爬虫的层级关系图。

一款你必须会用的 Chrome 爬虫插件。

最后,就是爬取数据了,爬取后的数据还可以导出为 excel,便于你分析。

一款你必须会用的 Chrome 爬虫插件。

大家可以去玩一下这个爬虫插件,会帮你快速分析一些简单的数据。

就写到这里吧。

由于长期的熬夜,造成近段时间身体不适,需要好好调养。建议大家早点休息,身体是革命的本钱。

如果这篇文章对你有帮助,记得点赞或者转发一下。

本站所有文章均来自互联网,如有侵权,请联系站长删除。极客文库 » 一款你必须会用的 Chrome 爬虫插件。
分享到:
赞(0)

评论抢沙发

评论前必须登录!