（1）Scrapy安装与创建项目_业界新闻

发布时间:2024-07-29 15:17

阅读量:0

1.简介

Scrapy是一个用于抓取网站和提取结构化数据的应用程序框架，可用于广泛的有用应用程序，如数据挖掘、信息处理或历史档案。
尽管Scrapy最初是为网络抓取而设计的，但它也可以用于使用 API（例如Amazon Associates Web Services）或作为通用网络爬虫来提取数据。

2.安装Scrapy

Scrapy需要Python 3.6+，无论是CPython实现（默认）还是PyPy 7.2.0+实现。
我这里是在VS Code上终端使用Python包管理工具命令(pip)从PyPI（python官方的第三方库的仓库）安装Scrapy包及其依赖项：

pip install Scrapy

卸载Scrapy包命令：

pip uninstall Scrapy

安装指定Scrapy包版本命令：

pip install Scrapy==2.6.1

如图所示：

然后可以输入如下命令查看安装是否成功：

pip list

如图所示：

从如上两图可见，Scrapy包安装成功！

3.创建Scrapy项目

Scrapy是用Python编写的。如果您是该语言的新手，您可能希望从了解该语言的概念开始，以充分了解使用Scrapy。现在让我们来创建一个新的Scrapy项目。切换到您要存储代码并运行的目录：

cd D:\Project\GitHub scrapy startproject scrapy_deng_sample 通过VS Code打开scrapy_deng_sample模板项目，会看到如下目录结构： scrapy_deng_sample/ scrapy.cfg            # 部署配置文件     scrapy_deng_sample/   # 项目的Python模块，您将从这里导入代码         __init__.py         items.py          # 项目定义文件         middlewares.py    # 项目中间件文件         pipelines.py       # 项目管道文件         settings.py        # 项目设置文件         spiders/          # 一个目录，稍后您将在其中放置您的spider文件            __init__.py

如图所示：

4.第一个蛛蛛爬虫示例

Scrapy项目创建好了，现在让我们来尝试下抓取百度热点新闻。scrapy_deng_sample\spiders目录是存放定义蛛蛛爬虫Spider文件。现在来新建一个名称叫baidu_news_board.py的Spider文件，在里面定义一个叫baidu_news_board_spider类用作爬取百度热点新闻。
请看如下代码：

import scrapy from scrapy_deng_sample.items import BaiduNewsBoardItem  class baidu_news_board_spider(scrapy.Spider):       name='baidu_news_board'        def start_requests(self):           urls=["https://top.baidu.com/board?tab=realtime"]           for url in urls:               yield scrapy.Request(url=url,callback=self.parse)        def parse(self,response):           url = response.url           board_nodels = response.xpath("//div[@class='container-bg_lQ801']/div")[1].xpath(".//div[@class='category-wrap_iQLoo horizontal_1eKyQ']")           print(f"热点节点数量：{len(board_nodels)}")           for board_nodel in board_nodels:               yield self.init_board_item(board_nodel)        def init_board_item(self,board_nodel):           item = BaiduNewsBoardItem()           imgUrlNodel = board_nodel.xpath('a/div/img')           if len(imgUrlNodel) < 1:               imgUrlNodel = board_nodel.xpath('a/img')           if len(imgUrlNodel) < 1:               item["ImgUrl"] = ''           item["ImgUrl"] = imgUrlNodel.attrib['src']           item["HotSearchIndex"] = board_nodel.xpath("div")[0].xpath("div[@class='hot-index_1Bl1a']/text()").get()           item["NewsUrl"] = board_nodel.xpath("div")[1].xpath("a").attrib['href']           item["Title"] = board_nodel.xpath("div")[1].xpath("a/div/text()").get()           item["Content"] = board_nodel.xpath("div")[1].xpath("div/text()").get()           self.log(f'节点信息: {item}')           return item

在items.py项目定义文件里面定义一个新闻热点对象用来接收数据：

class BaiduNewsBoardItem(scrapy.Item):     Title = scrapy.Field()     Content = scrapy.Field()     ImgUrl = scrapy.Field()     NewsUrl = scrapy.Field()     HotSearchIndex = scrapy.Field()

如您所见，scrapy.Spider并定义了一些属性和方法：
●name：爬虫蜘蛛唯一标识（它在一个项目中必须是唯一的，即不能为不同的Spider设置相同的名称）。
●start_requests()：返回一个可迭代的Requests（你可以返回一个请求列表或编写一个生成器函数），Spider将从中开始爬取。
●parse()：处理每个请求响应的方法。
●init_board_item()：初始化新闻热点对象。
要让我们的爬虫蜘蛛示例工作，请转到项目的顶级目录并运行该命令：

scrapy crawl baidu_news_board

如图所示：

由此可见Scrapy调度了baidu_news_spider爬虫蛛蛛类的scrapy.Request（start_requests方法）返回的对象。start_requests在接收到每个对象的响应后，它会实例化Response对象并调用关联的回调parse方法作为参数传递，循环初始化新闻热点对象(init_board_item)。