Python爬虫——利用Scrapy批量下载图片

avatar
作者
筋斗云
阅读量:0

  1. 解析出实体（Item）,则交给实体管道进行进一步的处理；

  2. 解析出的是链接（URL）,则把URL交给调度器等待抓取。

页面结构分析

  1. 首先查看目标页面，可以看到包含多个主题，选取感兴趣主题，本项目以“风景”为例(作为练习，也可以通过简单修改，来爬取所有模块内图片)。

目标页面

  1. 在“风景”分类页面，可以看到每页包含多个专题，利用开发者工具，可以查看每个专题的URL，拷贝相应XPath，利用Xpath的规律性，构建循环，用于爬取每个专题内容。

在这里插入图片描述

查看不同专题的XPath

/html/body/div[3]/div/div[3]/div[1]/div[1]/div[2]/div/div/ul/li[1]/a

/html/body/div[3]/div/div[3]/div[1]/div[1]/div[2]/div/div/ul/li[2]/a

利用上述结果，可以看到li[index]中index为专题序列。因此可以构建Xpath列表如下：

item_selector = response.xpath(‘/html/body/div[3]/div/div[3]/div[1]/div[1]/div[2]/div/div/ul/li/a/@href’)

  1. 利用开发者工具，可以查看下一页的URL，拷贝相应XPath用于爬取下一页内容。

在这里插入图片描述

查看“下一页”的XPath

/html/body/div[3]/div/div[3]/div[1]/div[2]/div/a[5]

因此可以构建如下XPath：

next_selector = response.xpath(‘//a[@class=“next”]’)

  1. 点击进入专题，可以看到具体图片，通过查看图片XPath，用于获取图片地址。

在这里插入图片描述

构建图片XPath

response.xpath(‘/html/body/div[3]/div/div[2]/div/div[2]/div[1]/div/a/img/@src’).extract_first()

  1. 可以通过标题和图片序列构建图片名。

在这里插入图片描述

在这里插入图片描述

利用序号XPath构建图片在列表中的序号

index = response.xpath(‘/html/body/div[3]/div/div[2]/div/div[1]/div[1]/span/text()’).extract_first()

利用标题XPath构建图片标题

title = response.xpath(‘/html/body/div[3]/div/div[2]/div/div[1]/div[1]/h1/text()’).extract_first()

利用图片标题title和序号index构建图片名

name = title + ‘_’ + index + ‘.jpg’

  1. 同时可以看到，在专题页面下，包含了多张图片，可以通过点击“下一张”按钮来获取下一页面URL，此处为了简化爬取过程，可以通过观察URL规律来构建每一图片详情页的URL，来下载图片。

在这里插入图片描述

第一张图片详情页地址

http://www.win4000.com/wallpaper_detail_45401.html

第二张图片详情页地址

http://www.win4000.com/wallpaper_detail_45401_2.html

因此可以通过首页地址和图片序号来构建每一张图片详情页地址。

第一张图片详情页地址

first_url = response.url

图片总数

num = response.xpath(‘/html/body/div[3]/div/div[2]/div/div[1]/div[1]/em/text()’).extract_first()

num = int(num)

for i in range(2,num+1):

next_url = ‘.’.join(first_url.split(‘.’)[:-1]) + ‘_’ + str(i) + ‘.html’

定义Item字段（Items.py）

本项目用于下载图片，因此可以仅构建图片名和图片地址字段。

win4000/win4000/items.py

import scrapy

class Win4000Item(scrapy.Item):

define the fields for your item here like:

name = scrapy.Field()

url = scrapy.Field()

name = scrapy.Field()

编写爬虫文件(pictures.py)

代码详解见代码注释。

win4000/win4000/spiders/pictures.py

import scrapy

from win4000.items import Win4000Item

from urllib import parse

import time

class PicturesSpider(scrapy.Spider):

name = ‘pictures’

allowed_domains = [‘win4000.com’]

start_urls = [‘http://www.win4000.com/zt/fengjing.html’]

start_urls = [‘http://www.win4000.com/zt/fengjing.html’]

cookie用于模仿浏览器行为

cookie={

“t”:“29b7c2a8d2bbf060dc7b9ec00e75a0c5”,

“r”:“7957”,

“UM_distinctid”:“178c933b40e9-08430036bca215-7e22675c-1fa400-178c933b40fa00”,

“CNZZDATA1279564249”:“1468742421-1618282415-%7C1618282415”,

“XSRF-TOKEN”:“eyJpdiI6Ik8rbStsK1Fwem5zR2YzS29ESlI2dmc9PSIsInZhbHVlIjoiaDl5bXp5b1VvWmdSYklWWkEwMWJBK0FaZG9OaDA1VGQ2akZ0RDNISWNDM0hnOW11Q0JTVDZFNlY4cVwvSTBjQlltUG9tMnFUcWd5MzluUVZ0NDBLZlJuRWFuaVF0U3k0XC9CU1dIUzJybkorUEJ3Y2hRZTNcL0JqdjZnWjE5SXFiNm8iLCJtYWMiOiI2OTBjOTkzMTczYWQwNzRiZWY5MWMyY2JkNTQxYjlmZDE2OWUyYmNjNDNhNGYwNDAyYzRmYTk5M2JhNjg5ZmMwIn0%3D”,

“win4000_session”:“eyJpdiI6Inc2dFprdkdMTHZMSldlMXZ2a1cwWGc9PSIsInZhbHVlIjoiQkZHVlNYWWlET0NyWWlEb2tNS0hDSXAwZGVZV05vTmY0N0ZiaFdTa1VRZUVqWkRmNWJuNGJjNkFNa3pwMWtBcFRleCt4SUFhdDdoYnlPMGRTS0dOR0tkdmVtVDhzUWdTTTc3YXpDb0ZPMjVBVGJzM2NoZzlGa045Qnl0MzRTVUciLCJtYWMiOiI2M2VmMTEyMDkxNTIwNmJjZjViYTg4MjIwZGIxNTlmZWUyMTJlYWZhNjk5ZmM0NzgyMTA3MWE4MjljOWY3NTBiIn0%3D”

}

def start_requests(self):

“”"

重构start_requests函数，用于发送带有cookie的请求，模仿浏览器行为

“”"

yield scrapy.Request(‘http://www.win4000.com/zt/fengjing.html’, callback=self.parse, cookies=self.cookie)

def parse(self,response):

获取下一页的选择器

next_selector = response.xpath(‘//a[@class=“next”]’)

for url in next_selector.xpath(‘@href’).extract():

url = parse.urljoin(response.url,url)

暂停执行，防止网页的反爬虫程序

time.sleep(3)

用于爬取下一页

yield scrapy.Request(url, cookies=self.cookie)

用于获取每一专题的选择器

item_selector = response.xpath(‘/html/body/div[3]/div/div[3]/div[1]/div[1]/div[2]/div/div/ul/li/a/@href’)

for item_url in item_selector.extract():

item_url = parse.urljoin(response.url,item_url)

#print(item_url)

time.sleep(3)

请求专题页面，并利用回调函数callback解析专题页面

yield scrapy.Request(item_url,callback=self.parse_item, cookies=self.cookie)

def parse_item(self,response):

“”"

用于解析专题页面

“”"

由于Scrapy默认并不会爬取重复页面，

因此需要首先构建首张图片实体，然后爬取剩余图片，

也可以通过使用参数来取消过滤重复页面的请求

首张图片实体

item = Win4000Item()

item[‘url’] = response.xpath(‘/html/body/div[3]/div/div[2]/div/div[2]/div[1]/div/a/img/@src’).extract_first()

index = response.xpath(‘/html/body/div[3]/div/div[2]/div/div[1]/div[1]/span/text()’).extract_first()

item[‘name’] = response.xpath(‘/html/body/div[3]/div/div[2]/div/div[1]/div[1]/h1/text()’).extract_first() + ‘_’ + index + ‘.jpg’

yield item

first_url = response.url

num = response.xpath(‘/html/body/div[3]/div/div[2]/div/div[1]/div[1]/em/text()’).extract_first()

num = int(num)

for i in range(2,num+1):

next_url = ‘.’.join(first_url.split(‘.’)[:-1]) + ‘_’ + str(i) + ‘.html’

请求其余图片，并用回调函数self.parse_detail解析页面

yield scrapy.Request(next_url,callback=self.parse_detail,cookies=self.cookie)

def parse_detail(self,response):

“”"

解析图片详情页面，构建实体

“”"

item = Win4000Item()

item[‘url’] = response.xpath(‘/html/body/div[3]/div/div[2]/div/div[2]/div[1]/div/a/img/@src’).extract_first()

index = response.xpath(‘/html/body/div[3]/div/div[2]/div/div[1]/div[1]/span/text()’).extract_first()

item[‘name’] = response.xpath(‘/html/body/div[3]/div/div[2]/div/div[1]/div[1]/h1/text()’).extract_first() + ‘_’ + index + ‘.jpg’

yield item

修改配置文件settings.py

修改win4000/win4000/settings.py中的以下项。

BOT_NAME = ‘win4000’

SPIDER_MODULES = [‘win4000.spiders’]

NEWSPIDER_MODULE = ‘win4000.spiders’

图片保存文件夹

IMAGES_STORE = ‘./result’

Crawl responsibly by identifying yourself (and your website) on the user-agent

用于模仿浏览器行为

USER_AGENT = ‘Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:87.0) Gecko/20100101 Firefox/87.0’

Obey robots.txt rules

ROBOTSTXT_OBEY = False

Configure a delay for requests for the same website (default: 0)

See https://docs.scrapy.org/en/latest/topics/settings.html#download-delay

See also autothrottle settings and docs

下载时延

DOWNLOAD_DELAY = 3

Disable cookies (enabled by default)

是否启用Cookie

COOKIES_ENABLED = True

Configure item pipelines

See https://docs.scrapy.org/en/latest/topics/item-pipeline.html

ITEM_PIPELINES = {

‘win4000.pipelines.Win4000Pipeline’: 300,

}

修改管道文件pipelines.py用于下载图片

修改win4000/win4000/pipelines.py文件。

from itemadapter import ItemAdapter

from scrapy.pipelines.images import ImagesPipeline

import scrapy

import os

from scrapy.exceptions import DropItem

class Win4000Pipeline(ImagesPipeline):

def get_media_requests(self, item, info):

下载图片，如果传过来的是集合需要循环下载

meta里面的数据是从spider获取，然后通过meta传递给下面方法：file_path

yield scrapy.Request(url=item[‘url’],meta={‘name’:item[‘name’]})

def item_completed(self, results, item, info):

是一个元组，第一个元素是布尔值表示是否成功

if not results[0][0]:

with open(‘img_error_name.txt’,‘a’) as f_name:

error_name = str(item[‘name’])

f_name.write(error_name)

f_name.write(‘\n’)

with open(‘img_error_url.txt’,‘a’) as f_url:

error_url = str(item[‘url’])

f_url.write(error_url)

f_url.write(‘\n’)

raise DropItem(‘下载失败’)
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

img

img

img

img

img

img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）

g](https://i-blog.csdnimg.cn/blog_migrate/ad7909a4730b780656545eb9552a5320.png)

img

img

img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）

img
相关阅读
  1. 如何查看和设置我的Android N设备的权限？
  2. 如何在安卓手机上自定义应用图标？
  3. 如何在安卓微信中同时听语音和查看图片？
  4. 华为哪些设备将支持升级至安卓7.0？
  5. 微信安卓软件中Q10功能有哪些独特之处？
  6. 安卓用户如何挑选最佳视频播放器应用？
  7. 安卓系统中用户文件目录的确切位置是什么？
  8. 小米4用户如何安全升级到安卓8.0系统？
  9. 如何成功将魅蓝5升级至安卓原生7.0版本？
  10. 16GB存储的安卓手机是否能满足日常需求？

广告一刻

为您即时展示最新活动产品广告消息，让您随时掌握产品活动新动态！