阅读量:0
安装环境
pip install scrapy
发现Twisted版本不匹配
卸载pip uninstall Twisted
安装
pip install Twisted==22.10.0
新建scrapy项目
scrapy startproject 项目名
注意：项目名称不允许使用数字开头，也不能包含中文
eg: scrapy startproject scrapy_baidu_01
创建爬虫文件
要在spiders文件夹中去创建爬虫文件
切换路径：cd .\scrapy_baidu_01\scrapy_baidu_01\spiders\
scrapy genspider 爬虫文件的名字 要爬取网页
scrapy genspider baidu www.baidu.com
import scrapy class BaiduSpider(scrapy.Spider): # 爬虫的名字 用于运行爬虫的时候 使用的值 name = "baidu" # 允许访问的域名 allowed_domains = ["www.baidu.com"] # 起始的url地址 指的是第一次要访问的域名 start_urls = ["https://www.baidu.com"] def parse(self, response): pass 注意反爬：把这行代码注释掉settings.py
# ROBOTSTXT_OBEY = True（注释掉改行，不遵守robots协议，通常不用遵守）
运行爬虫代码
scrapy crawl baidu
项目结构
汽车之家案例
import scrapy class CarSpider(scrapy.Spider): name = "car" allowed_domains = ["www.autohome.com.cn"] start_urls = ["https://www.autohome.com.cn/price/brandid_15"] def parse(self, response): name_list = response.xpath('//div[@class="tw-mt-1 tw-px-4"]/a/text()') price_list = response.xpath('//div[@class="tw-mt-1 tw-px-4"]/p/text()') for i in range(len(name_list)): name = name_list[i].extract() price = price_list[i].extract() print(name, price) 
scrapy工作原理
当当网爬取数据
管道封装、开启多条管道、多页下载
items.py
import scrapy class ScrapyDangdang04Item(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # 图片 src = scrapy.Field() # 名称 name = scrapy.Field() # 价格 price = scrapy.Field() # passpipelines.py
# 解决文件频繁打开的场景 # 如果想使用管道的话，就必须在settings.xml开启管道 class ScrapyDangdang04Pipeline: def open_spider(self, spider): # 使用w模式就行 # 因为只打开但没关 self.fp = open('book.json', 'w', encoding='utf-8') # item就是yield后面的对象book def process_item(self, item, spider): # （1）write方法里面需要是字符串 # （2）w模式 会每一个对象都打开一次文件 覆盖之前的内容 # （3）所以使用a模式追加模式，不推荐 # with open('book.json', 'w', encoding='utf-8') as fp: # fp.write(str(item)) self.fp.write(str(item)) return item def close_spider(self, spider): self.fp.close() import urllib.request # 多条管道开启 # 在settings.py开启管道 class DangDangDownloadPineline: def process_item(self, item, spider): url = 'http:' + item.get('src') filename = './books/' + item.get('name') + '.jpg' urllib.request.urlretrieve(url=url, filename=filename) return item settings.py
ITEM_PIPELINES = { # 管道可以有多个 管道有优先级 值越小 优先级越高 优先级范围0~1000 "scrapy_dangdang_04.pipelines.ScrapyDangdang04Pipeline": 300, "scrapy_dangdang_04.pipelines.DangDangDownloadPineline": 301, }dang.py
import scrapy from scrapy_dangdang_04.items import ScrapyDangdang04Item class DangSpider(scrapy.Spider): name = "dang" # 一般情况下，我们要调整domains范围，只写域名就可以了 allowed_domains = ["category.dangdang.com"] start_urls = ["https://category.dangdang.com/cp01.01.02.00.00.00.html"] # 多页下载数据 初始化url base_url = 'https://category.dangdang.com/pg' page = 1 def parse(self, response): # pipelines管道 # items下载数据 # src=//ul[@id="component_59"]//li//img/@src # alt=//ul[@id="component_59"]//li//img/@alt # price=//ul[@id="component_59"]//li//p[@class="price"]//span[1]/text() # 所有selector对象都可以再次调用xpath方法 li_list = response.xpath('//ul[@id="component_59"]//li') for li in li_list: # 图片做了懒加载 # 需要将src改为data-original src = li.xpath('.//img/@data-original').extract_first() # 注意第一张图片和其他图片是不一样的属性 # 第一张图片使用src，其他图片使用data-original if src: src = src else: src = li.xpath('.//img/@src').extract_first() name = li.xpath('.//img/@alt').extract_first() price = li.xpath('.//p[@class="price"]//span[1]/text()').extract_first() # print(src, name, price) book = ScrapyDangdang04Item(src=src, name=name, price=price) # 获取一个book就将book交给pipelines yield book # 每一页爬取的业务逻辑都是一样 # 所以我们只需要将执行那个页的请求再次调用parse方法就可以了 # https://category.dangdang.com/pg2-cp01.01.02.00.00.00.html 第2页 # https://category.dangdang.com/pg3-cp01.01.02.00.00.00.html 第3页 # https://category.dangdang.com/pg4-cp01.01.02.00.00.00.html 第4页 if self.page < 6: self.page = self.page + 1 url = self.base_url + str(self.page) + 'cp01.01.02.00.00.00.html' # 怎么调用parse方法 # scrapy.Request就是scrapy的get请求 # url就是请求地址 # callback就是要执行的函数，注意不需要加括号 yield scrapy.Request(url=url, callback=self.parse()) 结果爬虫出60条数据
{ 'name': ' 那个不为人知的故事', 'price': '¥39.10', 'src': '//img3m2.ddimg.cn/46/8/29124262-1_b_5.jpg' }{ 'name': ' 朝俞（全2册） 限定正面白版护封+背面黑版护封套装 原名伪装学渣 青春畅销小说实体书', 'price': '¥79.60', 'src': '//img3m9.ddimg.cn/16/20/29579929-1_b_2.jpg' }{ 'name': ' 大哥（套装共2册）', 'price': '¥59.50', 'src': '//img3m8.ddimg.cn/72/12/23945598-1_b_1706687985.jpg' }{ 'name': ' 偏偏宠爱', 'price': '¥59.80', 'src': '//img3m1.ddimg.cn/86/23/28523471-1_b_6.jpg' }{ 'name': ' 人鱼陷落4（当当专享电子屏保，限时印特签，畅销书作者麟潜口碑代表作！）', 'price': '¥52.80', 'src': '//img3m2.ddimg.cn/92/32/29689202-1_b_1714458199.jpg' }{ 'name': ' 可爱过敏原：全2册（人气作家稚楚温馨之作。随书附赠多重主题赠品）', 'price': '¥103.50', 'src': '//img3m6.ddimg.cn/5/16/29629616-1_b_1713412892.jpg' }{ 'name': ' 人鱼陷落3（长佩原创人气文学，高人气作者麟潜口碑代表作！）', 'price': '¥51.70', 'src': '//img3m7.ddimg.cn/39/6/29634897-1_b_1703060622.jpg' }{ 'name': ' 人鱼陷落全四册（畅销书作者麟潜口碑代表作！）', 'price': '¥207.00', 'src': '//img3m7.ddimg.cn/72/26/29689677-1_b_1708488434.jpg' }{ 'name': ' 朝俞1+2套装（全2册）', 'price': '¥79.60', 'src': '//img3m1.ddimg.cn/82/1/29397241-1_b_1.jpg' }{ 'name': ' 吾乡有情人（李现、周雨彤主演影视剧《春色寄情人》原著小说，桀骜遗体整容师VS霸气医疗销售，演绎熟龄男女的极致拉扯和双向救', 'price': '¥68.40', 'src': '//img3m6.ddimg.cn/18/36/29690316-1_b_1714982275.jpg' }{ 'name': ' 退烧（全二册）舒虞浪漫新作', 'price': '¥69.80', 'src': '//img3m7.ddimg.cn/27/35/29299077-1_b_6.jpg' }{ 'name': ' 你失信了', 'price': '¥39.80', 'src': '//img3m7.ddimg.cn/20/2/29485487-1_b_4.jpg' }{ 'name': ' 偷偷藏不住（全二册） 晋江金榜 赵露思、陈哲远 主演 影视原著 桑稚VS段嘉许 言情大神竹已难哄奶油味暗恋', 'price': '¥59.80', 'src': '//img3m6.ddimg.cn/25/7/28525786-1_b_7.jpg' }{ 'name': ' 人鱼陷落（高人气作者麟潜口碑代表作！）', 'price': '¥51.70', 'src': '//img3m3.ddimg.cn/2/32/29411813-1_b_5.jpg' }{ 'name': ' 骄阳似我（下）', 'price': '¥36.00', 'src': '//img3m3.ddimg.cn/71/16/29687003-1_b_1713320766.jpg' }{ 'name': ' 蔷薇信号（亲签版）双女主青春成长短篇故事集', 'price': '¥41.20', 'src': '//img3m8.ddimg.cn/98/8/29570408-1_b_1699842163.jpg' }{ 'name': ' 人鱼陷落2（高人气作者麟潜口碑代表作！）', 'price': '¥51.70', 'src': '//img3m0.ddimg.cn/33/12/29510250-1_b_3.jpg' }{ 'name': ' 他最野了（全2册）曲小蛐代表作', 'price': '¥68.00', 'src': '//img3m8.ddimg.cn/39/16/29150688-1_b_1689332684.jpg' }{ 'name': ' 苍兰诀 （当当专享人气画手眠狼绘制印刷海报）九鹭非香', 'price': '¥37.00', 'src': '//img3m5.ddimg.cn/60/22/29171895-1_b_21.jpg' }{ 'name': ' 微微一笑很倾城', 'price': '¥36.00', 'src': '//img3m6.ddimg.cn/74/29/29433566-1_b_1713236624.jpg' }{ 'name': ' 青：陪安东尼度过漫长岁月5', 'price': '¥47.00', 'src': '//img3m4.ddimg.cn/8/35/29381624-1_b_14.jpg' }{ 'name': ' 美滋滋（全2册）', 'price': '¥47.50', 'src': '//img3m3.ddimg.cn/49/20/29291773-1_b_1704784675.jpg' }{ 'name': ' 与岁长宁.下册.完结篇（超人气追光救赎古言《嫁反派》。新增未公开番外13000字。你是我的夫君，不是怪物。你只是不能像爱', 'price': '¥48.00', 'src': '//img3m7.ddimg.cn/32/14/29580737-1_b_1694066771.jpg' }{ 'name': ' 元气少女缘结神：鞍马山夜话（甜蜜少女系漫画官方中文纪念版首次上市！）', 'price': '¥30.50', 'src': '//img3m5.ddimg.cn/40/5/24165445-1_b_18.jpg' }{ 'name': ' 红酒绿【限量亲签版+定制十二月情话贴纸+情头贴纸】苏他', 'price': '¥39.80', 'src': '//img3m1.ddimg.cn/5/13/29526161-1_b_1702439623.jpg' }{ 'name': ' 蓝：陪安东尼度过漫长岁月VI（首发加赠当当限定赠品：PET菲林胶片x2张）陪安系列的15年暖心陪伴', 'price': '¥47.00', 'src': '//img3m5.ddimg.cn/92/34/29554265-1_b_1691727485.jpg' }{ 'name': ' 骄阳似我（上下 两册套装）', 'price': '¥72.00', 'src': '//img3m4.ddimg.cn/72/17/29687004-1_b_1711521722.jpg' }{ 'name': ' 来我怀里躲躲【限量亲签版+定制向你靠近时钟透卡】岁见', 'price': '¥64.90', 'src': '//img3m5.ddimg.cn/77/4/29513165-1_b_1.jpg' }{ 'name': ' 《尤物》新锐人气作者二喜口碑代表作！穷追不舍总裁周易vs清冷美艳公关姜迎，十年暗恋，双向救赎，势均力敌，炙热沦陷！明知道', 'price': '¥45.00', 'src': '//img3m2.ddimg.cn/29/0/29559152-1_b_1709519251.jpg' }{ 'name': ' 与岁长宁.上册（追光救赎/高口碑古言《嫁反派》娇娇贵女x乖张美强惨“反派”男主，她是他心尖上的善念，是刻在他伤痕上的名字', 'price': '¥48.00', 'src': '//img3m5.ddimg.cn/20/2/29580725-1_b_1710384827.jpg' }{ 'name': ' 单恋轨道（亲签版）艾鱼继《藏夏》之后再出青春暗恋之作', 'price': '¥42.00', 'src': '//img3m1.ddimg.cn/14/32/29628041-1_b_1702025455.jpg' }{ 'name': ' 可爱多少钱一斤（共2册）', 'price': '¥42.90', 'src': '//img3m1.ddimg.cn/80/29/25574651-1_b_4.jpg' }{ 'name': ' 我不喜欢这世界，我只喜欢你修订版 乔一 畅销百万册！由吴倩张雨剑主演的超甜电视剧我只喜欢你原著小说', 'price': '¥37.00', 'src': '//img3m6.ddimg.cn/64/10/27859456-1_b_9.jpg' }{ 'name': ' 顾小姐和曲小姐【赠：双熙写真签名照*1+影后盛典镭射票*1】（晚之著优质都市娱乐圈女性互助向励志作品）', 'price': '¥49.80', 'src': '//img3m3.ddimg.cn/50/33/29496803-1_b_3.jpg' }{ 'name': ' 娱乐圈是我的，我是你的 全3册 随机特签（许摘星x岑风，谢谢我的那束光，我永远爱你）', 'price': '¥70.00', 'src': '//img3m9.ddimg.cn/69/33/29161509-1_b_3.jpg' }{ 'name': ' 《你是长夜，也是灯火》典藏版', 'price': '¥48.00', 'src': '//img3m3.ddimg.cn/69/1/29686803-1_b_1706770978.jpg' }{ 'name': ' 橘子汽水（独家定制阿司匹林电子签名数字藏品——白城“舟渔”签名卡）', 'price': '¥44.10', 'src': '//img3m7.ddimg.cn/76/29/29619787-1_b_1693974706.jpg' }{ 'name': ' 旧梦1913（当当专享刷边特签版）沈鱼藻著', 'price': '¥36.80', 'src': '//img3m9.ddimg.cn/93/8/29597529-1_b_1688546895.jpg' }{ 'name': ' 草木生', 'price': '¥33.40', 'src': '//img3m8.ddimg.cn/52/33/29162878-1_b_1712107816.jpg' }{ 'name': ' 一级律师 木苏里 全球高考作家木苏里又一口碑之作 纯爱都市 收录番外 强强联手', 'price': '¥54.80', 'src': '//img3m5.ddimg.cn/19/13/28554985-1_b_6.jpg' }{ 'name': ' 晋江人气作者木羽愿高口碑双向奔赴代表作《纵我情深》破镜重圆vs蓄谋已久，全文高甜！新增出版番外《婚后生活》，续写“傅姜夫', 'price': '¥45.00', 'src': '//img3m5.ddimg.cn/10/21/29549035-1_b_3.jpg' }{ 'name': ' 暗恋这件难过的小事', 'price': '¥39.80', 'src': '//img3m3.ddimg.cn/72/14/29502963-1_b_1.jpg' }{ 'name': ' 白桃乌龙（全2册）', 'price': '¥64.90', 'src': '//img3m6.ddimg.cn/31/36/29342146-1_b_1700024542.jpg' }{ 'name': ' 炽野（全2册）【定制Q版贴纸】', 'price': '¥55.60', 'src': '//img3m8.ddimg.cn/73/21/29372878-1_b_4.jpg' }{ 'name': ' 逐风完结篇 （网络原名：校草太霸道了怎么破）', 'price': '¥46.30', 'src': '//img3m2.ddimg.cn/72/35/29597112-1_b_1688460724.jpg' }{ 'name': ' 《别来无恙》晋江文学城畅销书作家 北南 经典虐心作品原著同名漫画 破镜重圆天花板', 'price': '¥45.00', 'src': '//img3m9.ddimg.cn/97/20/29490019-1_b_3.jpg' }{ 'name': ' 冬天请与我恋爱【定制初雪海报】', 'price': '¥42.80', 'src': '//img3m7.ddimg.cn/33/22/29509557-1_b_1.jpg' }{ 'name': ' 逐风 （网络原名：校草太霸道了怎么破）', 'price': '¥46.30', 'src': '//img3m4.ddimg.cn/65/16/29597204-1_b_1688460528.jpg' }{ 'name': ' 《阿也（全二册）》刷边典藏版 我喜欢你的信息素 引路星 全新番外', 'price': '¥79.60', 'src': '//img3m5.ddimg.cn/23/20/29673095-1_b_1704161259.jpg' }{ 'name': ' 濯枝（全2册）咬枝绿', 'price': '¥69.80', 'src': '//img3m8.ddimg.cn/42/2/29482638-1_b_1692858478.jpg' }{ 'name': ' 青+蓝：陪安东尼度过漫长岁月V+VI 双册套装', 'price': '¥94.10', 'src': '//img3m9.ddimg.cn/98/7/29555459-1_b_1.jpg' }{ 'name': ' 如果月亮有秘密（全2册）春风榴火作品，网络原名：反派大佬让我重生后救他', 'price': '¥64.90', 'src': '//img3m6.ddimg.cn/88/23/29361706-1_b_1709096502.jpg' }{ 'name': ' 等风轻抚你（全二册）（网络原名《等风热吻你》）', 'price': '¥59.80', 'src': '//img3m2.ddimg.cn/80/20/28971242-1_b_3.jpg' }{ 'name': ' 一级律师2 木苏里 纯爱都市 公理定下，正义不朽', 'price': '¥54.80', 'src': '//img3m4.ddimg.cn/21/4/28983954-1_b_1706002794.jpg' }{ 'name': ' 狼行成双（一个冷漠少言，一个热情豪放，两个逗比相爱相杀，蠢萌蠢萌的兄弟情！悦读纪）', 'price': '¥53.00', 'src': '//img3m9.ddimg.cn/85/20/23691379-1_b_1701672854.jpg' }{ 'name': ' 他的小仙女1+2（套装全两册）', 'price': '¥68.40', 'src': '//img3m6.ddimg.cn/73/14/26436736-1_b_2.jpg' }{ 'name': ' 江海不渡【限量特签版，定制小世界贴纸+初雪拍立得】人气作家吕亦涵代表作', 'price': '¥39.80', 'src': '//img3m7.ddimg.cn/21/35/29549937-1_b_1709179306.jpg' }{ 'name': ' 宁愿（全2册）', 'price': '¥69.80', 'src': '//img3m5.ddimg.cn/92/21/29246375-1_b_21.jpg' }{ 'name': ' 今日晴', 'price': '¥39.80', 'src': '//img3m2.ddimg.cn/44/12/29492342-1_b_1712457271.jpg' }{ 'name': ' 隐婚（艳光四射的“钓系”美人vs声名显赫的偏执少爷，高人气作家半截白菜“追妻”系列全新力作）', 'price': '¥68.40', 'src': '//img3m2.ddimg.cn/75/31/29565732-1_b_1.jpg' }电影天堂爬取数据
items.py
import scrapy class ScrapyMovie05Item(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() name = scrapy.Field('') src = scrapy.Field('') pass settings,py
ITEM_PIPELINES = { "scrapy_movie_05.pipelines.ScrapyMovie05Pipeline": 300, }pipelines.py
class ScrapyMovie05Pipeline: def open_spider(self, spider): self.fp = open('movie.json', 'w', encoding='utf-8') def process_item(self, item, spider): self.fp.write(str(item)) return item def close_spider(self, spider): self.fp.close()mv.py
get请求使用scrapy.Request
import scrapy from scrapy_movie_05.items import ScrapyMovie05Item class MvSpider(scrapy.Spider): name = "mv" allowed_domains = ["dytt8.net"] start_urls = ["https://dytt8.net/html/gndy/china/index.html"] def parse(self, response): # 要第一页的名字 和第2页的图片 a_list = response.xpath('//div[@class="co_content8"]//td[2]//a[2]') for a in a_list: # 获取第一页的名字和要点击的链接 name = a.xpath('./text()').extract_first() href = a.xpath('./@href').extract_first() # print(name, href) # 第二页的地址 url = 'https://dytt8.net/' + href # print(url) # 对第二页的链接进行访问 yield scrapy.Request(url=url, callback=self.parse_second, meta={'name': name}) pass def parse_second(self, response): # 拿不到数据的情况下，需要检查xpath语法 src = response.xpath('//div[@id="Zoom"]//img/@src').extract_first() # print(src) # 接受到meta请求参数的值 name = response.meta['name'] # print(name) movie = ScrapyMovie05Item(name=name, src=src) yield movie movie.json
{'name': '2022年剧情悬疑《源生罪》BD粤语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2890623174.jpg'}{'name': '2024年剧情喜剧《摩登澡堂》HD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2875809295.jpg'}{'name': '2024年悬疑剧情《逃逸追踪》HD国语中字', 'src': 'https://i.endpot.com/image/2ZVFM/36.jpg'}{'name': '2023年动作《扎职2：江湖陌路》BD国粤双语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2899543296.jpg'}{'name': '2024年喜剧《前途海量》HD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908206665.jpg'}{'name': '2024年剧情悬疑《迅兽》HD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908064393.jpg'}{'name': '2024年奇幻《林都奇谭》HD国语中字', 'src': 'https://i.endpot.com/image/Y2ZAW/XQG5p.jpg'}{'name': '2024年爱情奇幻《金牌河东狮吼》HD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908011240.jpg'}{'name': '2024年动作《2024年动作《新龙门客栈之英雄觉醒》HD国语中字》HD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908297819.jpg'}{'name': '2024年动作《血悬棺》HD国语中字', 'src': 'https://i.endpot.com/image/OJPFF/LK5Hk.jpg'}{'name': '2023年爱情历史战争《天命玄女》HD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2895950467.jpg'}{'name': '2023年动作惊悚《鳄梦岛》HD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2896236229.jpg'}{'name': '2024年动作悬疑《借命人》HD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908493295.jpg'}{'name': '2024年剧情《彩虹线》HD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2902413934.jpg'}{'name': '2024年喜剧《东北狠人沙猩猩》HD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908465644.jpg'}{'name': '2024年恐怖喜剧《超神经械劫案下》BD国粤双语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2886145179.jpg'}{'name': '2023年喜剧《踢球吧少年》HD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2897496282.jpg'}{'name': '2023年剧情喜剧《热烈/惊叹号》BD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2895553074.jpg'}{'name': '2024年科幻悬疑《AR物语/莫杀我》HD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908432151.jpg'}{'name': '2024年科幻动作《变体》HD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2908505824.jpg'}{'name': '2024年动作《风速极战》HD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2877518474.jpg'}{'name': '2024年剧情《我们一起摇太阳》HD国语中字', 'src': 'https://img9.doubanio.com/view/photo/l_ratio_poster/public/p2904467472.jpg'}{'name': '2024年悬疑《枪不打四》HD国语中字', 'src': 'https://i.endpot.com/image/4V88C/beXUd.jpg'}{'name': '2024年爱情奇幻《狐王传说》HD国语中字', 'src': 'https://i.endpot.com/image/EXZOA/b2aau.jpg'}{'name': '2024年动作奇幻《异域狼孩》HD国语中字', 'src': 'https://i.endpot.com/image/JLPS1/XjYfj.jpg'}读书网爬取数据
创建爬虫文件：scrapy genspider -t crawl read https://www.dushu.com/book/1188.html
read.py
import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from scrapy_readbook_06.items import ScrapyReadbook06Item class ReadSpider(CrawlSpider): name = "read" allowed_domains = ["www.dushu.com"] start_urls = ["https://www.dushu.com/book/1188_1.html"] rules = (Rule(LinkExtractor(allow=r"/book/1188_\d+\.html"), callback="parse_item", follow=False), ) def parse_item(self, response): img_list = response.xpath('//div[@class="bookslist"]//img') for img in img_list: name = img.xpath('./@data-original').extract_first() src = img.xpath('./@alt').extract_first() book = ScrapyReadbook06Item(name=name, src=src) yield book items.py
import scrapy class ScrapyReadbook06Item(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() name = scrapy.Field() src = scrapy.Field() # passsettings.py
# Obey robots.txt rules # 不遵守robots协议 一般情况下不用遵守 # ROBOTSTXT_OBEY = True # 打开管道 ITEM_PIPELINES = { "scrapy_readbook_06.pipelines.ScrapyReadbook06Pipeline": 300, }pipelines.py
class ScrapyReadbook06Pipeline: def open_spider(self, spider): self.fp = open('book.json', 'w', encoding='utf-8') def process_item(self, item, spider): self.fp.write(str(item)) return item def close_spider(self, spider): self.fp.close() 数据入库
settings.xml
# 数据库配置信息 DB_HOST = '192.168.231.130' DB_PORT = 3306 DB_USER = 'root' DB_PASSWORD = 'root' DB_NAME = 'spider01' DB_CHARSET = 'utf8' # 配置管道 ITEM_PIPELINES = { "scrapy_readbook_06.pipelines.ScrapyReadbook06Pipeline": 300, # MysqlPipeline "scrapy_readbook_06.pipelines.MysqlPipeline": 301, }安装pymysql
pip install pymysql -i https://pypi.douban.com/simple
pipelines.py
# 加载settings配置文件 from scrapy.utils.project import get_project_settings import pymysql class MysqlPipeline: def open_spider(self, spider): settings = get_project_settings() self.host = settings['DB_HOST'] self.port = settings['DB_PORT'] self.user = settings['DB_USER'] self.password = settings['DB_PASSWORD'] self.name = settings['DB_NAME'] self.charset = settings['DB_CHARSET'] self.connect() def connect(self): self.conn = pymysql.connect( host=self.host, port=self.port, user=self.user, password=self.password, db=self.name, charset=self.charset ) self.cursor = self.conn.cursor() def process_item(self, item, spider): sql = 'insert into book(name,src) values ("{}","{}")'.format(item['name'], item['src']) # 执行sql语句 self.cursor.execute(sql) # 提交 self.conn.commit() return item def close_spider(self, spider): self.cursor.close() self.conn.close()read.py
import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from scrapy_readbook_06.items import ScrapyReadbook06Item class ReadSpider(CrawlSpider): name = "read" allowed_domains = ["www.dushu.com"] start_urls = ["https://www.dushu.com/book/1188_1.html"] rules = (Rule(LinkExtractor(allow=r"/book/1188_\d+\.html"), callback="parse_item", follow=True), ) def parse_item(self, response): img_list = response.xpath('//div[@class="bookslist"]//img') for img in img_list: name = img.xpath('./@data-original').extract_first() src = img.xpath('./@alt').extract_first() book = ScrapyReadbook06Item(name=name, src=src) yield book 这里的follow改为True表示不止爬取13页数据，继续跟进，按照提取连接规则进行提取
日志信息和等级
settings.py
# 指定日志级别 LOG_LEVEL = 'WARNING' # 指定日志文件 LOG_FILE = 'logdemo.log'scrapy中Post请求
注意使用FormRequest
testpost.py
import scrapy import json class TestpostSpider(scrapy.Spider): name = "testpost" allowed_domains = ["fanyi.baidu.com"] # post请求 如果没有参数 这个请求没有意义 # 所以这个start_urls没有用 # start_urls = ["https://fanyi.baidu.com/sug"] # # def parse(self, response): # pass def start_requests(self): url = 'https://fanyi.baidu.com/sug' data = { 'kw': 'final' } yield scrapy.FormRequest(url=url, formdata=data, callback=self.parse_second) def parse_second(self, response): content = response.text obj = json.loads(content, encoding='utf-8') print(obj) 