Python爬携程指定景点评论的用户、评论内容及时间(景点黄龙溪为例)

avatar
作者
筋斗云
阅读量:4

整个分享分为下面几个部分:

目录

1.导入所需的库

2.设定三个变量存储从爬取的评论数据中提取的信息

3.爬取指定页面数(total_pages)的评论数据。

4.设定postURL

6.找到景点的poild并填写在代码中

问题1:有时候Poild会被隐藏,所以可能需要多试几次。(或者新开一个浏览器窗口复制打开)

7.发送POST请求到指定的postUrl,并加载响应的JSON数据。

8.爬取评论接口数据,提取评论信息。

9.将评论数据转换为DataFrame格式,再保存为Excel文件

问题2:有955条评论的,但是只能爬到700多条,现下只能解决到这种程度了,求教希望知道怎么做的小伙伴)

下面为全部代码,如果你着急运行请直接点到这里。


1.导入所需的库

requests处理HTTP请求,json库处理JSON数据。导入数据分析工具Pandas,用于创建和操作DataFrame。导入tqdm用于创建进度条,提供可视化的进度显示。

import requests import json import pandas as pd from tqdm import tqdm
2.设定三个变量存储从爬取的评论数据中提取的信息

userNames:存储评论中的用户名信息。

commentDetails:存储评论的具体内容。

commentTimes:存储评论的时间信息。

在代码执行的过程中,针对每一条评论,程序会从评论数据中提取相应的用户名、评论内容和评论时间,然后将这些信息分别添加到对应的列表中。循环结束后,列表中将包含所有评论页面中提取的用户名、评论内容和评论时间的信息。

userNames = [] commentDetails = [] commentTimes = []
3.爬取指定页面数(total_pages)的评论数据。

total_pages=14:设置了要爬取的总页数为14页,即爬取14次评论页面。

total_pages = 14

forpagenintqdm(range(0,total_pages),desc='爬取进度',unit='页')使用for循环迭代爬取评论页面,range(0,total_pages)生成了一个包含0到total_pages-1的整数序列,每次迭代爬取一页评论。

payload:请求的参数,包含爬取评论所需的各种信息,如评论所属频道类型、是否折叠、评论标签等。参数会在每次循环中被传递给请求,以获取对应页面的评论数据。

postUrl:设置评论数据的请求链接。

这样,通过循环遍历,每次发送一个带有不同页码的请求,从而获取每页的评论数据。整个过程中,进度条显示当前爬取的进度。

for pagen in tqdm(range(0, total_pages), desc='爬取进度', unit='页'):     payload = {         "arg": {             "channelType": 2,             "collapseTpte": 0,             "commentTagId": 0,             "pageSize": 50,#需要自己更改的地方:自己设定每页爬多少条             "poiId": 81011,#需要自己更改的地方:为景点的信息,其他都可以直接复制             "sourseType": 1,             "sortType": 3,             "pageIndex": pagen,             "starType": 0         },         "head": {             "cid": "09031062417234242897",             "ctok": "",             "cver": "1.0",             "lang": "01",             "sid": "888",             "syscode": "09",             "auth": "",             "xsid": "",             "extension": []         }     }
4.设定postURL

postUrl是设定的评论数据请求链接,它是个URL。包含一些查询参数,用于定制请求的行为。

https://m.ctrip.com/restapi/soa2/13444/json/getCommentCollapseList指定请求路径和资源路径,告诉服务器我们想要获取评论的折叠列表,以JSON格式返回。

这里提供其他用途的url(某处截图到的,忘记来源了,侵删)

综合起来,postUrl指定了请求的服务端资源路径,并携带了一些参数,以获取携程网站上指定景点评论的折叠列表。

这里在(开Fn 按F12打开开发者工具)

网络——>找到第二个这个包 ——>负载内有一些我们需要的信息

6.找到景点的poild并填写在代码中

关键来了!!!!!!!!!!!我们要找到景点的poild,这是我们找到那个景点的关键!!(poild需要填写的地方在上面那段代码里,已标注)

那么我们如何找到Poild呢?

如果直接打开携程网站,找到景点黄龙溪,其页面会是这样的:

点开点评,发现点评的页面的网址是不改变的(翻页了也无法看到变化,那么就麻烦了,这个页面我无法实现爬取,所以另辟蹊径了哈)

回归到我们说找Poild的问题,请打开下面这个网址:

携程旅行-酒店预订,机票预订查询,旅游度假,商旅管理-携程无线官网

打开是这样的页面:

请在搜索框输入黄龙溪,点开这个链接(黄龙溪 热门景点)

页面是这样的,这里就出现了该景点的poild为81011。

点开点评链接。

点开之后呈现的页面如图,然后你往下翻之后发现是动态页面,向下滑动评论才会一条条蹦出来。

第二个可以获得poild的地方(有时要多试几次)(上面的看了,这里可以不看)

看到上面那行网址了吧,poild值在那段里面,你复制一下它:

【携程攻略】携程旅游攻略,自助游,自驾游,出游,自由行攻略指南 (ctrip.com)

它有点乱糟糟的,我们打开站长来解下码:

解码网址:UrlEncode编码/UrlDecode解码 - 站长工具

成功的情况:

恭喜你完成主线任务!

问题1:有时候Poild会被隐藏,所以可能需要多试几次。(或者新开一个浏览器窗口复制打开)

这种是被隐藏的情况,url中没有出现poild:

主要讲解部分结束了,后面基本不需要做改动了。

7.发送POST请求到指定的postUrl,并加载响应的JSON数据。

requests.post(postUrl,data=json.dumps(payload)):使用requests库发送POST请求到指定的postUrl。

data=json.dumps(payload)将Python字典payload转换成JSON格式的字符串,并将其作为请求的数据发送给服务器。

.text:获取服务器响应的内容,这里是评论数据的JSON字符串。

html_1=json.loads(html):将获取的JSON字符串转换为Python对象。json.loads()函数用于解析JSON字符串,将其转换为相应的Python数据结构,存储在变量html_1中。

综合起来,向指定的携程网站评论数据接口发送请求,并将得到的JSON数据加载为Python对象。

    html = requests.post(postUrl, data=json.dumps(payload)).text     html_1 = json.loads(html)
8.爬取评论接口数据,提取评论信息。

检查携程网站评论数据接口返回的JSON数据中是否包含名为'items'的键。如果存在,说明有评论数据可供提取。接着,通过遍历commentItems列表,将每一条评论的相关信息提取并添加到对应的列表中(userNames、commentDetails和commentTimes)。

代码解析:

if'items'inhtml_1["result"]检查JSON数据中是否包含"items"键。如果存在,说明有评论数据可供提取,进入下一步处理。

commentItems=html_1["result"]["items"]:将评论数据提取出来,存储在commentItems变量中。这是一个列表,每个元素代表一条评论。

foriinrange(0,len(commentItems))遍历评论数据列表,处理每一条评论。

ifcommentItems[i]isnotNoneand'userInfo'incommentItems[i]and'userNick'incommentItems[i]['userInfo']::在访问元素之前检查当前评论项是否不为None,并且该评论项包含'userInfo'键和'userNick'键。这是为了确保评论数据中包含用户信息,并且该用户信息中包含用户名。将提取的用户名、评论内容和评论时间分别添加到userNames、commentDetails和commentTimes列表中。

    # 检查响应中是否存在'items'     if 'items' in html_1["result"]:         commentItems = html_1["result"]["items"]          for i in range(0, len(commentItems)):             # 在访问元素之前检查当前项是否不为None             if commentItems[i] is not None and 'userInfo' in commentItems[i] and 'userNick' in commentItems[i]['userInfo']:                 userName = commentItems[i]['userInfo']['userNick']                 commentDetail = commentItems[i]['content']                 commentTime = commentItems[i]['publishTypeTag']                  userNames.append(userName)                 commentDetails.append(commentDetail)                 commentTimes.append(commentTime)
9.将评论数据转换为DataFrame格式,再保存为Excel文件
# 创建 DataFrame df = pd.DataFrame({     '用户评论内容': commentDetails,     '用户名': userNames,     '用户评论时间': commentTimes })  # 保存到 Excel 文件 df.to_excel('只爬黄龙溪评论1223url.xlsx', index=False, encoding='utf-8')

获得的信息有700条,保存为excel文件。

问题2:有955条评论的,但是只能爬到700多条,现下只能解决到这种程度了,求教希望知道怎么做的小伙伴)

下面为全部代码,如果你着急运行请直接点到这里。
import requests import json import pandas as pd from tqdm import tqdm  userNames = [] commentDetails = [] commentTimes = []  total_pages = 14  for pagen in tqdm(range(0, total_pages), desc='爬取进度', unit='页'):     payload = {         "arg": {             "channelType": 2,             "collapseTpte": 0,             "commentTagId": 0,             "pageSize": 50,             "poiId": 81011,#需要自己更改的地方 为景点的信息 其他都可以直接复制             "sourseType": 1,             "sortType": 3,             "pageIndex": pagen,             "starType": 0         },         "head": {             "cid": "09031062417234242897",             "ctok": "",             "cver": "1.0",             "lang": "01",             "sid": "888",             "syscode": "09",             "auth": "",             "xsid": "",             "extension": []         }     }     postUrl = "https://m.ctrip.com/restapi/soa2/13444/json/getCommentCollapseList"      html = requests.post(postUrl, data=json.dumps(payload)).text     html_1 = json.loads(html)      # 检查响应中是否存在'items'     if 'items' in html_1["result"]:         commentItems = html_1["result"]["items"]          for i in range(0, len(commentItems)):             # 在访问元素之前检查当前项是否不为None             if commentItems[i] is not None and 'userInfo' in commentItems[i] and 'userNick' in commentItems[i]['userInfo']:                 userName = commentItems[i]['userInfo']['userNick']                 commentDetail = commentItems[i]['content']                 commentTime = commentItems[i]['publishTypeTag']                  userNames.append(userName)                 commentDetails.append(commentDetail)                 commentTimes.append(commentTime)  # 创建 DataFrame df = pd.DataFrame({     '用户评论内容': commentDetails,     '用户名': userNames,     '用户评论时间': commentTimes })  # 保存到 Excel 文件 df.to_excel('只爬黄龙溪评论1223url.xlsx', index=False, encoding='utf-8') 

小白写文,有问题请多多指教。

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!