怎么用python爬取网页内的指定内容

avatar
作者
猴君
阅读量:0

要用Python爬取网页内的指定内容,可以使用第三方库 requests 和 BeautifulSoup。以下是一个示例代码,用于爬取指定网页内的标题和正文内容:

import requests from bs4 import BeautifulSoup  # 指定要爬取内容的网页链接 url = 'https://example.com'  # 发起GET请求获取网页内容 response = requests.get(url)  # 使用BeautifulSoup解析网页内容 soup = BeautifulSoup(response.text, 'html.parser')  # 获取网页标题 title = soup.title.text print('网页标题:', title)  # 获取正文内容 content = soup.find('div', class_='content').text print('正文内容:', content) 

在上面的代码中,我们首先指定要爬取内容的网页链接,并使用 requests 库发起 GET 请求来获取网页内容。然后使用 BeautifulSoup 库解析网页内容,根据网页的HTML结构找到对应的标签和类名来获取标题和正文内容。最后打印出获取到的标题和正文内容。

需要注意的是,要根据具体的网页结构和内容来修改代码中的选择器,确保能正确地获取到指定的内容。

    广告一刻

    为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!