怎么用python爬取多个网页内容

要用Python爬取多个网页内容，可以使用requests库来发送HTTP请求，然后使用BeautifulSoup库来解析HTML页面。以下是一个示例代码，用于爬取多个网页的标题和正文内容：

import requests from bs4 import BeautifulSoup  # 定义要爬取的多个网页URL列表 urls = [     'http://www.example.com/page1',     'http://www.example.com/page2',     'http://www.example.com/page3' ]  for url in urls:     # 发送HTTP GET请求获取网页内容     response = requests.get(url)      # 使用BeautifulSoup解析HTML页面     soup = BeautifulSoup(response.content, 'html.parser')      # 获取网页标题     title = soup.title.string      # 获取网页正文内容     content = soup.find('body').get_text()      # 打印网页标题和正文内容     print('标题:', title)     print('正文内容:', content) 

上述代码中，首先定义了要爬取的多个网页URL列表。然后使用循环遍历每个URL，发送HTTP GET请求获取网页内容。接着使用BeautifulSoup库解析HTML页面，获取网页标题和正文内容。最后打印出标题和正文内容。

请注意，代码中使用的是requests库来发送HTTP请求，所以需要先安装这个库。可以使用pip命令进行安装：

pip install requests 

同样地，还需要安装BeautifulSoup库：

pip install beautifulsoup4 

需要根据自己的需求对代码进行适当的修改，例如处理异常、保存数据等。