python怎么爬取js加载的数据

avatar
作者
猴君
阅读量:1

要爬取JavaScript加载的数据,可以使用Selenium库来模拟浏览器操作并渲染JavaScript。

下面是一个使用Selenium库的示例代码来爬取JavaScript加载的数据:

from selenium import webdriver  # 使用Chrome浏览器驱动 driver = webdriver.Chrome()  # 打开目标网页 driver.get("https://example.com")  # 使用driver来执行JavaScript代码获取页面数据 data = driver.execute_script("return document.documentElement.outerHTML")  # 关闭浏览器驱动 driver.quit()  print(data) 

在上面的示例代码中,我们使用了Selenium库的webdriver模块来创建一个Chrome浏览器驱动,并打开了目标网页。然后使用execute_script方法执行JavaScript代码,获取到页面数据。最后关闭浏览器驱动并打印出获取到的数据。

需要注意的是,使用Selenium库爬取数据需要安装对应浏览器的驱动,比如Chrome浏览器需要下载Chrome驱动并配置环境变量。

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!