Python爬虫基础之Selenium详解_python selenium

avatar
作者
猴君
阅读量:0
   需要注意的是,如果你的 selenium 是`4.11.2`以上的版本,不需要设置`driver.exe`的路径,selenium 可以自己处理浏览器的驱动程序,因此代码直接改为`brower = webdriver.Chrome()`即可。      运行代码,得到下面的效果:   ![](https://img-blog.csdnimg.cn/5d6dd898d94f4396a6575c39a97c4e6a.png#pic_center)   ## 5. Selenium的元素定位     自动化工具要做的就是模拟鼠标和键盘来操作点击、输入等等元素,但是操作这些元素的前提是找到它们,WebDriver 提供了很多元素定位的方法:   * **根据标签 id 获取元素:** 

from selenium import webdriver
from selenium.webdriver.common.by import By

创建浏览器操作对象

path = ‘chromedriver.exe’

browser= webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

button = browser.find_element(By.ID, ‘su’)

button = browser.find_elements(By.ID, ‘su’)

print(button)

* **根据标签 name 属性的值获取元素:** 

button = browser.find_element(By.NAME, ‘wd’)
print(button)

* **根据 Xpath 语句获取元素;** 

button = browser.find_element(By.XPATH, ‘//input[@id=“su”]’)
print(button)

* **根据标签名获取元素:** 

button = browser.find_elements(By.TAG_NAME, ‘input’)
print(button)

* **根据 bs4 语法获取元素:** 

button = browser.find_elements(By.CSS_SELECTOR, ‘#su’)
print(button)

* **根据标签的文本获取元素(精确定位):** 

button = browser.find_elements(By.LINK_TEXT, ‘地图’)
print(button)

* **根据标签的文本获取元素(模糊定位):** 

button = browser.find_elements(By.PARTIAL_LINK_TEXT, ‘地’)
print(button)

* **根据 class 属性获取元素:** 

button = browser.find_element(By.CLASS_NAME, ‘wrapper_new’)
print(button)

    当我们定位到元素之后,自然就要考虑如何获取到元素的各种信息,selenium 给我们提供了获取元素不同信息的方法:   * **获取元素属性:** 

from selenium import webdriver
from selenium.webdriver.common.by import By

创建浏览器操作对象

path = ‘chromedriver.exe’

browser= webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

button = browser.find_element(By.ID, ‘su’)
print(input.get_attribute(‘class’))

* **获取元素标签名:** 

input = browser.find_element(By.ID, ‘su’)
print(input.tag_name)

* **获取元素文本:** 

input = browser.find_element(By.ID, ‘su’)
print(input.text)

* **获取元素位置:** 

input = browser.find_element(By.ID, ‘su’)
print(input.location)

* **获取元素大小:** 

input = browser.find_element(By.ID, ‘su’)
print(input.size)

  ## 6. Selenium的交互     页面交互指的是我们平时在浏览器上的各种操作,比如输入文本、点击链接、回车、下拉框等,下面就演示 selenium 是如何进行页面交互的。   * **输入文本:** 

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

关闭浏览器

browser.close()

* **点击:** 

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

定位百度一下的按钮

button = browser.find_element(By.ID, ‘su’)

点击按钮

button.click()
time.sleep(2)

关闭浏览器

browser.close()

* **清除文本:** 

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

清除selenium

input.clear()
time.sleep(2)

关闭浏览器

browser.close()

* **回车确认:** 

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

回车查询

input.submit()
time.sleep(2)

关闭浏览器

browser.close()

* **运行 JavaScript:** 

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

回车查询

input.submit()
time.sleep(2)

js代码

js_bottom = ‘document.documentElement.scrollTop=100000’

下拉进度条,页面滑动

browser.execute_script(js_bottom)
time.sleep(2)

关闭浏览器

browser.close()

* **前进后退** 

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

创建浏览器操作对象

path = ‘chromedriver.exe’

browser = webdriver.Chrome()

访问网站

url = ‘https://www.baidu.com’
browser.get(url)

定位输入框

input = browser.find_element(By.ID, ‘kw’)

输入文本selenium

input.send_keys(‘selenium’)
time.sleep(2)

回车查询

input.submit()
time.sleep(2)

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

img

img

img

img

img

img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注Python)

t/6c361282296f86381401c05e862fe4e9.png)

img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注Python)

img

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!