基于Selenium实现操作网页及操作windows桌面应用

avatar
作者
猴君
阅读量:0

Selenium操作Web页面

Why?

  1. 通常情况下,网络安全相关领域,更多是偏重于协议和通信。
  2. 但是,如果协议通信过程被加密或者无法了解其协议构成,是无法直接通过协议进行处理。此时,可以考虑模拟UI操作,进而实现相对应的部分功能。

原理

  1. 运行被操作的程序,使其界面出现
  2. 找到被操作的界面元素
    1. 基于元素的特征进行识别
    2. 图像识别和对比
    3. opencv
  3. 对其进行操作:输入、单击、右键等
  4. 对操作后的结果进行验证,确认操作是成功的
  5. Selenium Webdriver的通信机制:Python模拟客户端发送HTTP请求给WebDriver,WebDriver再驱动浏览器去执行

基于Selenium实现dvwa_ui

问题:

  1. 运行代码后打开网页闪退
  2. 解决方法:
    1. selenium版本回退到4.1.1
pip uninstall selenium			# 卸载已安装版本 pip install selenium==4.1.1		# 安装指定版本 

tips:

  1. 如果要操作windows元素,则可以使用库uiautomation
  2. 如果要处理移动端,可以使用库Appium-Python-Client
  3. scapy,比socket更加底层的框架
from selenium import webdriver import time # 第一步,先实例化webdriver对象,用于初始化浏览器操作 # 默认情况下,建议将chromedriver.exe等放在PATH环境变量的某个目录中,否则需要在参数中指定execute_path='C:/xxx/xxx.exe' # driver = webdriver.Chrome(executable_path='C:/chromedriver.exe') driver = webdriver.Chrome() # 使用火狐 # driver=webdriver.Firefox() # 最大化浏览器窗口 driver.maximize_window() time.sleep(2) # 打印网页标题 print(driver.title) # 打印网页源码 print(driver.page_source) # 刷新 driver.refresh() # 后退 driver.back() # 前进 driver.forward() # 获取对应的所有cookie driver.get_cookies() # 添加cookie # 关闭浏览器窗口  # 访问目标网站的页面地址 url="http://www.myfsec.com/login.php" driver.get(url)  # 第二步:利用DOM的识别机制,去识别和操作页面元素 # 旧方法,将弃用 # driver.find_element_by_name('username').send_keys('admin') # driver.find_element_by_name('password').send_keys('password')  driver.find_element('name','username').send_keys('admin') driver.find_element('name','password').send_keys('password')  # 将弃用 # 根据xpath与css选择器定位元素 # driver.find_element_by_xpath("//input[@id='verifycode']").secd_keys('0000') # driver.find_element_by_xpath('//*[@id="content"]/form/fieldset/p/input').click() # driver.find_element_by_css_selector("#content > form > fieldset > p > input[type=submit]") # 推荐使用 # driver.find_element('xpath',"//*[@id='content']/form/fieldset/p/input").click() driver.find_element('css selector',"#content > form > fieldset > p > input[type=submit]").click() # # 打印网页标题 # print(driver.title) # # 打印网页源码 # print(driver.page_source)  # 判断是否登陆成功,可以看网页中的某个元素是否存在 try:     driver.find_element("id","main_body")     print("登陆成功") except:     print("登陆失败")      # 或者 if "Welcome to Damn Vulnerable Web Application!" in driver.page_source:     print("登陆成功") else:     print("登陆失败") driver.close() 

chromdriver驱动下载:(谷歌)

  1. 114之前版本:
    1. chromedriver.storage.googleapis.com/index.html
  2. 125以后版本
    1. Chrome for Testing availability (googlechromelabs.github.io)

geckodriver驱动下载(火狐)

发布 ·Mozilla/GeckoDriver (github.com)

补充,selenium操作windows–UIAutomation

其实使用selenium操作windows窗口最主要的的是像浏览器的F12一样,识别他的布局结构,从而获取相应的元素进行操作,因此我们需要用到一个工具:UISpy

在这里插入图片描述

例如:驱动windows下的wechat

在这里插入图片描述

import uiautomation,time def get_moment_list(moment):     moment_list=moment.ListControl(Name="朋友圈").GetChildren()# 获取朋友圈列表,目前只能获取看到的前几条,后面的需要滚动条滚动才能获取,滚动还没实现     return moment_list # 定位到朋友圈框 def locate_wechat_moment():     wechat=uiautomation.WindowControl(Name="微信")        # 加载微信框     wechat.ButtonControl(Name="朋友圈").Click()            # 点击朋友圈按钮     # time.sleep(1)                                           # 等待1秒     moment=uiautomation.WindowControl(Name="朋友圈")        # 加载朋友圈框     moment.ButtonControl(Name="刷新").Click()              # 点击刷新按钮     moment_list=get_moment_list(moment)[1:]     print(len(moment_list))     moment.WheelDown(wheelTimes=12, interval=0.1, waitTime=0.5)     close_moment_btn=moment.ButtonControl(Name="关闭")     close_location=close_moment_btn.BoundingRectangle      print(close_location)       while True:         moment_list=get_moment_list(moment)         moment_bottom=moment.BoundingRectangle         print(moment_bottom)          for friend in moment_list:             friend_bottom=friend.BoundingRectangle             print(friend_bottom)             print(friend.Name)             try:                 if friend_bottom.bottom<40:                     pass                 else:                      friend.ButtonControl(Name="评论").Click()    # 点击评论按钮,目的是为了显示出点赞按钮                      moment.ButtonControl(Name="取消").Click()       # 点击赞按钮                      print("点赞成功")             except:                 print("点赞失败")             finally:                 y=friend.BoundingRectangle.bottom                 print(y)                 moment_list=get_moment_list(moment)                 moment.WheelDown(wheelTimes=y//20, interval=0.1, waitTime=0.5)  if __name__ == '__main__':     locate_wechat_moment() 

验证码问题

  1. 短信验证码:用自己的手机获取验证码,然后用Python直接操作手机端提取验证码,进而实现自动化操作的目的。
  2. 图像验证码:静态和动态,静态的图片验证码,在没有AI之前利用打码平台进行识别或人工智能训练集进行处理,而对于动态类型验证码,比如图像滑动
  3. 机器学习
    1. 可处理的类型:文字、图片、视频、语音
    2. 怎么进行学习?CNN:卷积神经网络
      1. 安装库tensorflow.keras.models…
    3. 学习数据必须要有正确的标记:图片和正确答案,
    4. 网络安全的AI应用:入侵检测,
      1. 传统的入侵检测:基于特征,某个流量或请求存在一些可以的特征时,进行预警或防护
      2. 基于AI的入侵检测:基于机器学习,学习大量的正确的数据包和请求,一旦发现某个数据包与某个学习过的匹配度很低,则可疑

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!