基于Selenium实现操作网页及操作windows桌面应用

Selenium操作Web页面

Why?

1. 通常情况下，网络安全相关领域，更多是偏重于协议和通信。
2. 但是，如果协议通信过程被加密或者无法了解其协议构成，是无法直接通过协议进行处理。此时，可以考虑模拟UI操作，进而实现相对应的部分功能。

原理

1. 运行被操作的程序，使其界面出现
2. 找到被操作的界面元素
   1. 基于元素的特征进行识别
   2. 图像识别和对比
   3. opencv
3. 对其进行操作：输入、单击、右键等
4. 对操作后的结果进行验证，确认操作是成功的
5. Selenium Webdriver的通信机制：Python模拟客户端发送HTTP请求给WebDriver，WebDriver再驱动浏览器去执行

基于Selenium实现dvwa_ui

问题：

1. 运行代码后打开网页闪退
2. 解决方法：
   1. selenium版本回退到4.1.1

pip uninstall selenium			# 卸载已安装版本 pip install selenium==4.1.1		# 安装指定版本 

tips：

1. 如果要操作windows元素，则可以使用库uiautomation
2. 如果要处理移动端，可以使用库Appium-Python-Client
3. scapy，比socket更加底层的框架

from selenium import webdriver import time # 第一步，先实例化webdriver对象，用于初始化浏览器操作 # 默认情况下，建议将chromedriver.exe等放在PATH环境变量的某个目录中，否则需要在参数中指定execute_path='C:/xxx/xxx.exe' # driver = webdriver.Chrome(executable_path='C:/chromedriver.exe') driver = webdriver.Chrome() # 使用火狐 # driver=webdriver.Firefox() # 最大化浏览器窗口 driver.maximize_window() time.sleep(2) # 打印网页标题 print(driver.title) # 打印网页源码 print(driver.page_source) # 刷新 driver.refresh() # 后退 driver.back() # 前进 driver.forward() # 获取对应的所有cookie driver.get_cookies() # 添加cookie # 关闭浏览器窗口  # 访问目标网站的页面地址 url="http://www.myfsec.com/login.php" driver.get(url)  # 第二步：利用DOM的识别机制，去识别和操作页面元素 # 旧方法，将弃用 # driver.find_element_by_name('username').send_keys('admin') # driver.find_element_by_name('password').send_keys('password')  driver.find_element('name','username').send_keys('admin') driver.find_element('name','password').send_keys('password')  # 将弃用 # 根据xpath与css选择器定位元素 # driver.find_element_by_xpath("//input[@id='verifycode']").secd_keys('0000') # driver.find_element_by_xpath('//*[@id="content"]/form/fieldset/p/input').click() # driver.find_element_by_css_selector("#content > form > fieldset > p > input[type=submit]") # 推荐使用 # driver.find_element('xpath',"//*[@id='content']/form/fieldset/p/input").click() driver.find_element('css selector',"#content > form > fieldset > p > input[type=submit]").click() # # 打印网页标题 # print(driver.title) # # 打印网页源码 # print(driver.page_source)  # 判断是否登陆成功，可以看网页中的某个元素是否存在 try:     driver.find_element("id","main_body")     print("登陆成功") except:     print("登陆失败")      # 或者 if "Welcome to Damn Vulnerable Web Application!" in driver.page_source:     print("登陆成功") else:     print("登陆失败") driver.close() 

chromdriver驱动下载：（谷歌）

1. 114之前版本：
   1. chromedriver.storage.googleapis.com/index.html
2. 125以后版本
   1. Chrome for Testing availability (googlechromelabs.github.io)

geckodriver驱动下载（火狐）

发布 ·Mozilla/GeckoDriver (github.com)

补充，selenium操作windows–UIAutomation

其实使用selenium操作windows窗口最主要的的是像浏览器的F12一样，识别他的布局结构，从而获取相应的元素进行操作，因此我们需要用到一个工具：UISpy

例如：驱动windows下的wechat

import uiautomation,time def get_moment_list(moment):     moment_list=moment.ListControl(Name="朋友圈").GetChildren()# 获取朋友圈列表，目前只能获取看到的前几条，后面的需要滚动条滚动才能获取，滚动还没实现     return moment_list # 定位到朋友圈框 def locate_wechat_moment():     wechat=uiautomation.WindowControl(Name="微信")        # 加载微信框     wechat.ButtonControl(Name="朋友圈").Click()            # 点击朋友圈按钮     # time.sleep(1)                                           # 等待1秒     moment=uiautomation.WindowControl(Name="朋友圈")        # 加载朋友圈框     moment.ButtonControl(Name="刷新").Click()              # 点击刷新按钮     moment_list=get_moment_list(moment)[1:]     print(len(moment_list))     moment.WheelDown(wheelTimes=12, interval=0.1, waitTime=0.5)     close_moment_btn=moment.ButtonControl(Name="关闭")     close_location=close_moment_btn.BoundingRectangle      print(close_location)       while True:         moment_list=get_moment_list(moment)         moment_bottom=moment.BoundingRectangle         print(moment_bottom)          for friend in moment_list:             friend_bottom=friend.BoundingRectangle             print(friend_bottom)             print(friend.Name)             try:                 if friend_bottom.bottom<40:                     pass                 else:                      friend.ButtonControl(Name="评论").Click()    # 点击评论按钮,目的是为了显示出点赞按钮                      moment.ButtonControl(Name="取消").Click()       # 点击赞按钮                      print("点赞成功")             except:                 print("点赞失败")             finally:                 y=friend.BoundingRectangle.bottom                 print(y)                 moment_list=get_moment_list(moment)                 moment.WheelDown(wheelTimes=y//20, interval=0.1, waitTime=0.5)  if __name__ == '__main__':     locate_wechat_moment() 

验证码问题

1. 短信验证码：用自己的手机获取验证码，然后用Python直接操作手机端提取验证码，进而实现自动化操作的目的。
2. 图像验证码：静态和动态，静态的图片验证码，在没有AI之前利用打码平台进行识别或人工智能训练集进行处理，而对于动态类型验证码，比如图像滑动
3. 机器学习
   1. 可处理的类型：文字、图片、视频、语音
   2. 怎么进行学习？CNN：卷积神经网络
      1. 安装库tensorflow.keras.models…
   3. 学习数据必须要有正确的标记：图片和正确答案，
   4. 网络安全的AI应用：入侵检测，
      1. 传统的入侵检测：基于特征，某个流量或请求存在一些可以的特征时，进行预警或防护
      2. 基于AI的入侵检测：基于机器学习，学习大量的正确的数据包和请求，一旦发现某个数据包与某个学习过的匹配度很低，则可疑