爬虫:xpinyin模块,requests-html使用和json模块

avatar
作者
筋斗云
阅读量:0

目录

xpinyin模块

requests-html使用

json模块


xpinyin模块

# pip install xpinyin -i https://pypi.tuna.tsinghua.edu.cn/simple  import xpinyin  pyin = xpinyin.Pinyin()  print(pyin.get_pinyin('回车'))#hui-che print(pyin.get_pinyin('回车',''))#hui che print(pyin.get_pinyin('回车',' ',tone_marks='marks'))#huí chē  # 获取大写的首字母 print(pyin.get_initial('回'))#H print(pyin.get_initials('回车'))#H-C print(pyin.get_initials('回车',' '))#H C

requests-html使用

# pip install requests-html -i https://pypi.tuna.tsinghua.edu.cn/simple #这个模块自带ua,默认了utf8的编码格式,会自动保存并携带cookie 也就是有会话维持的功能 from requests_html import HTMLSession  session = HTMLSession() #这句相当于requests.session()  url = 'https://699pic.com/tupian/128830.html'  response = session.get(url) # print(response.text) # print(response.html.links) #获取页面中所有的链接 # print(response.html.absolute_links) #获取页面中所有绝对路径的链接

json模块

import json  """ 两个带s的都和字符串相关 两个不带s的和json文件相关 json.dumps():将所有基本类型的数据转换成字符串,其中字典转换来的数据也可以叫json数据,如果被转换的数据原本是元组的话,那么转换之后元组的小括号会变成列表的中括号 json.dump():将字典转换而来的json数据存到json文件里面 json.load():将json文件里面的json数据读取出来并且转换成字典 json.loads():将json转换成字典 """  dict1 = {'a':1,'b':2} list1 = [1,2,3] tuple1 = (1,2,3) str1 = '123' int1 = 123  # print(type(json.dumps(dict1))) # print(type(json.dumps(list1))) # print(type(json.dumps(tuple1))) # print(type(json.dumps(str1))) # print(type(json.dumps(int1)))  # 跳过异常项目,解决编码问题 # print(json.dumps('湖南',skipkeys=True)) # print(json.dumps('湖南',skipkeys=True,ensure_ascii=False))  with open('text.json','w',encoding='utf-8') as f:     json.dump(dict1,fp=f,indent=2) #fp就是代表你要存到哪个文件里去,indent代表每个键值对前面的字符缩进,dumps的跳过异常项和解决编码问题的参数这里也有  # di1 = '{"a":1,"b":2}' # print(type(json.loads(di1)))  with open('text.json','r') as f:     data = json.load(fp=f) #fp就代表你要从哪个文件中获取数据     print(data,type(data)) 

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!