阅读量:2
目录
一、前言
在日常进行数据高可用时，会将数据存入对象存储中。在一般的企业中，对象存储资源池只有管理员拥有Web界面管理，普通账号需要对数据进行管理时，有如下方法：
一、通用对象存储管理客户端，如对于S3对象存储有S3browser可以进行使用，其优点是操作简单，界面可视化；缺点是每次需要手动操作。
二、利用对象存储指定的API或者SDK工具进行开发，其优点是适合无法使用可视化界面的IT环境和可自动完成，缺点是需要自己编辑。
二、boto3
boto3是针对S3云存储的Python SDK工具，是boto2的迭代版本，对于可使用S3对象存储接口协议的基本可使用boto3。
安装：pip install boto3
三、代码
1、连接
import boto3 from datetime import datetime, timedelta # 定义 endpoint、access key 和 secret key endpoint_url = 'http://*************' access_key = '****' secret_key = '****' # 创建 S3 客户端实例并指定 endpoint 和凭证信息 s3 = boto3.client('s3', endpoint_url=endpoint_url, aws_access_key_id=access_key, aws_secret_access_key=secret_key, verify=False) # 如果不需要SSL验证，可以设置verify=False，即http或者https # 列出所有的桶 responses = s3.list_buckets() buckets = [bucket['Name'] for bucket in responses['Buckets']] print('All of Buckets:', buckets)2、列出桶中文件
#前面连接桶的代码段此处已省略 response = s3.list_objects_v2(Bucket='****') #选择你需要列出的桶名， # 输出列出的所有对象 if 'Contents' in response: for obj in response['Contents']: key = obj['Key'] timestep = obj['LastModified'] #文件对应的最后更改时间 print(key, timestep) #输出桶中文件名及最后更改时间3、删除文件
删除文件：
s3.delete_object(Bucket='****', Key='****')
Bucket即为桶名，Key为桶中要删除的文件名（包含完整路径）
#以删除桶中30天以前的文件来直观了解一下 #省略前面连接代码 response = s3.list_objects_v2(Bucket='****') days_hup = 30 del_date = datetime.now() - timedelta(days=days_hup) #print(del_date) # 删除30天以前的文件 if 'Contents' in response: for obj in response['Contents']: key = obj['Key'] timestep = obj['LastModified'] timestep = timestep.replace(tzinfo=None) #注意进行时间offset-aware和offset-naive的转换 if timestep < del_date: s3.delete_object(Bucket='****', Key=key) print(f'删除文件 {key} 成功')4、上传下载
s3.upload_file（本地路径及文件，桶名，对象存储路径及文件）
s3.download_file（桶名，对象存储路径及文件，本地路径及文件）
#省略前面连接代码 bucket_name = '****' #your bucket name # 上传文件 local_file_path = '/data/testfile' # 本地文件路径 s3_file_key = '/TEST/uptestfile' # S3中的文件名，可以包括文件夹 s3.upload_file(local_file_path, bucket_name, s3_file_key) print('文件上传成功') # 下载文件 download_path = '/data/downtestflie' # 下载到本地的路径，包含文件名 s3_file_key = '/TEST/uptestfile' s3.download_file(bucket_name, s3_file_key, download_path) print('文件下载成功')