【高可用对象存储实战】使用Python操作Minio存储桶_业界新闻

发布时间:2024-08-03 22:23

阅读量:0

什么是Minio

Minio是一个基于Golang实现的高可用、高弹性的开源对象存储系统（OSS），皆在提供云上的高可扩展与高性能的分布式文件存储系统。
Minio十分的易部署，主需要极短的命令行即可实现运行与运维双重工作流。

下载Minio

我们前往min.io进行下载，之所以不使用中文镜像源进行下载的一个原因是，笔者在开始配置Minio时遇到了镜像404不可用的现象，当然读者您也可以重新尝试前往中文镜像站进行下载，这里以min.io镜像站进行操作。

wget https://dl.min.io/server/minio/release/linux-amd64/minio

下载好后，我们就得到了minio的二进制执行文件。

[root@localhost minio_server_side]# ls -al total 108340 drwxr-xr-x.  4 root root        88 Jan 12 20:20 . dr-xr-x---. 14 root root      4096 Jan 15 23:59 .. drwxr-xr-x.  4 root root        39 Jan 15 17:40 data drwxr-xr-x.  2 root root        24 Jan 12 19:28 logs -rwxr-xr-x.  1 root root 110919680 Jan 12 15:05 minio -rwxr-xr-x.  1 root root        48 Jan 12 19:38 runServer.sh -rw-------.  1 root root     12288 Jan 12 20:20 .runserver.sh.swp [root@localhost minio_server_side]#

为这个二进制文件进行加权：

sudo chmod +x ./minio

什么是《桶》？

在Minio中的概念中一共有两个重要概念，即桶和对象。
对象可以很好理解，无非就是传统意义上的文件对象，一个单独的file object。
可什么又是桶呢？你可以将文件对象抽象为水，那么水由桶撑着就很好理解。而Minio中的桶也是借鉴了这个概念，实际上这个桶也的确是一个标准的Linux文件夹。
我们通过cd和ls指令来检查桶，这里我们有一个名为：replays的桶。我们分别使用ls -al和cd指令来试试看：

ls -al:

[root@localhost data]# ls -al total 0 drwxr-xr-x. 4 root root 39 Jan 15 17:40 . drwxr-xr-x. 4 root root 88 Jan 12 20:20 .. drwxr-xr-x. 7 root root 98 Jan 15 17:40 .minio.sys drwxr-xr-x. 3 root root 24 Jan 14 09:24 replays

cd：

[root@localhost data]# cd replays/ [root@localhost replays]# ls output.avi [root@localhost replays]#

至此，Minio中最重要的两个概念已经解释清楚了。

启动和配置Minio

我们使用nohup来为Minio创建守护进程

nohup minio server ./data > ./logs/server.log &

sever：指定minio server的管道操作，如果在不指定具体操作，如：start（启动）、stop（停止）、restart（重启）
./data：指定Minio的主数据路径，所有的桶以及对象将存储在这里

启动后，访问您主机的IP:9000后，你将会在浏览器看到如下的界面：

至此，Minio的配置与启动就完成了。

Python API交互实现文件上传并获取可分享链接

PyPI包安装

Minio官方提供了可用的PyPI包，通过如下指令进行安装

pip install minio

终端构造

安装好后，我们将开始创建Minio客户端对象：

# 从minio库中导入Minio客户端类 from minio import Minio # 实例化 client = Minio( 	# endpoint指定的是你Minio的远程IP及端口 	endpoint = "192.168.40.11:9000", 	# accesskey指定的是你的Minio服务器访问key 	# 默认值为minioadmin 	access_key= "minioadmin", 	# secret_key指定的是你登录时需要用的key，类似密码 	# 默认值也是minioadmin 	secret_key= "minioadmin", 	# secure指定是否以安全模式创建Minio连接 	# 建议为False 	secure= False

桶的检查

当我们创建好客户端后，我们需要开始与存储桶进行连接，通过client.bucket_exists()函数直接进行存储桶的查询，该还是接受一个参数：bucket_name，为了防止因存储桶不存在而无法上传的情况，我们使用if来进行检查：

if client.bucket_exists("replays"):

我们一定要通过桶连接来检查终端与Minio服务器的连接，因为当你创建Minio Client对象时，不会与远程服务器发生sock连接，而只有当检查桶或执行I/O操作时才会发生sock连接。

检查了连接性后，我们可以打开我们的目标文件了：

# 使用with open打开目标文件 with open("output.avi","rb") as file_data:    # 使用os.path.getsize()获取目标文件的大小    bytes_length = os.path.getsize("output.avi")

确认文件的可读性和大小后，我们可以使用client.put_object()函数将目标文件存储到远程存储桶内：

client.put_object("replays", "output.avi", file_data, bytes_length)

其中该函数的四个参数分别为：

bucket_name：目标远程存储桶名，指定文件将被存储在哪个桶下。
object_name：指定目标文件将在远程桶下以什么名字被存储。
data：指定文件的I/O缓冲数据，这也是为什么我们用with open先读取文件了
length：Minio需要在上传时指定文件的大小，它并不会自动计算文件的大小，因此需要我们在终端获取到文件的大小并作为参数传递给API。

获取可分享URL

使用client.presigned_get_object()函数获取一个文件对象的可分享URL。

url = client.presigned_get_object("replays", "output.avi") print(url)

执行后的结果是：

PS E:\My Code\attention-concentration-test\production\student\cache> python .\test.py http://192.168.40.11:9000/replays/output.avi?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=minioadmin%2F20230115%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20230115T163642Z&X-Amz-Expires=604800&X-Amz-SignedHeaders=host&X-Amz-Signature=a1bc19c5568dd5e6963362a2a74fc0876cbe68333253f2023df266308b0ea650