【OpenCV C++20 学习笔记】矩阵上的掩码(mask)操作_业界新闻

发布时间:2024-07-29 15:00

阅读量:0

矩阵上的掩码操作

原理概述
锐化
代码实现
完整代码
结论

原理概述

矩阵上的掩码(mask)操作非常简单。其实就是根据一个掩码矩阵（mask matrix，也称为核kernel）对图像中的每个像素值进行重新计算。掩码矩阵用当前像素以及相邻像素的值来为当前像素计算一个新值。从数学的角度来看，相当于做了一个加权平均的计算。

锐化

在锐化图片的方法中可以使用掩码操作。例如，可以给图片中的每个像素进行以下运算：
$\ j − 1 0 + 1 − 1 0 -1 0 0 -1 5 -1 + 1 0 -1 1 ② I(i,j) = 5*I(i,j) - [I(i-1,j)+I(i+1,j)+I(i,j-1)+I(i,j+1)] \qquad ①\\ \qquad \\ \iff I(i,j) =I(i,j)*M, 且M= \begin{matrix} i \backslash j & -1 & 0 & +1 \\ -1 & \textbf{0} & \textbf{-1} & \textbf{0} \\ 0 & \textbf{-1} & \textbf{5} & \textbf{-1} \\ +1 & \textbf{0} & \textbf{-1} & \textbf{1} \end{matrix} \qquad②$
这是OpenCV官方给出的公式。等式①比较好理解，就是第 $i$ 行第 $j$ 列的当前像素 $I (i, j)$ 的值变成了它自身值的5倍，再减去它上下左右4个相邻像素的值。其实，等式②更加直观， $M$ 就是掩码矩阵，将当前像素 $I (i, j)$ 与掩码矩阵 $M$ 相乘，就可以得出当前像素的新值。但是这里掩码矩阵 $M$ 的表现形式让我一开始没看懂。仔细研究之后发现，真正的矩阵是我加粗的那个3*3矩阵，第一行和第一列是表示行号和列号的。所以掩码矩阵 $M$ 实际上是：
$\begin{bmatrix} 0 & -1 & 0 \\ -1 & 5 & -1 \\ 0 & -1 & 0 \end{bmatrix}$
这样就很直观了，中心的5，对应的就是当前像素 $I (i, j)$ 的权重，上下左右4个-1，就是上下左右相邻像素的权重。这样，等式①和等式②是完全等价的。

代码实现

预操作

与该系列的上一篇《扫描图片数据》类似，这个项目的代码也使用了带参的main函数，并写了一个help全局静态函数用来输出使用说明。

关于如何在VS中调试带参的main函数，也参见上一篇文章关于如何读取和展示图片的基本操作参见本系列的《图片处理基础》

#include <opencv2/imgcodecs.hpp> #include <opencv2/highgui.hpp> #include <opencv2/imgproc.hpp>  import <iostream>;  using namespace cv; using namespace std;  static void help(char* progName) { 	std::cout << endl 		<< "这个程序展示了如何用掩码(mask)过滤图片" 		<< "包括自定义的方法和filter2D方法" << endl 		<< "使用说明：" << endl 		<< progName << " [图片路径--默认值：lena.jpg] [G -- 灰度] " << endl << endl; }  void Sharpen(const Mat& myImage, Mat& Result);  int main(int argc, char* argv[]) { 	help(argv[0]);	//将参数列表中默认的第一个参数，即程序名传入help静态函数，输出使用说明 	const char* filename{ argc >= 2 ? argv[1] : "lena.jpg" };	//如果不存在第二个参数，则将文件名设为默认的lena.jpg  	Mat src, dst0, dst1; 	if (argc >= 3 && strcmp("G", argv[2]))	//如果指定了第三个参数，即G，则按灰度读取图片 		src = imread(filename, IMREAD_GRAYSCALE); 	else 		src = imread(filename, IMREAD_COLOR);	//否则按BGR格式读取  	if (src.empty()) 	{//读取的数据为空时，输出错误信息，并退出程序 		cerr << "打不开图片[" << filename << "]" << endl; 		return EXIT_FAILURE; 	}  	namedWindow("Input", WINDOW_AUTOSIZE);	//创建名为Input的、自动确定尺寸的窗口，用来展示原始的图片 	namedWindow("Output", WINDOW_AUTOSIZE);	//创建名为Onput的、自动确定尺寸的窗口，用来展示锐化后的图片  	cv::imshow("Input", src);	//展示原始图片 	}

自定义的方法

项目中的Sharpen函数就是自定义的增强对比度的方法。这个方法使用了C风格的二维数组指针，通过行、列指针对数组中的每个元素进行遍历，并修改它们的值。
具体代码如下（注释中解释了每行代码的作用）

如果对于某些函数的使用不是很清楚，可以参考该系列的《《扫描图片数据》》

void Sharpen(const Mat& myImage, Mat& Result) {//myImage为原始矩阵，Result为修改后的结果矩阵 	CV_Assert(myImage.depth() == CV_8U);	//只接收uchar类型的图片数据  	const int nChannels = myImage.channels();	//计算颜色通道数量 	Result.create(myImage.size(), myImage.type());	//修改结果矩阵的大小和类型  	for (int j = 1; j < myImage.rows - 1; ++j) 	{//遍历行 		//分别获取当前行和上下两行的行指针，并保存为uchar常量指针 		const uchar* previous = myImage.ptr<uchar>(j - 1);	//原始矩阵j-1行的行指针 		const uchar* current = myImage.ptr<uchar>(j);	//原始矩阵j行的行指针 		const uchar* next = myImage.ptr<uchar>(j + 1);	//原始矩阵j+1行的行指针  		uchar* output = Result.ptr<uchar>(j);	//变量版的当前行的行指针  		for (int i = nChannels; i < nChannels * (myImage.cols - 1); ++i) 		{//遍历列（乘了颜色通道数量） 			//将当前行的每一个元素都变成新值 			//采用了等式①的算法 			//使用了saturate_cast进行类型转换，以保证计算结果为uchar类型 			output[i] = saturate_cast<uchar>(5 * current[i] 				- current[i - nChannels] - current[i + nChannels] - previous[i] - next[i]); 		} 	} 	 	//将边缘行和边缘列的像素值设为0 	Result.row(0).setTo(Scalar(0)); 	Result.row(Result.rows - 1).setTo(Scalar(0)); 	Result.col(0).setTo(Scalar(0)); 	Result.col(Result.cols - 1).setTo(Scalar(0)); }

这里使用了上一节中的等式①的算法对当前像素以及相邻像素的值进行了加权平均。
Sharpen函数的最后一段，将边缘行和边缘列的像素值都设为0，是因为再第1行、最后1行、第1列和最后1列上都无法使用掩码矩阵，它们并没有4个相邻的像素，所以干脆就直接让它们变成0。
值得补充的是saturate_cast，即类型转换方法的使用：

类型转换

储存像素值的数据类型可以有很多选择，比如这个项目中的uchar，就是一个8比特的无符号数据结构。但是在很多图像操作中可能会产生超出值域的结果，比如这里的锐化处理。如果某个像素的值就已经是255（uchar类型的最大值），它还要乘以5，那结果很可能会大于255。而且，Sharpen函数的运算中uchar类型的像素值和整型5进行了算是运算，结果会变成整型。但是最终的计算结果又要赋值给uchar类型，如果直接将32位的整型的结果降位为8位的uchar类型，那么高位的24比特数据会丢失，如果这24位中有非零的值，那结果就会发生变化。
出于值域和类型转换的安全问题，OpenCV提供了Saturation算法。Saturation算法对数据的值进行截取，例如转换成uchar类型的算法原理如下：
$I (x, y) = min (ma x (ro u n d (r), 0), 255)$
先将要转换的数据r取整。然后，如果r小于0（uchar类型的最小值），则变成0；如果大于0，则将其与255（uchar类型的最大值）相对比。如果小于255则保留该结果，如果大于255，则变成255。
通过这种算法，将原始值截留在uchar类型[0,255]的值域当中。当原始值本来就在这个值域当中，则只是进行了取整操作；当原始值落在该值域之外，则要么直接变成最小值，要么直接变成最大值。

filter2D方法

因为掩码操作在OpenCV中非常常用，所以它提供一个应用掩码矩阵的方法filter2D。要使用该方法，需要先确定掩码矩阵：

Mat kernel = (Mat_<char>(3, 3) << 0, -1, 0, 								-1, 5, -1, 								0, -1, 0);

关于Mat对象的创建，可以参考该系列的《基本图像容器——Mat》。

接下来就可以使用filter2D函数了，该函数共使用4个参数：

原始矩阵
结果矩阵
原始矩阵的数据类型
掩码矩阵
其实还可以传入第5个参数，来制定掩码矩阵的中心位置；甚至有第6个、第7个参数，但这里不过多介绍了。本项目中的使用如下：

filter2D(src, dst1, src.depth(), kernel);

完整代码

//#include <opencv2/core.hpp> #include <opencv2/imgcodecs.hpp> #include <opencv2/highgui.hpp> #include <opencv2/imgproc.hpp>  import <iostream>;  using namespace cv; using namespace std;  static void help(char* progName) { 	std::cout << endl 		<< "这个程序展示了如何用掩码(mask)过滤图片" 		<< "包括自定义的方法和filter2D方法" << endl 		<< "使用说明：" << endl 		<< progName << " [图片路径--默认值：lena.jpg] [G -- 灰度] " << endl << endl; }  void Sharpen(const Mat& myImage, Mat& Result);  int main(int argc, char* argv[]) { 	help(argv[0]);	//将参数列表中默认的第一个参数，即程序名传入help静态函数，输出使用说明 	const char* filename{ argc >= 2 ? argv[1] : "lena.jpg" };	//如果不存在第二个参数，则将文件名设为默认的lena.jpg  	Mat src, dst0, dst1; 	if (argc >= 3 && strcmp("G", argv[2]))	//如果指定了第三个参数，即G，则按灰度读取图片 		src = imread(filename, IMREAD_GRAYSCALE); 	else 		src = imread(filename, IMREAD_COLOR);	//否则按BGR格式读取  	if (src.empty()) 	{//读取的数据为空时，输出错误信息，并退出程序 		cerr << "打不开图片[" << filename << "]" << endl; 		return EXIT_FAILURE; 	}  	namedWindow("Input", WINDOW_AUTOSIZE);	//创建名为Input的、自动确定尺寸的窗口，用来展示原始的图片 	namedWindow("Output", WINDOW_AUTOSIZE);	//创建名为Onput的、自动确定尺寸的窗口，用来展示锐化后的图片  	cv::imshow("Input", src);	//展示原始图片  	//开始计时 	double t{ static_cast<double>(getTickCount()) };  	Sharpen(src, dst0);	//调用自定义的Sharpen函数  	t = (static_cast<double>(getTickCount()) - t) / getTickFrequency();	//结束并计算计时 	std::cout << "自定义方法用时：" << t << "秒" << endl;		//输出计时  	cv::imshow("Output", dst0);	//展示修改后的图片 	cv::waitKey();	//等待用户按键  	//创建掩码矩阵 	Mat kernel = (Mat_<char>(3, 3) << 0, -1, 0, 									-1, 5, -1, 									0, -1, 0); 	 	//开始计时 	t = static_cast<double>(getTickCount());  	cv::filter2D(src, dst1, src.depth(), kernel);	//调用filter2D函数  	t = (static_cast<double>(getTickCount()) - t) / getTickFrequency();	//结束并计算计时 	std::cout << "filter2D方法用时：" << t << "秒" << endl;	//输出计时  	cv::imshow("Output", dst1);	//展示修改后的图片  	cv::waitKey();	//等待按键 	return EXIT_SUCCESS;	//退出程序 }  void Sharpen(const Mat& myImage, Mat& Result) {//myImage为原始矩阵，Result为修改后的结果矩阵 	CV_Assert(myImage.depth() == CV_8U);	//只接收uchar类型的图片数据  	const int nChannels = myImage.channels();	//计算颜色通道数量 	Result.create(myImage.size(), myImage.type());	//修改结果矩阵的大小和类型  	for (int j = 1; j < myImage.rows - 1; ++j) 	{//遍历行 		//分别获取当前行和上下两行的行指针，并保存为uchar常量指针 		const uchar* previous = myImage.ptr<uchar>(j - 1);	//原始矩阵j-1行的行指针 		const uchar* current = myImage.ptr<uchar>(j);	//原始矩阵j行的行指针 		const uchar* next = myImage.ptr<uchar>(j + 1);	//原始矩阵j+1行的行指针  		uchar* output = Result.ptr<uchar>(j);	//变量版的当前行的行指针  		for (int i = nChannels; i < nChannels * (myImage.cols - 1); ++i) 		{//遍历列（乘了颜色通道数量） 			//将当前行的每一个元素都变成新值 			//采用了等式①的算法 			//使用了saturate_cast进行类型转换，以保证计算结果为uchar类型 			output[i] = saturate_cast<uchar>(5 * current[i] 				- current[i - nChannels] - current[i + nChannels] - previous[i] - next[i]); 		} 	} 	 	//将边缘行和边缘列的像素值设为0 	Result.row(0).setTo(Scalar(0)); 	Result.row(Result.rows - 1).setTo(Scalar(0)); 	Result.col(0).setTo(Scalar(0)); 	Result.col(Result.cols - 1).setTo(Scalar(0)); }