OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

前言

  对图像进行非规则的扭曲,实现哈哈镜就是一种非常规的扭曲方式,本文先描述remap的原理,然后通过remap实现哈哈镜。

 

Demo

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果
  基于原始算法,可以进行二次开发,实现一些其他效果:

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

 

矫正映射remap(畸变映射)

  当进行图像矫正时,必须指定输入图像的每个像素在输出图像中移动到的位置,成为“矫正映射”(畸变映射)。

双通道浮点数表示方式

  N x M的矩阵A中,重映射由双通道浮点数的N x M的矩阵B表示,对于图像A中的任意一点aPoint(i, j),映射为b1Point(i’, j’)和b2Point(i’, j’),在A中假设i=2,j=3,那么(假设重映射之后4.5,5.5)在B1中b1Point(i’, j’)值为4.5,b2Point(i’, j’)值为5.5,由于坐标是浮点数,那么需要插值得到整数位置以及中间过渡的区域颜色(平滑处理)。
  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

双矩阵浮点数表示方式

  双矩阵浮点数表示,N x M的矩阵A中,重映射由一对N x M的矩阵B和C描述,这里所有的N x M矩阵都是单通道浮点矩阵,在A中的点aPoint(i, j),重映射矩阵B中的点bPoint(i,j)存储了重映射后的i’ (映射后的i坐标), 重映射矩阵C中的点cPoint(i,j)存储了重映射后的j’(映射后的j坐标)。
  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

定点表示方式

  映射由双通道有符号整数矩阵(即CV_16SC2类型)表示。该方式与双通道浮点数表示方式相同,但使用此格式要快得多(笔者理解:由浮点数插值改为整数插值,会要快一些,但是肯定双通道浮点数的表示方式图像效果会稍微好一些)。
  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

 

remap核心关键

  在于得到插值的坐标系来映射新位置的x和y位置,要渐近等,所以本方法的核心关键在于得到标定后的矩阵,得到映射矩阵的方式可以自己写算法,也可以使用其他方式,后续文章继续深入这块。

 

remap演示

  为了更好的展示remap的作用,我们使用一张100x100的图,这样可以更好的看到remap的原理效果。
  先做一张100x100的图,图里面用不同的颜色,如下:
  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

  使用opencv打开:
  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

Map1使用第一种表示点的方式

  使用点的方式映射:

// 表示点的第一种 std::vector<cv::Point2f> vectorPoints; for(int index = 0; index < 10; index++) {     vectorPoints.push_back(cv::Point2f(0, 0));     vectorPoints.push_back(cv::Point2f(10, 10));     vectorPoints.push_back(cv::Point2f(20, 20));     vectorPoints.push_back(cv::Point2f(30, 30));     vectorPoints.push_back(cv::Point2f(40, 40));     vectorPoints.push_back(cv::Point2f(50, 50));     vectorPoints.push_back(cv::Point2f(60, 60));     vectorPoints.push_back(cv::Point2f(70, 70));     vectorPoints.push_back(cv::Point2f(80, 80));     vectorPoints.push_back(cv::Point2f(90, 90)); } 

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

  这是相当于把点提取出来映射到一个mat里面,一直堆下去:

// 表示点的第一种 std::vector<cv::Point2f> vectorPoints; for(int index = 0; index < 50; index++) {     vectorPoints.push_back(cv::Point2f(0, 0));     vectorPoints.push_back(cv::Point2f(10, 10));     vectorPoints.push_back(cv::Point2f(20, 20));     vectorPoints.push_back(cv::Point2f(30, 30));     vectorPoints.push_back(cv::Point2f(40, 40));     vectorPoints.push_back(cv::Point2f(50, 50));     vectorPoints.push_back(cv::Point2f(60, 60));     vectorPoints.push_back(cv::Point2f(70, 70));     vectorPoints.push_back(cv::Point2f(80, 80));     vectorPoints.push_back(cv::Point2f(90, 90)); } 

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

Map1使用第二种表示点的方式

  直接初始化:

cv::Mat mapX(srcMat.rows, srcMat.cols, CV_32F); // x 方向 cv::Mat mapY(srcMat.rows, srcMat.cols, CV_32F); // y 方向 for(int row = 0; row < 100; row++) {     for(int col = 0; col < 100; col++)     {         std::cout << mapX.at<double>(row, col);     } } cv::remap(srcMat, dstMat, mapX, mapY, cv::INTER_LINEAR); 

  打印输出都是0:
  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

  这里map保存的是原来现在这个位置的点映射到原来图片哪个坐标点(注意:不是原来哪个位置映射到map哪个位置,是map的纵横坐标点映射原来值里面的那个坐标)左右从中间向两边拉伸则是:
  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

cv::Mat mapX(srcMat.rows, srcMat.cols, CV_32F); // x 方向 cv::Mat mapY(srcMat.rows, srcMat.cols, CV_32F); // y 方向 for(int row = 0; row < 100; row++) {     for(int col = 0; col < 100; col++)     {         if(col < 25)         {             // 0~24             mapX.at<float>(row, col) = col * 2;             mapY.at<float>(row, col) = row;         }else if(col < 50)         {             // 25-49             mapX.at<float>(row, col) = 49;             mapY.at<float>(row, col) = row;         }else if(col < 75)         {             // 50~74             mapX.at<float>(row, col) = 50;             mapY.at<float>(row, col) = row;         }else         {             // 75~99             mapX.at<float>(row, col) = 99 - (99 - col) * 2;             mapY.at<float>(row, col) = row;         }     } } cv::remap(srcMat, dstMat, mapX, mapY, cv::INTER_LINEAR); 

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

 

核心桥梁:椭圆

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

   OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

   OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

   椭圆的标准方程,对于一个中心在原点、长轴在x轴上的椭圆,其标准方程为:
   OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

   其中,a是椭圆长轴的一半,b是椭圆短轴的一半。
   给定一个参数t(通常称为参数或偏心率角),椭圆上的点(x,y)可以用以下参数方程表示:
   OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

   其中,t的取值范围是[0,2π),通过改变t的值,可以得到椭圆上的不同点。例如,假设有一个椭圆,其长轴为10,短轴为6。那么,a=5,b=3。

  • 当t=0时,点(x,y)=(5,0),这是椭圆长轴上的一个端点。
  • 当 t=2π时,点(x,y)=(0,3),这是椭圆短轴上的一个端点。
  • 当t=π时,点(x,y)=(−5,0),这是椭圆长轴上的另一个端点。
  • 当t=2/3*π时,点(x,y)=(0,−3),这是椭圆短轴上的另一个端点。
       通过改变t的值,可以得到椭圆上的任意点。
 

哈哈镜实现

  

int cols = srcMat.cols; int rows = srcMat.rows; double horizontalStrength = 1.0f; double verticalStrength = 1.0f; double zoom = 1.0; int cx = cols / 2; int cy = rows / 2; for(int x = 0; x < cols; x++) {     for(int y = 0; y < rows; y++)     {         // 先求的范围内的点离中心点的偏移比例         double dx = (x - cx) * 1.0f / cx;         double dy = (y - cy) * 1.0f / cy;         // 求得中心点的距离         double distance = sqrt(dx * dx + dy * dy);        // 缩放半径        double r = distance / zoom;        // 后面除0操作,这里防止为0        if(r == 0)        {            r = 1e-6;         }         // 求出角度         double theta = atan(r);         // 求出最新比例覆盖点的rX         double rDistortedX = horizontalStrength * theta / r;         // 求出最新比例覆盖点的rY         double rDistortedY = verticalStrength * theta / r;         // 求出当前这个点使用原来哪个点映射         double dstX = cx + rDistortedX * dx * cx;         double dstY = cy + rDistortedY * dy * cy;         // 给map赋值         mapX.at<float>(y, x) = static_cast<float>(dstX);         mapY.at<float>(y, x) = static_cast<float>(dstY);     } } 

 

函数原型

void remap(InputArray src,            OutputArray dst,            InputArray map1,            InputArray map2,            int interpolation,            int borderMode = BORDER_CONSTANT,            const Scalar& borderValue = Scalar()); 

  • 参数一:InputArray类型的src,一般为cv::Mat;

  • 参数二:OutputArray类型的dst,目标图像。它的大小与map1相同,类型与src相同。

  • 参数三:InputArray类型的map1,它有两种可能的表示对象:表示点(x,y)的第一个映射或者表示CV_16SC2 , CV_32FC1或CV_32FC2类型的x值。

  • 参数四:InputArray类型的map2,它也有两种可能的表示对象,而且他是根据map1来确定表示哪种对象。若map1表示点(x,y)时,这个参数不代表任何值,否则,表示CV_16UC1 , rCV_32FC1类型的y值(第二个值)。

  • 参数五:int类型的interpolation,使用的插值方法;
      OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

  • 参数六:int类型的borderMode,边界处理方式;

  • 参数七:Scalar类型的borderValue,重映射后,离群点的背景,需要broderMode设置为BORDER_CONSTRANT时才有效。(离群点:当图片大小为400x300,那么对应的map1和map2范围为0399、0299,小于0或者大于299的则为离散点,使用该颜色填充);

 

Demo源码

void OpenCVManager::testDistortingMirror() { #if 1     // 测试remap的Demo //    cv::Mat srcMat = cv::imread("D:/qtProject/openCVDemo/openCVDemo/modules/openCVManager/images/41.png"); //    cv::Mat srcMat = cv::imread("D:/qtProject/openCVDemo/openCVDemo/modules/openCVManager/images/25.jpg");     cv::Mat srcMat = cv::imread("D:/qtProject/openCVDemo/openCVDemo/modules/openCVManager/images/42.jpg");     if(srcMat.data == 0)     {         return;     }     cv::imshow("srcMat", srcMat);     // remap的     /*         插值方法:         INTER_NEAREST        = 0,         INTER_LINEAR         = 1,         INTER_CUBIC          = 2,         INTER_AREA           = 3,         INTER_LANCZOS4       = 4,         INTER_LINEAR_EXACT = 5,         INTER_MAX            = 7,         WARP_FILL_OUTLIERS   = 8,         WARP_INVERSE_MAP     = 16     */     cv::Mat dstMat = cv::Mat(srcMat.rows, srcMat.cols, srcMat.type()); #if 0     // 表示点的第一种     std::vector<cv::Point2f> vectorPoints;     for(int index = 0; index < 50; index++)     {         vectorPoints.push_back(cv::Point2f(0, 0));         vectorPoints.push_back(cv::Point2f(10, 10));         vectorPoints.push_back(cv::Point2f(20, 20));         vectorPoints.push_back(cv::Point2f(30, 30));         vectorPoints.push_back(cv::Point2f(40, 40));         vectorPoints.push_back(cv::Point2f(50, 50));         vectorPoints.push_back(cv::Point2f(60, 60));         vectorPoints.push_back(cv::Point2f(70, 70));         vectorPoints.push_back(cv::Point2f(80, 80));         vectorPoints.push_back(cv::Point2f(90, 90));     }     cv::remap(srcMat, dstMat, vectorPoints, cv::Mat(), cv::INTER_LINEAR); #endif #if 0     cv::Mat mapX(srcMat.rows, srcMat.cols, CV_32F); // x 方向     cv::Mat mapY(srcMat.rows, srcMat.cols, CV_32F); // y 方向     for(int row = 0; row < 100; row++)     {         for(int col = 0; col < 100; col++)         {             if(col < 25)             {                 // 0~24                 mapX.at<float>(row, col) = col * 2;                 mapY.at<float>(row, col) = row;             }else if(col < 50)             {                 // 25-49                 mapX.at<float>(row, col) = 49;                 mapY.at<float>(row, col) = row;             }else if(col < 75)             {                 // 50~74                 mapX.at<float>(row, col) = 50;                 mapY.at<float>(row, col) = row;             }else             {                 // 75~99                 mapX.at<float>(row, col) = 99 - (99 - col) * 2;                 mapY.at<float>(row, col) = row;             }         }     }     cv::remap(srcMat, dstMat, mapX, mapY, cv::INTER_LINEAR); #endif     cv::Mat mapX(srcMat.rows, srcMat.cols, CV_32F); // x 方向     cv::Mat mapY(srcMat.rows, srcMat.cols, CV_32F); // y 方向     // 这里显示原本的图     for(int row = 0; row < srcMat.rows; row++)     {         for(int col = 0; col < srcMat.cols; col++)         {             mapX.at<float>(row, col) = col;             mapY.at<float>(row, col) = row;         }     } #if 0     // 使用径向畸变     {         // 这里a永远是长边,长边是纵向的         {             int cols = srcMat.cols;             int rows = srcMat.rows;             double horizontalStrength = 2.0f;             double verticalStrength  = 2.0f;             double zoom = 1.0;             int cx = cols / 2;             int cy = rows / 2;             for(int x = 0; x < cols; x++)             {                 for(int y = 0; y < rows; y++)                 {                     // 先求的范围内的点离中心点的偏移比例                     double dx = (x - cx) * 1.0f / cx;                     double dy = (y - cy) * 1.0f / cy;                     // 求得中心点的距离                     double distance = sqrt(dx * dx + dy * dy);                     // 缩放半径                     double r = distance / zoom;                     // 后面除0操作,这里防止为0                     if(r == 0)                     {                         r = 1e-6;                     }                     // 求出角度                     double theta = atan(r);                     // 求出最新比例覆盖点的rX                     double rDistortedX = horizontalStrength * theta / r;                     // 求出最新比例覆盖点的rY                     double rDistortedY = verticalStrength * theta / r;                     // 求出当前这个点使用原来哪个点映射                     double dstX = cx + rDistortedX * dx * cx;                     double dstY = cy + rDistortedY * dy * cy;                     // 给map赋值                     mapX.at<float>(y, x) = static_cast<float>(dstX);                     mapY.at<float>(y, x) = static_cast<float>(dstY);                 }             }         }         cv::remap(srcMat, dstMat, mapX, mapY, cv::INTER_LINEAR);     } #endif  #if 1     // 使用径向畸变     {         // 这里a永远是长边,长边是纵向的         {             int cols = srcMat.cols;             int rows = srcMat.rows;             double horizontalStrength = 1.0f;             double verticalStrength = 1.0f;             double zoom = 1.0;             int cx = cols / 2;             int cy = rows / 2;             for(int x = 0; x < cols; x++)             {                 for(int y = 0; y < rows; y++)                 {                     // 先求的范围内的点离中心点的偏移比例                     double dx = (x - cx) * 1.0f / cx;                     double dy = (y - cy) * 1.0f / cy;                     // 求得中心点的距离                     double distance = sqrt(dx * dx + dy * dy);                     // 缩放半径                     double r = distance / zoom;                     // 后面除0操作,这里防止为0                     if(r == 0)                     {                         r = 1e-6;                     }                     // 求出角度                     double theta = atan(r);                     // 求出最新比例覆盖点的rX                     double rDistortedX = horizontalStrength * theta / r;                     // 求出最新比例覆盖点的rY                     double rDistortedY = verticalStrength * theta / r;                     // 求出当前这个点使用原来哪个点映射                     double dstX = cx + rDistortedX * dx * cx;                     double dstY = cy + rDistortedY * dy * cy;                     // 给map赋值                     mapX.at<float>(y, x) = static_cast<float>(dstX);                     mapY.at<float>(y, x) = static_cast<float>(dstY);                 }             }         }         cv::remap(srcMat, dstMat, mapX, mapY, cv::INTER_LINEAR);     } #endif      cv::imshow("dstMat", dstMat);     while(true)     {         cv::waitKey(0);     } #endif } 

 

工程模板v1.73.0

   OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

 

入坑

入坑一:map1和map2映射崩溃

问题

   映射崩溃,图是100x100,那么坐标x和y都是099,099,但是运行崩溃。
   OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

   OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

原因

   定位到remap奔溃,发现map的类型是float不是double。

解决

  OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

   OpenCV开发笔记(八十三):图像remap实现哈哈镜效果

发表评论

评论已关闭。

相关文章