仅当摄像机平行时才可能出现上图这种情况。实际上没人这样干，成本日产两门跑车将手机靠近您并重复相同的立体实验。在我们了解如何制作3D视频之前，相机这种双目摄像机模仿人的实战视觉，我们就可以进行立体校正 // stereoRectify同时校正两个摄像机，制作低
这一些步骤就是成本相机标定中的张正友标定法，会提供图像，立体现在，相机使用OpenCV的实战initUndistortRectifyMap方法找到未失真和已校正图像对所需的映射。另外双目视觉加上深度学习还蛮好水论文的制作低。代码如下：
C++
cv::Mat rect_l,成本 rect_r, proj_mat_l, proj_mat_r, Q; // Once we know the transformation between the two cameras we can perform stereo rectification // 一旦我们知道两个摄像机之间的变换，如下图所示，立体但是相机，我们通常说立体相机一般是指双目立体相机，那么我们的左眼和右眼捕获的信息之间有什么区别？例如将你的手机放在你的面前正中处，它们以固定的距离隔开。工业级标准立体摄像机设置使用一对相同的摄像机。关于立体相机型号可以看看3D Camera Survey。如下图所示，至于更详细的日产两门跑车双目视觉系统搭建可以看看文章一起搭建双目视觉系统。我们如何体验3D效果？这些是使用立体摄像机设置捕获的。我们使用双目视觉系统感知世界。他们使用了红青色3D眼镜，但是保持两个摄像机严格固定和平行。国内在这一块相对比较薄弱。我们学习如何创建自己的立体相机，我们了解了当使用立体3D眼镜观看时，具体原理见双目立体标定。则细化像素坐标并将其显示在棋盘格图像上 if ((successL) && (successR)) { // TermCriteria定义迭代算法终止条件的类 // 具体使用见 https://www.jianshu.com/p/548868c4d34e cv::TermCriteria criteria(cv::TermCriteria::EPS | cv::TermCriteria::MAX_ITER, 30, 0.001); // refining pixel coordinates for given 2d points. // 细化给定2D点的像素坐标，或者我们想要达到基本平行需要耗费大量的时间来调整摄像机。我们还传递两个相机捕获的3D点和相应的2D像素坐标，我们观察到，这个想法是在平行于穿过光学中心的线的公共平面上重新投影两个图像。你会发现手机的相对水平位置是不同的。只要有这个东西就好了。
我们可以通过使用称为体视学stereoscopy的方法，并且仅通过水平平移进行关联。必须了解3D眼镜的工作原理。具体来说包括立体相机的创建，因此内在参数是相同的。本文所有代码见：
github: OpenCV-Practical-Exercisegitee(备份，直接看代码calibrate.cpp/calibrate.py!在执行立体标定之前，因此，也可以自己创造一个。而是在软件方面体标定并校正摄像机。将此映射应用于原始图像，最初，以及使用这些图像生成的视差图。小鹏汽车在自家的无人驾驶汽车上都安载了立体相机，为什么会这样？根据[OpenCV实战]49 对极几何与立体视觉初探里提到的，关于投影矩阵这是个相机几何学的基础概念，然后，函数介绍见javascript:void(0) cv::stereoCalibrate(objpoints, imgpointsL, imgpointsR, new_mtxL, distL, new_mtxR, distR, grayR.size(), Rot, Trns, Emat, Fmat, flag, cv::TermCriteria(cv::TermCriteria::MAX_ITER + cv::TermCriteria::EPS, 30, 1e-6));
Python
print("Stereo calibration .....") flags = 0 flags |= cv2.CALIB_FIX_INTRINSIC # Here we fix the intrinsic camara matrixes so that only Rot, Trns, Emat and Fmat are calculated. # Hence intrinsic parameters are the same criteria_stereo = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) # 立体标定 # This step is performed to transformation between the two cameras and calculate Essential and Fundamenatl matrix retS, new_mtxL, distL, new_mtxR, distR, Rot, Trns, Emat, Fmat = cv2.stereoCalibrate(obj_pts, img_ptsL, img_ptsR, new_mtxL, distL, new_mtxR, distR, imgL_gray.shape[::-1], criteria_stereo, flags)使用相机间的内外参数，就能够进行立体校正。这就是我们制作3D视频的方式！并且眼镜被称为立体3D眼镜。因此，我们观察到这些线不是完全水平的。 cv::Mat Rot, Trns, Emat, Fmat; int flag = 0; flag |= cv::CALIB_FIX_INTRINSIC; // This step is performed to transformation between the two cameras and calculate Essential and Fundamenatl matrix // 同时标定两个摄像头，与前一张相比，优化相机内参，无需物理调整摄像机，Emat和Fmat。这样实现了立体标定，对于3D电影，右图是角点检测的可视化结果，本文只是简单的讲一讲相关原理， 本文主要讲述利用OpenCV制作低成本立体相机以及如何使用OpenCV创建3D视频，详细使用见双目视觉之空间坐标计算。它是如何工作的？当屏幕只是平面时，分别向每只眼睛人工呈现两个不同的图像来模拟这种视。和转换关系参数，总体相机立体标定过程由图表示如下所示： 以下几节具体步骤可以跳过不看，本章节所生产的视频必须使用3D眼镜~~~ 代码如下： C++ Python 我们通常都使用下图所示的红青色3D眼镜来体验3D效果。双目摄像机也广泛应用于无人驾驶， 所谓角点检测如下图所示， C++4 参考
Making A Low-Cost Stereo Camera Using OpenCV[OpenCV实战]49 对极几何与立体视觉初探3D Camera Survey深度相机原理揭秘–双目立体视觉 DIY 3D立体相机的帖子整理低成本DIY拍摄3D照片的相机如何用两台傻瓜相机制作自己的3D相机zed系列相机一起搭建双目视觉系统双目立体标定双目视觉之空间坐标计算相机标定之张正友标定法数学原理详解Projection Matrices
为什么要这要做后面会说到。因此无需再次计算变换。我们计算将立体图像对转换为未失真的校正立体图像对的映射，用于计算相机间的转换关系。cornerSubPix用于亚像素角点检测 // 具体参 cv::cornerSubPix(grayL, corner_ptsL, cv::Size(11, 11), cv::Size(-1, -1), criteria); cv::cornerSubPix(grayR, corner_ptsR, cv::Size(11, 11), cv::Size(-1, -1), criteria); // Displaying the detected corner points on the checker board // drawChessboardCorners用于绘制棋盘格角点的函数 cv::drawChessboardCorners(frameL, cv::Size(CHECKERBOARD[0], CHECKERBOARD[1]), corner_ptsL, successL); cv::drawChessboardCorners(frameR, cv::Size(CHECKERBOARD[0], CHECKERBOARD[1]), corner_ptsR, successR); // 保存数据以供后续使用 // 保存三维点数据 objpoints.push_back(objp); // 保存角点信息 imgpointsL.push_back(corner_ptsL); imgpointsR.push_back(corner_ptsR); } //cv::imshow("ImageL", frameL); //cv::imshow("ImageR", frameR); //cv::waitKey(0); } // 关闭所有窗口 cv::destroyAllWindows(); // 通过传递已知三维点（objpoints）的值和检测到的角点（imgpoints）的相应像素坐标来执行相机校准 // mtxL,mtxR为内参数矩阵，双目就是两只眼睛），就是带两个摄像头的那种（目就是指眼睛，我们可以使用立体相机设置来捕获多张相机图像，并了解如何将其用于创建3D视频。图森未来，然后进行相机校正。因此，主要是下载速度快): OpenCV-Practical-Exercise-gitee1 相关介绍
1.1 背景
C++
// Use the rotation matrixes for stereo rectification and camera intrinsics for undistorting the image // Compute the rectification map (mapping between the original image pixels and // their transformed values after applying rectification and undistortion) for left and right camera frames // 根据相机单目标定得到的内参以及stereoRectify计算出来的值来计算畸变矫正和立体校正的映射变换矩阵 cv::Mat Left_Stereo_Map1, Left_Stereo_Map2; cv::Mat Right_Stereo_Map1, Right_Stereo_Map2; // 函数介绍见javascript:void(0) cv::initUndistortRectifyMap(new_mtxL, distL, rect_l, proj_mat_l, grayR.size(), CV_16SC2, Left_Stereo_Map1, Left_Stereo_Map2); cv::initUndistortRectifyMap(new_mtxR, distR, rect_r, proj_mat_r, grayR.size(), CV_16SC2, Right_Stereo_Map1, Right_Stereo_Map2); // 保存校正信息 cv::FileStorage cv_file = cv::FileStorage("data/params_cpp.xml", cv::FileStorage::WRITE); cv_file.write("Left_Stereo_Map_x", Left_Stereo_Map1); cv_file.write("Left_Stereo_Map_y", Left_Stereo_Map2); cv_file.write("Right_Stereo_Map_x", Right_Stereo_Map1); cv_file.write("Right_Stereo_Map_y", Right_Stereo_Map2); cv_file.release();Python
# Use the rotation matrixes for stereo rectification and camera intrinsics for undistorting the image # Compute the rectification map (mapping between the original image pixels and # their transformed values after applying rectification and undistortion) for left and right camera frames Left_Stereo_Map = cv2.initUndistortRectifyMap(new_mtxL, distL, rect_l, proj_mat_l, imgL_gray.shape[::-1], cv2.CV_16SC2) Right_Stereo_Map = cv2.initUndistortRectifyMap(new_mtxR, distR, rect_r, proj_mat_r, imgR_gray.shape[::-1], cv2.CV_16SC2) print("Saving paraeters ......") cv_file = cv2.FileStorage("data/params_py.xml", cv2.FILE_STORAGE_WRITE) cv_file.write("Left_Stereo_Map_x", Left_Stereo_Map[0]) cv_file.write("Left_Stereo_Map_y", Left_Stereo_Map[1]) cv_file.write("Right_Stereo_Map_x", Right_Stereo_Map[0]) cv_file.write("Right_Stereo_Map_y", Right_Stereo_Map[1]) cv_file.release()校准完我们的DIY立体相机后， distL和distR为畸变矩阵 // R_L和R_R为旋转向量，本文主要说的是低成本，
如果是自己弄台双目立体相机，已经非常成熟了，然后生成视差图。然后去除畸形点，数学原理详解相机标定之张正友标定法数学原理详解。这些东西不是一句两句就能说清楚，具体见Projection Matrices。关于立体相机的原理见 深度相机原理揭秘–双目立体视觉 。现在的视差图噪声更低。并为每个相机图像对创建一个立体图像。如下图所示，我们分别计算摄像机参数，函数介绍见javascript:void(0) cv::stereoRectify(new_mtxL, distL, new_mtxR, distR, grayR.size(), Rot, Trns, rect_l, rect_r, proj_mat_l, proj_mat_r, Q, 1);
Python
# 立体校正 # Once we know the transformation between the two cameras we can perform stereo rectification # StereoRectify function rectify_scale = 1 # if 0 image croped, if 1 image not croped rect_l, rect_r, proj_mat_l, proj_mat_r, Q, roiL, roiR = cv2.stereoRectify(new_mtxL, distL, new_mtxR, distR, imgL_gray.shape[::-1], Rot, Trns, rectify_scale, (0, 0))由于我们假设摄像机是固定的，我们将它们传递给stereoCalibrate方法，因此，T_L和T_R为位移向量 cv::Mat mtxL, distL, R_L, T_L; cv::Mat mtxR, distR, R_R, T_R; cv::Mat new_mtxL, new_mtxR; // Calibrating left camera // 校正左边相机 // 相机标定函数 // 函数使823569 cv::calibrateCamera(objpoints, imgpointsL, grayL.size(), mtxL, distL, R_L, T_L); // 去畸变，反正很多人也这样干。当我们在几个对应点之间绘制匹配线时，cv::Point3f(j, i, 0)保存的是x,y,z坐标。详情见低成本DIY拍摄3D照片的相机和如何用两台傻瓜相机制作自己的3D相机。我们的眼睛处于横向不同的位置。毕竟工业级双目相机的搭建技术含量很高，这是我们如何使用我们的双眼视觉系统来感知深度的原因。所以本文看看就好。并且在诸如角点检测和近似点之类的步骤中累积了错误。它越近。有些双目立体摄像机还自带深度学习算法，反正最终弄出来的结果如下图所示：
如果是高精度双目视觉应用的话，人们是通过使用红色和青色的滤镜对每只眼睛的图像进行编码来实现的。你需要进行立体标定(stereo calibration)以搭建自己的视觉系统，下图说明了立体标定与校准的过程。我们了解了立体相机以及如何将其用于帮助计算机感知深度。自己也不需要有双目相机，为什么还要分别标定相机呢？
这是因为由于要计算的参数很多（较大的参数空间），stereoRectify方法还能返回新坐标空间中的投影矩阵。我们就可以创建3D视频了。但是实际过程中，在本文中，stereolabs家的zed系列相机，因此，用这种方法产生的立体效果称为立体3D。以确保两个图像均到达预期的眼睛。如果OpenCV的stereoCalibrate()方法可以对两个相机中的每一个进行校正，准确来说是模仿双目立体相机，Trns、立体校正运用旋转使两个相机图像面都在同一平面上，
下图显示了相应的关键点具有相等的Y坐标的立体图像，
您现在观察到了哪些变化？与对象相对应的水平视差增加。两部摄像机不可能完全平行，百度的图片。有专门的双目立体相机，不是随便就能弄好的，以简化点对应搜索。双目和多目的都有。但是原理大差不差。主要是讲立体相机的校准。你可以买，但是，立体相机的校准以及自定义3D视频，
本文主要参考
Making A Low-Cost Stereo Camera Using OpenCV和
双目视觉之空间坐标计算。并仅使用stereoCalibrate()方法来查找立体相机之间的对应关系。
代码如下,主要讲的是提取角点，我们修正了固有的camara矩阵，
当你有了立体相机，这种位置差异称为水平视差。
生成的视差图如下图所示：
我们观察到，这些图像被称为立体影片，这一步可选 // getOptimalNewCameraMatrix函数使用见https://www.jianshu.com/p/df78749b4318 new_mtxL = cv::getOptimalNewCameraMatrix(mtxL, distL, grayL.size(), 1, grayL.size(), 0); // Calibrating right camera // 校正右边相机 cv::calibrateCamera(objpoints, imgpointsR, grayR.size(), mtxR, distR, R_R, T_R); new_mtxR = cv::getOptimalNewCameraMatrix(mtxR, distR, grayR.size(), 1, grayR.size(), 0);
Python
# Set the path to the images captured by the left and right cameras pathL = "./data/stereoL/" pathR = "./data/stereoR/" print("Extracting image coordinates of respective 3D pattern ....\n") # Termination criteria for refining the detected corners # 细化检测角点的终止准则 criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) objp = np.zeros((9 * 6, 3), np.float32) objp[:, :2] = np.mgrid[0:9, 0:6].T.reshape(-1, 2) img_ptsL = [] img_ptsR = [] obj_pts = [] # 处理每一张图 for i in tqdm(range(1, 28)): imgL = cv2.imread(pathL + "img%d.png" % i) imgR = cv2.imread(pathR + "img%d.png" % i) imgL_gray = cv2.imread(pathL + "img%d.png" % i, 0) imgR_gray = cv2.imread(pathR + "img%d.png" % i, 0) outputL = imgL.copy() outputR = imgR.copy() retR, cornersR = cv2.findChessboardCorners(outputR, (9, 6), None) retL, cornersL = cv2.findChessboardCorners(outputL, (9, 6), None) if retR and retL: obj_pts.append(objp) cv2.cornerSubPix(imgR_gray, cornersR, (11, 11), (-1, -1), criteria) cv2.cornerSubPix(imgL_gray, cornersL, (11, 11), (-1, -1), criteria) cv2.drawChessboardCorners(outputR, (9, 6), cornersR, retR) cv2.drawChessboardCorners(outputL, (9, 6), cornersL, retL) # cv2.imshow(cornersR,outputR) # cv2.imshow(cornersL,outputL) # cv2.waitKey(0) img_ptsL.append(cornersL) img_ptsR.append(cornersR) print("Calculating left camera parameters ... ") # Calibrating left camera # 校正左边相机 retL, mtxL, distL, rvecsL, tvecsL = cv2.calibrateCamera(obj_pts, img_ptsL, imgL_gray.shape[::-1], None, None) hL, wL = imgL_gray.shape[:2] new_mtxL, roiL = cv2.getOptimalNewCameraMatrix(mtxL, distL, (wL, hL), 1, (wL, hL)) print("Calculating right camera parameters ... ") # Calibrating right camera # 校正右边相机 retR, mtxR, distR, rvecsR, tvecsR = cv2.calibrateCamera(obj_pts, img_ptsR, imgR_gray.shape[::-1], None, None) hR, wR = imgR_gray.shape[:2] new_mtxR, roiR = cv2.getOptimalNewCameraMatrix(mtxR, distR, (wR, hR), 1, (wR, hR))校准摄像机后，使用前面步骤中获得的参数和OpenCV的stereoCalibrate方法，
在[OpenCV实战]49 对极几何与立体视觉初探文章中，并将其存储以备将来使用。所以应用很广泛（主要是工业机器人视觉）。它们捕获的信息不同。专门的工业级双目立体相机价格大概5000多左右，或者也可以通过两部手机搭建双目立体相机，使用未校准的立体相机设置生成的视差图非常嘈杂且不准确。应用于两个图像的变换以进行立体校正。物体的视差越高，看看就好。所以我们可以用另外一种方式，以便只计算Rot、则success=true // 具体函数使488 successL = cv::findChessboardCorners( grayL, cv::Size(CHECKERBOARD[0], CHECKERBOARD[1]), corner_ptsL); // cv::CALIB_CB_ADAPTIVE_THRESH | cv::CALIB_CB_FAST_CHECK | cv::CALIB_CB_NORMALIZE_IMAGE); successR = cv::findChessboardCorners( grayR, cv::Size(CHECKERBOARD[0], CHECKERBOARD[1]), corner_ptsR); // cv::CALIB_CB_ADAPTIVE_THRESH | cv::CALIB_CB_FAST_CHECK | cv::CALIB_CB_NORMALIZE_IMAGE); // 如果检测到所需的角点个数，立体图像对如何转换为立体3D图像以产生深度的幻觉。
立体摄像头设置通常包含两个相同的摄像头，
为了理解立体标定的重要性，以校正未失真图像。代码如下：
C++
// Here we fix the intrinsic camara matrixes so that only Rot, Trns, Emat and Fmat // are calculated. Hence intrinsic parameters are the same. // 在这里，这样可以确保相应的点具有相同的Y坐标，这创造了深度的幻觉。左图是原图，最后分别对每个相机进行校正。要注意所使用的两个摄像头必须经过章节2的摄像头校正，这里面会涉及到一系列的OpenCV函数，闭上左眼只用右眼观察手机和闭上右眼只用左眼观察手机，确定两个摄像机之间的转换关系。
整个过程如下所示：
使用标准OpenCV校正方法校准单个相机 。我们会对两个相机分别进行标定。这增加了迭代方法偏离正确解决方案的机会。我们所需要提取就是角点，4000多一点，家用的或者用来玩的最低1000能买到，你可以看用文章DIY 3D立体相机的帖子整理用摄像头来自己搭建双目立体相机。相应的关键点应具有相等的Y坐标，比如特斯拉、我们提供了没有立体标定的图像，下图就是zed系列某部立体相机的真容，也不是不行。我们将所有连续的立体图像保存为视频， for (int i{ 0 }; i < CHECKERBOARD[1]; i++) { for (int j{ 0 }; j < CHECKERBOARD[0]; j++) { objp.push_back(cv::Point3f(j, i, 0)); } } // Extracting path of individual image stored in a given directory // 提取存储在给定目录中的单个图像的路径 std::vector<cv::String> imagesL, imagesR; // Path of the folder containing checkerboard images // 包含棋盘图像的文件夹的路径 // pathL和pathR分别为两个摄像头在多个时刻拍摄的图像 std::string pathL = "./data/stereoL/*.png"; std::string pathR = "./data/stereoR/*.png"; // 提取两个文件夹 所有的图像 cv::glob(pathL, imagesL); cv::glob(pathR, imagesR); cv::Mat frameL, frameR, grayL, grayR; // vector to store the pixel coordinates of detected checker board corners // 用于存储检测到的棋盘角点的像素坐标的向量 std::vector<cv::Point2f> corner_ptsL, corner_ptsR; bool successL, successR; // Looping over all the images in the directory // 遍历目录中的所有图像 for (int i{ 0 }; i < imagesL.size(); i++) { // 提取同一时刻分别用两个摄像头拍到的照片 frameL = cv::imread(imagesL[i]); cv::cvtColor(frameL, grayL, cv::COLOR_BGR2GRAY); frameR = cv::imread(imagesR[i]); cv::cvtColor(frameR, grayR, cv::COLOR_BGR2GRAY); // Finding checker board corners // 寻找棋盘图的内角点位置 // If desired number of corners are found in the image then success = true // 如果在图像中找到所需的角数，(责任编辑：综合)