openMVG源码学习（一）main_SfMInit_ImageListing
这个学习笔记将使用openmvg作为第三方库，官方文档当中所推荐的恢复运动结构的方法，当中代码的含义以及我在学习当中所发现的经验。也欢迎大家来讨论！
包含的代码与平台
ubuntu18.04
openMVG的安装就不在此赘述了主要参照官方文档就好
main_SfMInit_ImageListing.cpp
main_ComputeFeatures.cpp
main_ComputeMatches.cpp
main_IncrementalSfM.cpp
main_GlobalSfM.cpp
main_SfMInit_ImageListing.cpp
那么我们正式开始！
首先新建一个工程，把源码粘贴过来。
我们需要自己配置工程环境：
cmakelist.txt
首先来看一下cmakelist.txt怎么写？
cmake_minimum_required(VERSION 3.0.0)
project(mvgtest1)
set(CMAKE_CXX_STANDARD 17)
add_executable(mvgtest1 img_list.cpp ComputeFeatures.cpp ComputeMatches.cpp Globalsfm.cpp)
#OpenMVG,OpenCV,Ceres
find_package(OpenCV REQUIRED)
find_package(OpenMVG REQUIRED)
find_package(Ceres REQUIRED PATHS "${CERES_PATH}/Thirdparty/ceres-solver")
include_directories(${CERES_INCLUDE_DIRS})
set(LIBS ${Ceres_LIBS_DIR}/libceres.a umfpack cxsparse glog gflags gomp
ccolamd btf klu cholmod lapack blas camd amd pthread)
include_directories(${OPENMVG_INCLUDE_DIRS})
target_link_libraries(mvgtest1
PRIVATE
OpenMVG::openMVG_sfm
OpenMVG::openMVG_matching
OpenMVG::openMVG_camera
OpenMVG::openMVG_exif
OpenMVG::openMVG_features
OpenMVG::openMVG_geodesy
OpenMVG::openMVG_geometry
OpenMVG::openMVG_graph
OpenMVG::openMVG_image
OpenMVG::openMVG_linearProgramming
OpenMVG::openMVG_matching
OpenMVG::openMVG_matching_image_collection
OpenMVG::openMVG_multiview
OpenMVG::openMVG_numeric
OpenMVG::openMVG_robust_estimation
OpenMVG::openMVG_sfm
OpenMVG::openMVG_system
${OpenCV_LIBS}
)
FIND_PACKAGE( OpenMP REQUIRED)
if(OPENMP_FOUND)
message("OPENMP FOUND")
set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} ${OpenMP_C_FLAGS}")
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} ${OpenMP_CXX_FLAGS}")
set(CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} ${OpenMP_EXE_LINKER_FLAGS}")
endif()
FIND_PACKAGE( OpenMP REQUIRED)
if(OPENMP_FOUND)
message("OPENMP FOUND")
set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} ${OpenMP_C_FLAGS}")
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} ${OpenMP_CXX_FLAGS}")
endif()
不过多解释
代码运行前的准备
删除cmd相关的东西，反正这个在clion当中运行返回会出错，删除cmd的相关的东西也不会影响代码的完整性。删除之后main函数传参的参数，即int main()
之后，对代码的结构进行整理，让自己更加容易去看懂当中的逻辑安排。
数据准备
好了，罗嗦这么多，咱们进入代码的讲解，
首先，该cpp主要作用，是读取图片，获取路径，以及摄像机的内参参数，生成sfm_data.json文件为之后的特征匹配与重建的准备文件，之后的流程都要使用到该文件。
mian函数的开头，定义了程序的输入与输出的文件夹路径
std::string sImageDir = "../imgdata";
图片文件夹路径
std::string sOutputDir = "../output";
输出文件文件夹
std::string sKmatrix = "fx;0;ppx;0;fy;ppy;0;0;1";
相机内参矩阵，字符串读入，由checkIntrinsicStringValidity函数获取f，ppx，ppy数据
std::string sfileDatabase = "";
从文件读取数据数据库文件，读入到vector< Datasheet >当中
其中Datasheet存储相机型号和传感器尺寸的数据库结构
有两个成员 std::string model_; 和double sensorSize_;
std::pair<bool, Vec3> prior_w_info(false, Vec3(1.0,1.0,1.0));
预先定义的旋转的优先级
int i_User_camera_model = PINHOLE_CAMERA_RADIAL3;
定义相机模型的类型
enum EINTRINSIC
{
PINHOLE_CAMERA_START = 0,
PINHOLE_CAMERA, //无畸变
PINHOLE_CAMERA_RADIAL1, // 径向畸变K1
PINHOLE_CAMERA_RADIAL3, // 径向畸变K1,K2,K3
PINHOLE_CAMERA_BROWN, //径向畸变K1，K2，K3，切向畸变T1，T2
PINHOLE_CAMERA_FISHEYE, //具有4个畸变系数的简单鱼眼畸变模型
PINHOLE_CAMERA_END,
CAMERA_SPHERICAL = PINHOLE_CAMERA_END + 1
};
这是源码所给出的相机模型
bool b_Group_camera_model = true;
如果需要，可将具有相同特性的相机组合在一起（从而获得更快、更稳定的BA）。
int i_GPS_XYZ_method = 0;
在函数checkGPS当中传入，1为utm即（函数lla_to_utm）：
将WGS84 lon、lat、alt数据转换为UTM数据（通用横轴墨卡托）。
0为wgs84（函数lla_to_ecef）
将WGS84 lon、lat、alt数据转换为ECEF数据（地心固定）。
还有函数ecef_to_lla
将WGS84椭球体的ECEF（XYZ）转换为lon、lat、alt值。
数据读取
那么有了这些数据：
影像文件
输出文件夹
相机内参矩阵
传感器型号与尺寸
坐标基准
畸变模型
我们便可以对sfm_data.json进行建立了，这里对文件的数据与内参矩阵的检查不做赘述。
在读取各种数据之后：
double width = -1, height = -1, focal = -1, ppx = -1, ppy = -1;
被定义用于表示每张图片的内参，通过checkIntrinsicStringValidity函数检查并读入
const auto e_User_camera_model = EINTRINSIC(i_User_camera_model);
被定义畸变模型
std::vector<std::string> vec_image = stlplus::folder_files( sImageDir );
std::sort(vec_image.begin(), vec_image.end());
被定义为各张图片路径的vector，并且用名称排序
std::vector<Datasheet> vec_database;
存储传感器类型与尺寸，使用parseDatabase读入
读入并生成sfm_data.json
首先来看一下SfM_Data类，其用于定义通用SfM数据容器，存储结构和相机属性
包含成员：
Views
是一个Hash_Map<IndexT, std::shared_ptr<View>>，存储View类型
View视图通过一个字符串和视图、相机和姿势的唯一索引来定义图像
// image path on disk
std::string s_Img_path;
// Id of the view
IndexT id_view;
// Index of intrinsics and the pose
IndexT id_intrinsic, id_pose;
// image size
IndexT ui_width, ui_height;
Poses
using Poses = Hash_Map<IndexT, geometry::Pose3>; //定义姿势集合（按View::id_Pose索引）
方向矩阵和旋转中心 Mat3 rotation_; Vec3 center_; Eigen类型
Intrinsics
using Intrinsics = Hash_Map<IndexT, std::shared_ptr<cameras::IntrinsicBase>>;
为相机的内参属性
Landmarks
定义由TrackId索引的地标集合，Landmark包含两个成员，
3d点及其所对应于图像上的坐标的哈系表，
因为一个世界中的坐标可以被多张相机所观测到。
Landmarks点位又分为三角测量获得的点（用于BA）和地面控制点（用于GCP）
std::string s_root_path;
图片的根目录路径
接下来看看这个程序是如何编排进行读取的
创建一个SfM_Data，读取根目录
以vec_image的迭代器进行循环C_Progress_display在控制台显示进度
以一个循环为例：
初始化内参
width = height = ppx = ppy = focal = -1.0;
将文件夹与文件名（basename.extension）合并
const std::string sImageFilename = stlplus::create_filespec( sImageDir, *iter_image );
获取文件名-即不带文件夹部分但带有扩展名的文件名
const std::string sImFilenamePart = stlplus::filename_part(sImageFilename);
检测是否为图像
if (openMVG::image::GetFormat(sImageFilename.c_str()) == openMVG::image::Unknown)
{
error_report_stream
<< sImFilenamePart << ": Unkown image file format." << "\n";
continue; // image cannot be opened
}
//string::npos是一个常数，用来表示不存在的位置
//判断是否为遮罩图像
if (sImFilenamePart.find("mask.png") != std::string::npos
|| sImFilenamePart.find("_mask.png") != std::string::npos)
{
error_report_stream
<< sImFilenamePart << " is a mask image" << "\n";
continue;
}
//以上这两种情况跳过此循环
ImageHeader imgHeader;
if (!openMVG::image::ReadImageHeader(sImageFilename.c_str(), &imgHeader))
continue; // image cannot be read
width = imgHeader.width;
height = imgHeader.height;
ppx = width / 2.0;
ppy = height / 2.0;
考虑手动提供焦点的情况
if (sKmatrix.size() > 0) // 已知用户校准K矩阵
{
if (!checkIntrinsicStringValidity(sKmatrix, focal, ppx, ppy))
focal = -1.0;
}
else //用户提供的焦距值
if (focal_pixels != -1 )
focal = focal_pixels;
// 如果不是手动提供或错误提供
if (focal == -1)
{
std::unique_ptr<Exif_IO> exifReader(new Exif_IO_EasyExif);
//打开文件进行检查和分析返回bool
exifReader->open( sImageFilename );
//验证文件是否有元数据并且获取相机的型号不为空
const bool bHaveValidExifMetadata =
exifReader->doesHaveExifInfo()
&& !exifReader->getModel().empty();
//错误则报错，对则引用
if (bHaveValidExifMetadata) // If image contains meta data
{
const std::string sCamModel = exifReader->getModel();
// 处理焦距等于0的情况
if (exifReader->getFocal() == 0.0f)
{
error_report_stream
<< stlplus::basename_part(sImageFilename) << ": Focal length is missing." << "\n";
focal = -1.0;
}
else
// 在列表文件中创建图像条目
{
Datasheet datasheet;
if ( getInfo( sCamModel, vec_database, datasheet ))
{
// 在数据库中找到了相机模型，所以我们可以计算出它的近似焦距
const double ccdw = datasheet.sensorSize_;
focal = std::max ( width, height ) * exifReader->getFocal() / ccdw;
}
else
{
error_report_stream
<< stlplus::basename_part(sImageFilename)
<< "\" model \"" << sCamModel << "\" doesn't exist in the dataelse base" << "\n"
<< "Please consider add your camera model and sensor width in the database." << "\n";
}
}
}
}
获取相机模型，构建与视图相关的内在参数
std::shared_ptr<IntrinsicBase> intrinsic;
if (focal > 0 && ppx > 0 && ppy > 0 && width > 0 && height > 0)
{
// 创建所需的相机类型，这个前文中有描述
switch (e_User_camera_model)
{
case PINHOLE_CAMERA:
intrinsic = std::make_shared<Pinhole_Intrinsic>
(width, height, focal, ppx, ppy);
break;
case PINHOLE_CAMERA_RADIAL1:
intrinsic = std::make_shared<Pinhole_Intrinsic_Radial_K1>
(width, height, focal, ppx, ppy, 0.0); // setup no distortion as initial guess
break;
case PINHOLE_CAMERA_RADIAL3:
intrinsic = std::make_shared<Pinhole_Intrinsic_Radial_K3>
(width, height, focal, ppx, ppy, 0.0, 0.0, 0.0); // setup no distortion as initial guess
break;
case PINHOLE_CAMERA_BROWN:
intrinsic = std::make_shared<Pinhole_Intrinsic_Brown_T2>
(width, height, focal, ppx, ppy, 0.0, 0.0, 0.0, 0.0, 0.0); // setup no distortion as initial guess
break;
case PINHOLE_CAMERA_FISHEYE:
intrinsic = std::make_shared<Pinhole_Intrinsic_Fisheye>
(width, height, focal, ppx, ppy, 0.0, 0.0, 0.0, 0.0); // setup no distortion as initial guess
break;
case CAMERA_SPHERICAL:
intrinsic = std::make_shared<Intrinsic_Spherical>
(width, height);
break;
default:
std::cerr << "Error: unknown camera model: " << (int) e_User_camera_model << std::endl;
return EXIT_FAILURE;
}
}
构建与图像对应的视图，若有gps权重时（就需要定义为优先旋转）
const std::pair<bool, Vec3> gps_info = checkGPS(sImageFilename, i_GPS_XYZ_method);
if (gps_info.first)
{
//Views的子类，可以选择是否优先旋转，或者优先调整位置
ViewPriors v(*iter_image, views.size(), views.size(), views.size(), width, height);
// 添加与图像相关的内部文件（如果有）
if (intrinsic == nullptr)
{
//因为视图具有无效的内部数据
//（使用无效的内在字段值导出视图）
v.id_intrinsic = UndefinedIndexT;
}
else
{
// Add the defined intrinsic to the sfm_container
intrinsics[v.id_intrinsic] = intrinsic;
}
v.b_use_pose_center_ = true;
v.pose_center_ = gps_info.second;
//先前的权重
if (prior_w_info.first == true)
{
v.center_weight_ = prior_w_info.second;
}
//将视图添加到sfm容器
views[v.id_view] = std::make_shared<ViewPriors>(v);
}
没有gps信息时
else
{
View v(*iter_image, views.size(), views.size(), views.size(), width, height);
// Add intrinsic related to the image (if any)
if (intrinsic == nullptr)
{
//Since the view have invalid intrinsic data
// (export the view, with an invalid intrinsic field value)
v.id_intrinsic = UndefinedIndexT;
}
else
{
// Add the defined intrinsic to the sfm_container
intrinsics[v.id_intrinsic] = intrinsic;
}
// Add the view to the sfm_container
views[v.id_view] = std::make_shared<View>(v);
}
报错与保存
报错不讲
保存则将sfm_data的数据命名并保存到output文件当中
Save( sfm_data, stlplus::create_filespec( sOutputDir, "sfm_data.json" ).c_str(), ESfM_Data(VIEWS|INTRINSICS))
示例
这个示例很简单，读取一段图片，因为本流程不做gps约束因此不需要增加提前的pose