Mathematical methods for camera self-calibration in photogrammetry and computer vision

Abstract

Camera calibration is a central subject in photogrammetry and geometric computer vision. Self-calibration is a most flexible and highly useful technique, and it plays a significant role in camera automatic interior/exterior orientation and image-based reconstruction. This thesis study is to provide a mathematical, intensive and synthetic study on the camera self-calibration techniques in aerial photogrammetry, close range photogrammetry and computer vision. In aerial photogrammetry, many self-calibration additional parameters (APs) are used increasingly without evident mathematical or physical foundations, and moreover they may be highly correlated with other correction parameters. In close range photogrammetry, high correlations exist between different terms in the ‘standard’ Brown self-calibration model. The negative effects of those high correlations on self-calibration are not fully clear. While distortion compensation is essential in the photogrammetric self-calibration, geometric computer vision concerns auto-calibration (known as self-calibration as well) in calibrating the internal parameters, regardless of distortion and initial values of internal parameters. Although camera auto-calibration from N≥3 views has been studied extensively in the last decades, it remains quite a difficult problem so far. The mathematical principle of self-calibration models in photogrammetry is studied synthetically. It is pointed out that photogrammetric self-calibration (or building photogrammetric self-calibration models) can – to a large extent – be considered as a function approximation problem in mathematics. The unknown function of distortion can be approximated by a linear combination of specific mathematical basis functions. With algebraic polynomials being adopted, a whole family of Legendre self-calibration model is developed on the base of the orthogonal univariate Legendre polynomials. It is guaranteed by the Weierstrass theorem, that the distortion of any frame-format camera can be effectively calibrated by the Legendre model of proper degree. The Legendre model can be considered as a superior generalization of the historical polynomial models proposed by Ebner and Grün, to which the Legendre models of second and fourth orders should be preferred, respectively. However, from a mathemtical viewpoint, the algebraic polynomials are undesirable for self-calibration purpose due to high correlations between polynomial terms. These high correlations are exactly those occurring in the Brown model in close range photogrammetry. They are factually inherent in all self-calibration models using polynomial representation, independent of block geometry. According to the correlation analyses, a refined model of the in-plane distortion is proposed for close range camera calibration. After examining a number of mathematical basis functions, the Fourier series are suggested to be the theoretically optimal basis functions to build the self-calibration model in photogrammetry. Another family of Fourier self-calibration model is developed, whose mathematical foundations are the Laplace’s equation and the Fourier theorem. By considering the advantages and disvantages of the physical and the mathematical self-calibration models, it is recommended that the Legendre or the Fourier model should be combined with the radial distortion parameters in many calibration applications. A number of simulated and empirical tests are performed to evaluate the new self-calibration models. The airborne camera tests demonstrate that, both the Legendre and the Fourier self-calibration models are rigorous, flexible, generic and effective to calibrate the distortion of digital frame airborne cameras of large-, medium- and small-formats, mounted in single- and multi-head systems (including the DMC, DMC II, UltraCamX, UltraCamXp, DigiCAM cameras and so on). The advantages of the Fourier model result from the fact that it usually needs fewer APs and obtains more reliable distortion calibration. The tests in close range photogrammetry show that, although it is highly correlated with the decentering distortion parameters, the principal point can be reliably and precisely located in a self-calibration process under appropriate image configurations. The refined in-plane distortion model is advantageous in reducing correlations with the focal length and improving the calibration of it. The good performance of the combined “Radial + Legendre” and “Radial + Fourier” models is illustrated. In geometric computer vision, a new auto-calibration solution which needs image correspondences and zero (or known) skew parameter only is presented. This method is essentially based on the fundamental matrix and the three (dependent) constraints derived from the rank-2 essential matrix. The main virtues of this method are threefold. First, a recursive strategy is employed subsequently to a coordinate transformation. With an appropriate approximation, the recursion estimates the focal length and aspect ratio in advance and then calculates the principal point location. Second, the optimal geometric constraints are selected using error propagation analyses. Third, the final nonlinear optimization is performed on the four internal parameters via the Levenberg–Marquardt algorithm. This auto-calibration method is fast and efficient to obtain a unique calibration. Besides auto-calibration, a new idea is proposed to calibrate the focal length from two views without the knowledge of the principal point coordinates. Compared to the conventional two-view calibration techniques which have to know principal point shift a priori, this new analytical method is more flexible and more useful. Although the auto-calibration and the two-view calibration methods have not been fully mature yet, their good performance is demonstrated in both simulated and practical experiments. Discussions are made on future refinements. It is hoped that this thesis not only introduces the relevant mathematical principles into the practice of camera self-calibration, but is also helpful for the inter-communications between photogrammetry and geometric computer vision, which have many tasks and goals in common but simply using different mathematical tools.

Die Kalibration von Kameras ist ein zentrales Thema in der Photogrammetrie und der Computer Vision. Das als Selbstkalibration bezeichnete Verfahren ist sehr flexibel und leistungsfähig und spielt eine signifikante Rolle bei der Bestimmung der inneren und äußeren Orientierung einer Kamera und in der bildbasierten Objektrekonstruktion. Diese Arbeit hat sich daher zum Ziel gesetzt, eine mathematische, detaillierte und synthetische Studie zum Einsatz der Selbstkalibration in der Luftbildphotogrammetrie, dem photogrammetrischen Nahbereich wie auch dem Computer Vision zu liefern. In der Luftbildphotogrammetrie hat der Einsatz von zusätzlichen Parametern für Zwecke der Selbstkalibration eine lange Tradition, auch wenn diese oft pragmatisch und ohne große mathematische oder physikalische Begründungen genutzt werden. Zudem sind sie hochkorreliert mit anderen Korrekturparametern. Im photogrammetrischen Nahbereich sind hohe Korrelationen schon seit langem bekannt, nicht zuletzt durch das als Quasi-Standard eingesetzte Brown'sche Selbstkalibrationsmodell. Die negativen Effekte dieser hohen Korrelationen sind bisher nur unzulänglichuntersucht. Die Verzeichnungskorrektur ist eine wesentliche Komponente der photogrammetrischen Selbstkalibration; dies ist im Computer Vision-Bereich nicht unbedingt der Fall: Hier ist mit der Autokalibration die Festlegung von einigen wenigen Parametern beschrieben, unabhängig von Verzeichnung und Näherungswerten. Auch wenn in den letzten Jahrzehnten eine Auto-Kalibration für N≥3 Bilder sehr extensiv untersucht worden ist, stellt diese nach wie vor ein schwieriges Thema dar. In dieser Arbeit wird zunächst das mathematische Problem der Selbstkalibration allgemein untersucht. Es kann gezeigt werden, dass die photogrammetrische Selbstkalibration (oder der Aufbau von Selbstkalibrationsmodellen) im Wesentlichen einer "Funktional-Approximation" der Mathematik entspricht. Die Abweichungen von der strengen Perspektivbildgeometrie werden mittels einer linearen Kombination von speziellen mathematischen Basisfunktionen approximiert. Mit Hilfe von algebraischen Polynomen kann eine Reihe von Legendre-Selbstkalibrationsmodellen definiert werden, die alle auf der Basis von orthogonalen, univariaten Legendre-Polynomen beruhen. Der Satz von Weierstrass garantiert, dass die geometrischen Abweichungen eines flächenhaft aufzeichnenden Kamerasystems effektiv durch die Verwendung von Legendre-Polynomen entsprechenden Grades kalibriert werden können. Dieses Legendre-Modell kann auch als eine wesentliche Verallgemeinerung der historischen Selbstkalibrationsmodelle, vorgeschlagen durch Ebner und Grün, angesehen werden, speziell wenn man Legendre-Polynome zweiten und vierten Grades einsetzt. Aus mathematischer Sicht haben diese algebraischen Polynome jedoch einen unerwünschten Nebeneffekt - hohe Korrelationen zwischen den Polynomtermen. Dies ist auch der Grund für die hohen Korrelationen im Brown'schen Ansatz der Nahbereichsphotogrammetrie. Dieser Nachteil ist inhärent und unabhängig von Blockgeometrie und externer Orientierung der Bilder. Als Ergebnis von Korrelationsanalysen wurde daher für den photogrammetrischen Nahbereich ein verbessertes Modell zur Korrektur der Verzeichnung in der Bildebene vorgeschlagen. Nachdem in dieser Arbeit eine Reihe von mathematischen Basisfunktionen geprüft wurden, werden speziell Fourierreihen als theoretisch optimale und geeignete Basisfunktionen zum Aufbau von Selbstkalibrationsmodellen empfohlen. Aus diesem Grund wurde eine Familie von Fourier-Selbstkalibrationsmodellen entwickelt, die auf der Laplace-Gleichung wie auch dem Satz von Fourier beruhen. Bei Abwägung aller Vor- und Nachteile von physikalischen und mathematischen Modellen zur Selbstkalibration wird vorgeschlagen, entweder Legendre- oder Fourierpolynome angereichert durch Parameter für die Korrektur der radialen Verzeichnung für Kalibrationsanwendungen einzusetzen. In dieser Arbeit wurden eine Reihe von Simulationen und empirischen Tests zur Untersuchung der neuen Selbstkalibrationsmodelle durchgeführt. Die Tests zu den digitalen Luftbildkamerasystemen zeigen, dass beide Gruppen – sowohl die Legendre- als auch die Fourier-Polynome –rigoros, flexibel, generisch, effektiv und erfolgreich zur Korrektur von geometrischen Abweichungen der Perspektivbildgeometrie von flächenhaft aufzeichnenden Kamerasystemen mit großen, mittleren oder kleinen Sensorformaten, eingesetzt in Einkopf- oder Mehrkopf-Systemen (eingeschlossen DMC, DMC II, UltraCamX, UltraCam Xp, DigiCAM usw.) eingesetzt werden können. Der Vorteil von Fourierpolynomen liegt darin, dass zum einen weniger zusätzliche Parameter notwendig sind und zum anderen eine bessere Verzeichnungskorrektur erreicht werden kann. Die Tests im photogrammetrischen Nahbereich zeigen, dass die Lage des Bildhauptpunkts zuverlässig rekonstruiert werden kann, obwohl hohe Korrelationen mit den dezentralen Verzeichnungsparametern auftreten. Das Modell der „Im-Bild“-Kalibration erlaubt eine verbesserte Bestimmung der Brennweite. Die gute Verwendungsmöglichkeit von kombinierten „Radial+Legendre“- sowie „Radial+Fourier“–Modellen zur Selbstkalibration wird gezeigt. Für den Einsatz im Computer Vision wird eine neue Methode zur Auto-Kalibration vorgeschlagen, welche lediglich Bildkorrespondenzen unabhängig von Bildverzerrung benötigt. Diese Methode basiert im Wesentlichen auf der Fundamentalmatrix und den drei (abhängigen) Bedingungen, abgeleitet von der Rang 2 Projektionsmatrix. Die drei wichtigsten Vorzüge des Verfahrens sind folgende: Erstens kann eine rekursive Strategie zur Bestimmung von Brennweite und der Lage des Bildhauptpunktes eingesetzt werden. Zweitens werden optimale geometrische Bedingungen ausgewählt mit Hinblick auf minimale Varianz. Drittens wird eine nichtlineare Optimierung für die vier internen Parameter mittels des Levenberg-Marquardt Algorithmus durchgeführt. Diese neue Methode der Autokalibration ist schnell, effizient und ergibt eine eindeutige Kalibration. Neben diesem neuen Verfahren zur Autokalibration wird vorgeschlagen, die Brennweite aus nur zwei Bildern zu berechnen, unabhängig von der Lage des Bildhauptpunkts. Im Vergleich zur bisherigen Vorgehensweise, welche die exakte Lage des Bildhauptpunkts benötigt, ist die neue Methode viel flexibler und einfacher. Auch wenn die Autokalibration nicht in all ihren Details untersucht worden ist, konnten sehr gute Ergebnisse durch Simulationen und praktische Experimente nachgewiesen werden. Ferner werden Diskussionen für zukünftige Verbesserungen ausgeführt. Es ist die Hoffnung des Autors, dass der Inhalt dieser Dissertation nicht nur alle relevanten mathematischen Prinzipien in die Praxis der Selbstkalibration eingeführt hat, sondern auch zum besseren Verständnis zwischen der Photogrammetrie und dem Computer Vision-Bereich beiträgt, die viele gemeinsame Aufgaben zu lösen haben, wenn auch mit unterschiedlichen mathematischen Hilfsmitteln.