[Back]

A. Roncat:
"Automatisierte Bildorientierung mit projektiven Methoden";
Supervisor: K. Kraus, C. Ressl; Institut für Photogrammetrie und Fernerkundung, 2006.

The determination of orientation plays an important role in photogrammetry. Its quality strongly affects the quality of the final results.
In airborne photogrammetry, the determination of both the relative and the absolute orientation is supported increasingly by the use of GPS and IMU. On the other hand, in close-range photogrammetry, the task of orientation is much more difficult to handle because very differing rotations and scales may appear. Principally, the computation of approximate values may be difficult - especially if the distribution of control points is poor. In this case, tie points have to be measured manually which is a very time-consuming task. Therefore, an automatic technique to cope with this problem is strongly needed. In this thesis, such a technique is presented.

First of all, points of interest and its features (saved in a 128-dimensional vector) are extracted. This vector is the so called keypoint descriptor. The method to determine it, whose name is Scale Invariant Feature Transform (SIFT), was developed by David G. Lowe. The features are both rotational and scale-invariant and also partly invariant to changes in illumination. After the extraction of keypoints, corresponding point pairs were found by a matching process using nearest neighbourhood.

By the means of projective geometry, the parameters of the relative orientation can be computed using these point correspondences. First of all, the fundamental matrix F was computed by the use of the so called 8-point-algorithm and the robust estimation technique RANSAC. This was due to the high amount of mismatches.

In a next step, the essential matrix E was calculated from the fundamental matrix and the known camera calibrations. The SVD of the essential matrix gives a unique solution for the parameters of the relative orientation (up to scale). If more than one pair of images is used, the intrinsic scales for the base vectors can be determined using the so called projective depth.

All steps were implemented in MATLAB, whereas the demo version siftDemoV4 of David G. Lowe was used to compute the keypoint descriptors because of runtime advantages.

The presented method was tested by the means of three close-range example scenes.

For the sake of completeness, also two methods for self-calibration are presented which come into use in case of uncalibrated images.

Der Orientierungsaufgabe kommt in der Photogrammetrie besondere Bedeutung zu, steht sie doch am Beginn jedes photogrammetrischen Auswerteprozesses, ihre Qualität hat entscheidenden Einfluss auf die Qualität des Endergebnisses.
Im Luftbildfall wird die Bestimmung der - relativen wie absoluten - Orientierung durch den verstärkten Einsatz von GPS und IMU zunehmend erleichtert. Anders sieht es hingegen in der terrestrischen Photogrammetrie aus, wo unterschiedlichste Aufnahmeentfernungen und Drehwinkel auftreten können. Hier gestaltet sich vor allem die Ermittlung von Näherungswerten für die Orientierungsparameter recht schwierig, besonders in passpunktlosen Bereichen. Das Messen von Verknüpfungspunkten in den Bildern geschieht nach wie vor meist manuell und stellt einen gleichermaßen mühsamen wie zeitraubenden Arbeitsschritt dar. Daher ist der Bedarf für ein automatisiertes Verfahren sehr groß, ausgehend von digitalen Bildern und ihren Kalibrierungsdaten die relativen Orientierungen automatisch zu bestimmen. Ein solches wird in dieser Arbeit vorgestellt und getestet.

Zuerst werden aus den Bildern Interest Points und ihre Merkmale (die in einem 128-dimensionalen Vektor, dem so genannten Keypoint Descriptor, verspeichert werden) mittels der Methode der Scale Invariant Feature Transform (SIFT) von David G. Lowe extrahiert. Diese Merkmale sind sowohl maßstabs- als auch rotationsinvariant und auch zum Teil invariant gegenüber Änderungen der Beleuchtungsverhältnisse. Nach der Extraktion der Keypoint Descriptors wurden mittels Nearest Neighbourhood korrespondierende Keypoints in den jeweiligen Bildpaaren ermittelt.

Aus den nun vorliegenden homologen Punktepaaren können mit den Verfahren der Projektiven Geometrie die Parameter der relativen Orientierung ermittelt werden. Zuerst wurde mit dem so genannten 8-Punkte-Algorithmus die Fundamentalmatrix F berechnet. Da eine größere Anzahl von Fehlkorrespondenzen zu erwarten war, wurde das robuste Schätzverfahren RANSAC eingesetzt, um diese zu eliminieren.

Mit den bekannten inneren Orientierungen der Aufnahmen wurden aus der F-Matrix die so genannte Essentielle Matrix E berechnet, aus denen eindeutig die Parameter der Relativen Orientierung hervorgehen. Da die Relative Orientierung maßstabsfrei ist, kann noch die so genannte projektive Tiefe zur Maßstabsbestimmung eingeführt werden.

Die erwähnten Arbeitsschritte wurden in MATLAB implementiert, wobei aufgrund der deutlich kürzeren Rechenzeit für die Ermittlung der Keypoint Descriptors das Demo-Programm siftDemoV4 von David G. Lowe verwendet wurde.

Die vorgestellte Methode wurde anhand von drei Nahbereichs-Beispielen unter unterschiedlichen Verhältnissen getestet.

Der Vollständigkeit halber werden noch zwei Verfahren der Selbstkalibrierung vorgestellt, die bei der Verwendung von unkalibrierten Aufnahmen zum Einsatz kommen.

http://publik.tuwien.ac.at/files/PubDat_120254.pdf