[Back]


Diploma and Master Theses (authored and supervised):

S. Horvath:
"Integration of relative and global orientation methods using a moving ToF camera";
Supervisor: N. Pfeifer, W. Karel; Department of Geodesy and Geoinformation, Vienna University of Technology, 2014; final examination: 2014-10-20.



English abstract:
The aim of this work is the estimation and enhancement of a trajectory formed by a moving ToF camera. The camera pose has to be known for each image in order to reconstruct the object in a common reference frame, recorded from multiple views. The quality of the model certainly depends on the quality of the orientation. This work deals with the reachable precision of the camera trajectory and with its improvement potential.
The camera poses are estimated by means of the global orientation method - the bundle adjustment - on the one hand and by the relative orientation method, which bases on the range and optical flow in the image, on the other hand. The bundle adjustment produces unbiased, but noisy estimates. In contrast, the relative orientation shows a smooth trajectory with a large accumulated error. Those deficiencies of each method led to the formulation of the hypothesis, that the integration of those methods results in a smooth unbiased estimate of the trajectory.
The bundle adjustment is an easily adaptable method, which simultaneously estimates all unknown parameters. Therefore, the relative orientation is integrated in the bundle adjustment. The relative orientation result, consisting of the difference translation and the difference rotation between two subsequent frames, is expressed as a function of the parameters of the bundle adjustment. The stochastic model is extended by the covariance matrix of the relative orientation. The range measurements, performed by the ToF camera, are introduced into the model as well. The weighting of the different observation types is accomplished by the variance component estimation (VCE).
The approach is verified on two data sets. Saturation and motion blur mainly influenced the data acquisitions. The imperfections of the data recorded by a ToF camera are discussed as well.
Data set one delivers precise bundle adjustment results, but low quality relative orientations because of noise and less contrast in the texture. The integration of the relative orientation does not show much improvement because of already precise bundle adjustment results.
The bundle adjustment results of data set two are of lower precision, which is likely caused by motion blur. However, due to less noise and a higher contrast in the images, better results of the relative orientation are achieved. The integration of both methods decreases the trajectory error by a factor of 14 and the precision of the parameters improved by a factor of 3. However, the relative orientation results are not Gaussian distributed, thus the preconditions for an optimal estimate and the application of the VCE are not given. Hence the results, may not be adopted uncritically.
Although gross errors have been eliminated and systematic errors have been regarded, the distribution of the range residuals does not correspond to a normal distribution. The trajectory, derived by integrating the relative orientation and the ranges, has an offset. Due to not considered systematic range errors the observations got deformed and the camera trajectory is moved towards the object.

German abstract:
Das Ziel dieser Arbeit ist die Bestimmung und Verbesserung der Trajektorie einer bewegten Distanz- Kamera. Um ein Objekt mittels Bildern rekonstruieren zu können, muss die Position und die Stellung der Kamera im Raum zum Zeitpunkt der Aufnahme bekannt sein. Die Genauigkeit des geometrischen Modells hängt von der Genauigkeit der äußeren Orientierung der Kamera ab, deswegen widmet sich diese Arbeit der Schätzung und Genauigkeitssteigerung der Kamera-Trajektorie.
Einerseits wird die Kamera-Trajektorie diskret auf Basis der äußeren Orientierungen der Bündelblockausgleichung hergestellt, andererseits liefert der Range Optical Flow in den Amplituden- und Distanzbildern eine relative Orientierung zwischen aufeinanderfolgenden Bildern. Durch Aufsummierung der einzelnen relativen Orientierungen erhällt man ebenfalls die Kamera-Trajektorie. Basierend auf einem Vergleich dieser Trajektorien, wird die These formuliert, dass die Integration beider Verfahren zu einer glatten, erwartungstreuen Trajektorie führt.
Das Modell der Bündelblockausgleichung lässt sich einfach erweitern, weshalb die relative Orientierung in diese Ausgleichung integriert wird. Dafür muss ein funktionaler Zusammenhang zwischen den relativen Orientierungs-Ergebnissen und den Parametern der Bündelblockausgleichung definiert werden. Das stochastische Modell wird ebenfalls um die Kovarianzmatrix der relativen Orientierung erweitert. Weiters werden die Distanzmessungen der ToF-Kamera in das Modell inkludiert. Die Gewichtung verschiedener Beobachtungstypen wird auf Basis der Varianzkomponentenschätzung durchgeführt.
Diese These wird anhand von zwei Datensätzen evaluiert, die wesentlich von Sättigungseffekten und Bewegungsunschärfe bestimmt sind; folglich werden auch die Unzulänglichkeiten des Messsystems behandelt. Der erste Datensatz liefert präzise äußere Orientierungen der Bündelblockausgleichung, aber im Vergleich zum zweiten Datensatz schlechtere relative Orientierungen. Die Integration der beiden Orientierungsmethoden führt zu keiner sichtlichen Verbesserung der Trajektorie, weil die Ausgangsdaten bereits ein sehr hohes Genauigkeitsniveau aufweisen.
Die Bündelblockausgleichungsergebnisse des zweiten Datensatzes sind - wahrscheinlich durch Bewegungsunschärfe verursacht - um einen Faktor zwei ungenauer als jene des ersten. Die relative Orientierung ist präziser als beim ersten Datensatz aufgrund von geringerem Rauschen und einem höheren Bildkontrast. Die Integration der relativen Orientierung verbessert den Trajektorienfehler um einen Faktor 14 und die Präzision der äußeren Orientierung um einen Faktor 3. Da Voraussetzungen der kleinsten Quadrate Ausgleichung sowie der Varianzkomponentenschätzung nicht erfüllt sind, dürfen diese Ergebnisse nicht unreflektiert übernommen werden.
Obwohl grobe Fehler entfernt und systematische Fehler in den Distanzbeobachtungen berücksichtigt werden, entspricht die Verteilung der Verbesserungen nicht einer Normalverteilung. Auch die geschätzte Kamera-Trajektorie zeigt, dass noch systematische Fehler in den Distanzen enthalten sind.


Electronic version of the publication:
http://publik.tuwien.ac.at/files/PubDat_231404.pdf


Created from the Publication Database of the Vienna University of Technology.