[Back]


Doctor's Theses (authored and supervised):

E. Rupnik:
"Photogrammetric shape reconstruction of diffuse and specular objects in time";
Supervisor, Reviewer: J. Jansa, F. Remondino; Department für Geodäsie und Geoinformation, 2015; oral examination: 2015-09-15.



English abstract:
A multi-view imaging system is built and equipped with a set of software tools to perform 4D (3D and time) precision measurements of diffuse and specular surfaces. It consists of three consumer grade dSLR cameras, acquiring images in single frame and video modes. The feasibility of the system is proved in a series of measurements of a 4x4m platform, floating on the water surface. Both the motion of the platformīs building blocks as well as the modelling of the instantaneous shape of the water surface are put in focus.
The first part of the dissertation deals with the camera orientation and triangulation tasks. Prior to the measurements, the cameras are calibrated, that is their interior orientation, lens distortions and relative orientation are retrieved. The simultaneous retrieval of all the parameters is carried out in a self-adjusting bundle adjustment using the method of moved reference bar. During the measurement, the three cameras have remained static with respect to one another, thus their relative orientation is regarded constant. However, at times the position of the whole system has undergone a motion. It has been due to the observed object drift, requiring a corresponding motion of the imaging system to maintain the same field of view. This motion has been unknown yet resolved by introducing a 3D rigid transformation into the bundle adjustment equations at appropriate time instances. It is possible with a minimum of three static object points observed. The dynamic referencing and triangulation of the platform targets are simultaneously solved in a bundle adjustment routine.
The surveyed object has been signalised with circular retro-reflective targets. Thanks to their particular micro-structure, a ray of light cast onto its surface returns a strong signal back to the camera. This type of targetting is attractive due to its better image observation precision and the fact that it is less susceptible to ambient lighting, such as numerous reflections from water or other shiny parts. Nonetheless, the workplace constraints, the dynamism of the floating platform and the lower quality sensors have all contributed to occasional and temporary losses of the tracked object points. To overcome the timely gaps in the targetīs signal, its motion is modelled in image space with up to second derivative with respect to the position, and embedded inside the Kalman filter. The Kalman filter is adopted as a predicting tool, thereby, when anomalous targetīs behaviour is detected, the physical measurement is replaced with the measurement suggested by the state of the model, or simply discarded.
The second part of the dissertation deals with modelling the water surface in time. Two methods are proposed, treating the water as a diffuse and specular surface, respectively. In either case the water is presumed to take the shape of a travelling sine wave reducing the task of the 3D reconstruction to resolving the wave parameters.
The first conceived method performs the modelling part purely in 3D space. Having triangulated the points in a separate and unrelated phase, a sine wave is fitted into the data in a least squares manner. The second method presents a more complete approach for the entire calculation workflow begins in image space. The water is perceived as a specular surface, and the travelling specularities are the only observations visible to the cameras. The travelling highlights implicitly carry information about the underlying shape of the surface. From the law of reflection it is known that such virtual points can be exclusively single image observations, hence the depth ambiguity must be removed with additional constraints. Besides the constraint that all points lie on the parametric surface, the incident camera ray and the exitant ray from the highlight to its real position must be symmetric and coplanar with respect to the normal at the virtual points. The latter two compose the law of reflection. The condition and constraint equations land in a single system of equations that is solved with the method of least squares adjustment.
All devised approaches are validated against data of superior temporal and spatial resolution. In parallel to the developed system, the platform has been observed by an online motion capture system (MCS). The outcome platform motions are compared in terms of ship motions. As for the modelled shape of the water surface, a check against the data coming from a Capacitive Level Sensor, and a check on physical targets floating on the surface is performed. The wave parameters are confronted between the two developed methods too. In all cases the outcomes agree to a high degree.

German abstract:
In Zentrum der Arbeit steht die Entwicklung eines Mehrbild-Aufnahmesystems und der dazu gehörenden Software-Werkzeuge, um 4D- (3D- und Zeit-) Präzisionsmessungen von diffusen und spiegelnden Oberflächen durchführen zu können. Das System besteht aus drei digitalen Amateur-Spiegelreflex-Kameras, die Einzelbilder und Videosequenzen erfassen. Die Realisierbarkeit des Systems wird durch eine Reihe von Messungen einer auf einer Wasseroberfläche schwimmenden 4 m x 4 m Plattform bewiesen. Die Dauer der einzelnen Datenerfassungen blieb unter einer Minute. Sowohl die Bewegungen der Bauteile der Plattform, als auch die Modellierung der Form der Wasseroberfläche wird in den Mittelpunkt der Untersuchungen gestellt.
Der erste Teil befasst sich mit dem Kamera-Arrangement und den Aufgaben der Triangulation. Vor den Messungen erfolgt die Kamera-Orientierung, das heißt die Bestimmung der Linsenverzeichnung, der inneren und der relativen Orientierung. Die gleichzeitige Bestimmung aller Parameter erfolgt in einer Bündelblockausgleichung unter Verwendung eines bewegten Referenzbalkens (moved reference bar). Während der Messung blieben die drei Kameras zueinander unverändert, sodass man die relative Orientierung als konstant betrachten kann. Gelegentlich musste das gesamte Aufnahmesystem in seiner Position verändert werden. Der Grund lag in der Veränderung der Lage des beobachteten Objektes, sodass eine Nachführung notwendig war, um das Objekt im Aufnahmeblickfeld zu behalten. Diese Positionsänderung war vorerst unbekannt, wird aber durch die Einführung einer starren 3D-Transformation in den Bündelblockausgleich zum geeigneten Zeitpunkt gelöst. Mindestens drei statische Objektpunkte müssen dafür beobachtet werden. Die dynamische Referenzierung und die Triangulation der Ziele auf der Plattform werden simultan in einer Bündelblockausgleichung gelöst.
Das untersuchte Objekt wurde mit kreisförmigen, retro-reflektierenden Zielmarken signalisiert. Durch die Beleuchtung mit Scheinwerfer warfen die Ziele ein starkes Signal zurück zu den Kameras. Diese Art der Zielsignalisierung ist von Vorteil, weil eine bessere Beobachtungsgenauigkeit gegeben ist und weil sie weniger anfällig auf Umgebungslicht reagieren, zum Beispiel ist eine bessere Unterscheidung von Reflexionen an derWasseroberfläche oder an glänzenden Bauteilen möglich. Trotzdem haben die Beschränkung des Arbeitsplatzes, die Dynamik der schwimmenden Plattform und die begrenzte Qualität der Sensoren zu einem gelegentlichen und vorübergehenden Verlust der verfolgten Objektpunkte geführt. Um die Lücken des Zielsignalpfades zu überbrücken, werden die Bewegungen bis zur zweiten Ableitung der Position im Bildraum nachempfunden und in ein Kalman-Filter eingebettet. Das Kalman-Filter wurde als Analysewerkzeug übernommen und immer dann, wenn ein abweichendes Zielverhalten festgestellt wird, wird die physikalische Messung durch die Messung, die vom Modell vorgeschlagen wird, ersetzt oder einfach eliminiert.
Der zweite Teil befasst sich mit der zeitnahen Modellierung der Wasseroberfläche. Es werden zwei Verfahren vorgeschlagen, die das Wasser als diffuse beziehungsweise als spiegelnde Oberfläche behandeln. In beiden Fällen wird angenommen, dass dieWasseroberfläche die Form einer fortschreitenden Sinuswelle annimmt, wodurch die Aufgabe der 3D-Rekonstruktion vereinfacht wird und zur Lösung der Wellenparameter führt.
Das erste konzipierte Verfahren führt die Modellierung ausschließlich im 3D-Raum aus. Nachdem die Punkte in separaten und unabhängigen Phasen trianguliert worden waren, wird eine Sinuskurve nach der Methode der kleinsten Quadrate an die Daten angepasst. Das zweite Verfahren stellt einen umfassenderen Ansatz für den gesamten Berechnungsprozess dar, da dieser bereits im Bildraum beginnt. Die Wasseroberfläche wird als spiegelnd angesehen, und einzig die sich bewegenden Spiegelungen können von den Kameras beobachtet werden. Sie enthalten implizit die Information über die zugrunde liegende Form der Oberfläche. Durch das Reflexionsgesetz ist bekannt, dass solche virtuelle Punkte ausschließlich Einzelbeobachtungen sein können, die Mehrdeutigkeit der Tiefe muss daher durch zusätzliche Beschränkungen ausgeschlossen werden. Außer der Einschränkung, dass alle Punkte auf der parametrischen Oberfläche liegen müssen, müssen der einfallende Kamerastrahl und der Strahl zwischen den Reflexionspunkten und deren realen Positionen symmetrisch und koplanar in Bezug auf die Normalen in den virtuellen Punkten sein. Die beiden letzten Eigenschaften werden durch das Reflexionsgesetz vorgegeben. Die Bedingungsgleichungen und die Nebenbedingungen gehen in ein Gleichungssystem ein, welches mit Hilfe der Methode der kleinsten Quadrate gelöst wird.
Alle entwickelten Ansätze werden mit Daten von höchster zeitlicher und räumlicher Auflösung validiert. Parallel zu dem entwickelten System wurde die Plattform durch ein Online-Bewegungserfassungssystem (Motion Capture System (MCS)) beobachtet. Das Ergebnis der Plattformbewegungen wird in Bezug auf Schiffsbewegungen (ship motions) verglichen . Was die modellierte Form der Wasseroberfläche betrifft, können die Ergebnisse mit den Daten aus kapazitativen Pegelsensoren und mit auf dem Wasser schwimmenden Zielen überprüft werden. Was die Werte für die Wellenparameter betrifft, so werden ausschließlich die Ergebnisse aus den beiden erwähnten Verfahren mit einander verglichen. In allen Fällen ist eine Übereinstimmung in hohem Maß gegeben.


Electronic version of the publication:
http://repositum.tuwien.ac.at/urn:nbn:at:at-ubtuw:1-88003


Created from the Publication Database of the Vienna University of Technology.