Ein Ansatz zur Entwicklung von mobilen Augmented Reality

Ein Ansatz zur Entwicklung von mobilen Augmented Reality

Ein Ansatz zur Entwicklung von mobilen Augmented Reality Anwendungen Sascha Alpers, Stefan Hellfeld, Andreas Oberweis, Ralf Trunko Forschungsbereich S...

8MB Sizes 0 Downloads 6 Views

Ein Ansatz zur Entwicklung von mobilen Augmented Reality Anwendungen Sascha Alpers, Stefan Hellfeld, Andreas Oberweis, Ralf Trunko Forschungsbereich Software Engineering FZI Forschungszentrum Informatik Haid-und-Neu-Str. 10-14 76131 Karlsruhe (alpers, hellfeld, oberweis, trunko)@fzi.de

Abstract: Es wird ein Framework zur Erstellung von Augmented Reality (AR) Anwendungen für mobile Endgeräte beschrieben. Diese Anwendungen können im Gegensatz zu herkömmlichen AR-Anwendungen jedes reale Objekt als Marker verwenden und dessen räumliche Lage mit Hilfe von Objekterkennungsalgorithmen bestimmen. Die mit dem Framework erstellten Anwendungen sind einfach erweiterbar und domänenspezifisch konfigurierbar. Durch die Anbindung einer Server-Komponente sind die Einflussnahme auf die Anwendung und das Senden zusätzlicher Information an die Anwendung auf dem mobilen Endgerät möglich.

1 Einleitung Die Nutzung mobiler Informationstechnologie (mobiler IT) zur Unterstützung der Aufgabenerfüllung mobiler Mitarbeiter nimmt in Unternehmen immer mehr zu [HV02, KPW03, TP91]. Beispielsweise wurde die Verwaltung von Lagerbeständen mittels mobiler IT durch das Erfassen von Strichcodes oder RFID-Chips1, die an den eingelagerten Waren angebracht sind, erheblich verbessert [Ba08, Me06]. In den Unternehmen wurden so Personalkosten durch die Automatisierung der Arbeitsabläufe (bspw. in der Lagerverwaltung) eingespart. Die Verwendung mobiler IT beschränkt sich jedoch nicht nur auf derartige Einsatzszenarien. Mobile Endgeräte bieten mit ihren verschiedenen Schnittstellen zur Ein- und Ausgabe von Daten zusätzliche Interaktionsmöglichkeiten für den Anwender. Gegenwärtige Endgeräte besitzen unter anderem eine Kamera, einen Kompass und einen GPS2-Sensor.

1

Ein RFID-Chip (Radio Frequency Identification Chip) wird zur Lokalisierung und automatischen Identifizierung von Objekten verwendet. 2 GPS steht für Global Positioning System und bezeichnet ein Satellitennavigationssystem zur Positionsbestimmung auf der Erdoberfläche. 27

Die multimodale Nutzung3 der Endgeräte ermöglicht neue Konzepte zur Unterstützung der Mitarbeiter im Unternehmen und zu deren Interaktionen mit den Endgeräten. Die erweiterte Realität (engl. Augmented Reality, AR) [Az01, Az97, We07, Zo08] ist eine neue Anwendungsform, die die multimodale Nutzung der Endgeräte voraussetzt. Ziel von AR ist es, die menschliche Wahrnehmung der Realität um zusätzliche Informationen anzureichern. Diese Informationen sollen mit der Realität im Idealfall so verschmelzen, dass sie vom Betrachter als eine Einheit wahrgenommen werden. Als Anwendung auf einem mobilen Endgerät realisiert, stellt die Augmented Reality bspw. positionsspezifische Zusatzinformationen im Kamerabild des Endgeräts dar und kann den Mitarbeiter in seiner betrieblichen Aufgabenerfüllung wesentlich unterstützen. Im Folgenden wird ein Ansatz der erweiterten Realität im Zusammenhang mit der Entwicklung eines Frameworks zur Erstellung von Augmented Reality Anwendungen vorgestellt. Im weiteren Verlauf dieses Beitrags werden zunächst die Grundlagen von Augmented Reality vorgestellt. Anschließend werden der Aufbau des Frameworks sowie dessen Nutzung erläutert. Im Detail wird auf die Besonderheiten des Frameworks bzw. der Anwendungen, die mittels des Frameworks erstellt werden können, eingegangen. Nach einer Beschreibung von möglichen Einsatzszenarien für die erstellten Anwendungen schließt der Beitrag mit einem Ausblick auf weitere Forschungsarbeiten.

2 Bisherige Ansätze von Augmented Reality Anwendungen Rosenblum [Ro00] hat bereits im Jahr 2000 prognostiziert, dass 2020 AR-Anwendungen auf mobilen Endgeräten (auch mobile AR-Anwendungen genannt) alltäglich sein werden. Neben dem Einsatz in der Freizeit sieht er ein weites Feld für deren produktiven Einsatz, der von der Augmented Reality Nutzung in Lernumgebungen über medizinische Anwendungen bis hin zur Unterstützung von betrieblichen Entwurfs- und Wartungsprozessen reicht. Inzwischen haben erste Ansätze, die den gewerblichen Einsatz von ARAnwendungen beschreiben, das hohe Potenzial dieser Anwendungsform gezeigt. Beispiele sind AR-Anwendungen zur Entwurfsunterstützung von Fertigungsstraßen [Do03], zur Simulation von Unfallschäden [Na04], zur Unterstützung der Kabelbaumkonfektionierung bei einem großen europäischen Flugzeughersteller [Sc05] und zur Anzeige von unterirdischen Leitungen für Wartungstechniker [Sc09]. Hervorzuhebende Eigenschaften von AR-Anwendungen, die häufig in der Literatur genannt werden, sind: (1) Eine AR-Anwendung kombiniert reale und virtuelle Objekte. Sie reichert dabei primär die reale Umgebung bzw. eine Darstellung derselben mit ausgewählten virtuellen Objekten an [Az01, Az97]. 3

Die multimodale Nutzung eines mobilen Endgeräts beschreibt die Ein- oder Ausgabe von Daten mit Hilfe mehrerer Schnittstellen. Bspw. ist die Benachrichtigung des Benutzers in Form von Signalton und Vibration im Falle eines ankommenden Anrufs, eine multimodale Nutzung. Das Endgerät verwendet ein Audiosignal und ein haptisches Signal zur Informationsübertragung an den Benutzer. 28

(2) Die virtuellen Objekte einer AR-Anwendung werden positionskorrekt und lagerichtig4 an realen Objekten, mit denen sie in fester Beziehung stehen, ausgerichtet [Az01, We07]. (3) Die AR-Anwendung interagiert mit dem Anwender in Echtzeit, was bedeutet, dass die Interaktion innerhalb einer definierten Zeitspanne erfolgt. Diese Zeitspanne sollte so klein sein, dass die Reaktionen des Endgeräts vom einzelnen Anwender als ausreichend schnell erachtet werden können [Az97, Zo08]. Aufbauend auf diesen Eigenschaften lassen sich drei Kernfunktionalitäten ableiten, die jede AR-Anwendung erfüllen sollte [We07]: (1) Die realen Objekte (und deren Lage) im Blickfeld des Anwenders bzw. des Endgeräts, auf dem die AR-Anwendung ausgeführt wird, müssen bestimmbar sein: Viele gängige Anwendungen lösen diese Aufgabe durch Lokalisierung des Endgeräts (bspw. unter freiem Himmel mittels GPS) und durch Bestimmung der Blickrichtung mittels weiterer Sensoren (z.B. Kompass-Sensor, Neigungssensor). Der in diesem Beitrag vorgestellte Ansatz analysiert jedoch ausschließlich Bildinformationen und benötigt darüber hinaus keine Sensoren. Er kann sowohl in geschlossenen Räumen als auch im Freien eingesetzt werden. (2) Die Anwendung muss über Präsentationsmechanismen, die eine Darstellung der virtuellen Objekte ermöglichen, verfügen: Derlei Mechanismen werden einerseits nach der Position des Endgeräts, welches zur Präsentation genutzt wird [BR06], und andererseits nach der Anzeigetechnik [KP10] unterschieden. Anwendungen, die mit dem vorgestellten Framework erstellt werden, nutzen das sogenannte "video-seethrough-Verfahren" auf den mobilen Endgeräten. Bei diesem Ansatz werden die darzustellenden Objekte in ein Echtzeit-Videobild der Realität eingefügt und auf dem Display des Endgeräts dargestellt. Um dies zu ermöglichen, muss das Endgerät über eine Kamera (mit ausreichender Bildwiederholrate5) und über ein ausreichend großes Display verfügen.

4

Lagerichtig bedeutet, dass die virtuellen Objekte entsprechend der räumlichen Lage der realen Objekte gedreht werden. Es wirkt dann (s. Abb. 1 links) so als würde der Zylinder auf dem Tisch stehen. 5 Als Richtwert können 25 Bilder pro Sekunde (engl. frames per second, fps) verwendet werden. Das Fernsehen überträgt mit dieser Wiederholrate. Das Fernsehbild wird vom menschlichen Auge nicht mehr als Bildabfolge, sondern als Film wahrgenommen [Fr03]. 29

(3) Die Anwendung muss Interaktionsmechanismen besitzen, welche sowohl auf Manipulationen der realen Objekte (durch den Nutzer oder durch Dritte) außerhalb der AR-Anwendung reagieren, als auch virtuelle Manipulationen6 innerhalb der AR-Anwendung ermöglichen. Wird eine AR-Anwendung nicht unter freiem Himmel ausgeführt, so kann auch keine GPS-Information zur Lokalisierung des Endgeräts verwendet werden. Daher existieren im Bereich der AR-Anwendungen, die auch innerhalb von Gebäuden genutzt werden können, drei unterschiedliche Arten: 

Anwendungen, die die Position der virtuellen Objekte anhand von künstlichen Markern7, die speziell zu diesem Zweck in der Realität platziert werden, bestimmen (exemplarisch in [Sc05], siehe Abbildung 1, linke Seite).



Anwendungen, die eine Identifikation von einfachen zweidimensionalen, realen Objekten (die als natürliche Marker dienen) in aufgenommenen Bildern ermöglichen. Die Bilder werden mit Objekterkennungsalgorithmen analysiert. Man spricht dabei vom "Natural Feature Tracking" [Gr10] oder vom "Markerless Tracking" [HB11], da die natürlichen Objekte keine Marker im herkömmlichen Sinne darstellen (siehe Abbildung 1, rechte Seite).



Anwendungen, die mit Lokalisierungstechnologien für Innenräume arbeiten, die eine Lokalisierung des mobilen Endgeräts im Raum ermöglichen [To10]. Diese Art von AR-Anwendungen wird aufgrund hoher Kosten, die bei der Installation der Lokalisierungstechnologien entstehen8, selten eingesetzt.

Verwendet eine Anwendung künstliche Marker, so werden die virtuellen Objekte im Kamerabild an die Position der künstlichen Marker gezeichnet (siehe Abbildung 1, linke Seite). Das Kamerabild wird von Algorithmen analysiert und die Lage des künstlichen Markers wird identifiziert. Anhand dieser Lage kann eine Projektionsebene für die 6

Der Anwender kann bspw. ein virtuelles Objekt durch geeignete Gesten drehen oder verschieben und somit die Ausrichtung – auch in Bezug auf die realen Objekte – verändern. 7 Künstliche Marker sind einfache zweidimensionale QR-Codes, die Informationen als Anordnung von schwarzen Quadraten innerhalb eines definierten Bereichs speichern können. 8 Bspw. kostet die Hardware für eine Lokalisierungstechnologie für Innenräume mittels Ultrabreitband-Technologie für einen ca. 30 m² großen Raum mit 4 Sensoren und 10 "Tags" zur Ortung ca. 15.000 Euro. Zusätzliche Kosten würden durch die notwendige Software und durch die Einrichtung des Systems entstehen. Eine alternative Installation einer Lokalisierungstechnologie, die auf WLAN basiert, könnte zwar vorhandene Zugangspunkte verwenden, es müssten aber zur Erreichung einer akzeptablen Genauigkeit zusätzliche Zugangspunkte installiert werden. Im Anschluss entstehen weitere Kosten, da die Räumlichkeiten in einem spezifischen Verfahren (Fingerprinting) zu kartographieren sind. Bei Positionsveränderungen der WLAN Zugangspunkte wäre eine erneute Kartographierung notwendig (Vgl. [SSH03] [HSS06] [Sc06]). 30

Zeichnung der virtuellen Objekte berechnet werden. Bevor eine solche Anwendung eingesetzt werden kann, müssen alle in Frage kommenden Objekte mit künstlichen Markern versehen und katalogisiert werden. Der Nutzer muss dann die speziell zu diesen Markern gehörende Anwendung verwenden.

Abbildung 1: Positionierung virtueller Objekte anhand künstlicher und natürlicher Marker

Im Gegensatz dazu setzt die Verwendung von natürlichen Markern in einer ARAnwendung das "Initialisieren" der Anwendung voraus. Dieses beinhaltet die Verknüpfung der virtuellen Objekte mit den entsprechenden Markern (realen Objekten), die in einem aufgenommenen Bild der Realität erkannt werden. In gängigen Anwendungen wird mit realen Objekten gearbeitet, die durch Objekterkennungsalgorithmen ohne großen Rechenaufwand erkannt werden können, bspw. einfache Logos oder Symbole. AR-Anwendungen, die mit natürlichen Markern arbeiten, besitzen den Nachteil, dass anhand der Marker die Lage des virtuellen Objektes im Raum nicht festgestellt werden kann. Somit ist nicht bekannt, wie das virtuelle Objekt in Verbindung zur Realität ausgerichtet und platziert werden muss. Die virtuellen Objekte werden lediglich auf einen Bereich des Kamerabildes eingeblendet. Ein Beispiel ist in Abbildung 1 auf der rechten Seite zu sehen. Die Anwendung kann die Lage des Buches auf dem Tisch in der Realität nicht erkennen. Dies hat zur Folge, dass die räumliche Projektionsebene, auf welche das virtuelle Objekt (der Zylinder) projiziert werden soll, nicht errechnet werden kann. Der räumliche Bezug des virtuellen Objektes zum realen Objekt geht verloren.

3 Aufbau des Frameworkes AR2Go Das Framework AR2Go, das in diesem Beitrag vorgestellt wird, ermöglicht die Erstellung von AR-Anwendungen, die jedes reale Objekt als Marker verwenden können. Darüber hinaus wird jeweils auf Basis der Lage des realen Objektes die Projektionsebene für die virtuellen Objekte berechnet. AR2Go unterstützt die Erstellung hochintegrativer Anwendungen, die schnell auf ihren Einsatz in unterschiedlichen Anwendungsdomänen angepasst werden können. AR2Go ist komponentenbasiert aufgebaut (zu sehen in Abbildung 2). Es unterstützt die Identifikation natürlicher Marker durch Objekterkennungsalgorithmen. Diese Algorithmen sind in den dafür vorgesehenen Bibliotheken gespeichert. In einer Datenbank werden alle relevanten Daten einer Anwendung, die mit AR2Go erstellt werden soll, gespeichert. Die Datenbank beinhaltet die Daten, die zur Objekterkennung verwendet werden, sowie die damit verknüpften virtuellen Objekte (siehe Abschnitt 4.1). Die Komponente

31

der mobilen Plattformen kapselt die betriebssystemspezifische Benutzungsoberfläche und Grundfunktionalität für die jeweilige mobile Plattform. AR2Go unterstützt zurzeit sowohl das Betriebssystem Android von Google9 als auch das iOS von Apple10.

Abbildung 2: Aufbau von AR2Go

Die Server-Komponente beinhaltet Routinen, die die Komponente selbst und die Kommunikation der mobilen Anwendung mit der Server-Komponente realisieren. Darüber hinaus ist im Server eine Benutzerverwaltung implementiert, die auf Basis der jeweiligen Rechte die Kommunikationsverwaltung für eine erstellte mobile Anwendung übernimmt (siehe hierzu Abschnitt 4.3).

4 Verwendung von AR2Go Durch die Realisierung der Datenbasis in einer austauschbaren Datenbank können profilbasierte Anwendungen erstellt werden. Bspw. kann eine Anwendung in einem Krankenhaus eine Datenbank für das Profil eines Arztes und eine Datenbank für das Profil einer Krankenschwester beinhalten. Innerhalb der Anwendung kann jedes reale Objekt als Marker dienen. Hierfür arbeitet AR2Go mit unterschiedlichen Objekterkennungsalgorithmen, die signifikante Merkmale realer Objekte in aufgenommenen Bildern der Objekte extrahieren und zum Abgleich optimiert abspeichern können. Eine Anwendung muss daher vor deren Nutzung initialisiert werden.

4.1 Initialisierung der Objekterkennung innerhalb der Anwendung Zum Initialisieren der Objekterkennung werden Bilder realer Objekte hinsichtlich besonderer Merkmale mit Hilfe eines Objekterkennungsalgorithmus analysiert. In diesem Zusammenhang wurden zwei Algorithmen zur Schlüsselpunkt-basierten Extraktion von 9

Siehe hierzu http://www.android.com/ Siehe hierzu http://www.apple.com/de/ios/

10

32

Merkmalsdeskriptoren – der SURF11- und der SIFT12-Algorithmus – auf verschiedenen mobilen Plattformen in der Programmiersprache C implementiert und in der Nutzung innerhalb AR2Go analysiert13. Die Vergleichsergebnisse, die nach mehreren Tests auf den mobilen Plattformen gewonnen wurden (siehe Tabelle ), decken sich mit den Ergebnissen der Literatur [JG10]. Aufgrund der besseren Werte im Bereich der Durchlaufzeit und der höheren Toleranz im Bereich der Beleuchtungsqualität der Bilder der realen Objekte, wurde für AR2Go der SURF-Algorithmus implementiert. Dies begründet sich in der Tatsache, dass die Anwendung die Berechnung der Merkmalsdeskriptoren aus existierenden Bildern, um diese mit den gespeicherten Merkmalsdeskriptoren abzugleichen, möglichst schnell durchführen muss. Darüber hinaus ist die Qualität der Kamerabilder, die mit der Kamera eines mobilen Endgeräts angefertigt werden, im Bereich der Beleuchtung nicht besonders gut. Dies erfordert einen Algorithmus, der in diesem Bereich eine hohe Toleranz aufweist. Durch die Analyse von Bildern der realen Objekte ist es möglich, die Anwendung mit einer bereits existierenden Bilderauswahl zu initialisieren oder Bilder direkt auf dem Gerät aufzunehmen und diese analysieren zu lassen (siehe Abbildung 3, Schritt 1 und Schritt 2). Vergleichsmethode Durchlaufzeit Rotation Beleuchtungsveränderung

SIFT Befriedigend Sehr gut Befriedigend

SURF Sehr gut Gut Sehr gut

Tabelle 1: Vergleich von SURF- und SIFT-Algorithmus

Die Merkmalsdeskriptoren werden als Vektoren auf Basis eines XML-Schemas [MYC06] gespeichert (siehe Abbildung 2, Schritt 3). In einem nächsten Schritt werden die Daten in k-dimensionalen Bäumen gespeichert. Dies ermöglicht eine Optimierung, die die spätere Suche nach spezifischen Merkmalen beschleunigt (siehe Abschnitt 4.2 und Abbildung 3, Schritt 4).

11

Der Speeded Up Robust Feature (SURF) Algorithmus wurde zur schnellen und robusten Erkennung von Bildmerkmalen von Bay et al. entwickelt. Der SURF-Algorithmus arbeitet mit Mittelwertfiltern zur Extraktion von Bildmerkmalen [BTG08]. 12 Der Scale-invariant Feature Transform (SIFT) Algorithmus wurde ebenfalls zur Erkennung von Bildmerkmalen entwickelt. Der Algorithmus arbeitet im Vergleich zum SURF-Algorithmus mit Gauss-Filtern zur Extraktion der Bildmerkmale. Entwickelt wurde der Algorithmus von David G. Lowe [Lo04]. 13 Die beiden Algorithmen wurden auf den Plattformen iOS und Android implementiert. Das Framework AR2Go wurde anschließend auf einem Samsung Galaxy Tab, einem Lenovo Thinkpad Tablet, einem Apple iPad 2, einem Apple iPhone 4, einem HTC Google Nexus One und einem Samsung Galaxy S getestet. Zum Vergleich wurden mehrfache Bildanalysen mit unterschiedlichen Parametern durchgeführt und die Erkennungsrate sowie weitere Parameter wie Geschwindigkeit, Belastung der Ressourcen etc. gegeneinander verglichen. 33

Nach Analyse der Bilder der realen Objekte und der Generierung der Merkmalsdeskriptoren müssen diese in der Initialisierungsphase der Anwendung noch mit den virtuellen Objekten verknüpft werden (siehe Abbildung 3, Schritt 5). Bei den virtuellen Objekten kann es sich entweder um Daten in Form von Text und Bildern handeln oder es sind dreidimensionale virtuelle Objekte, die dargestellt werden sollen. Handelt es sich um Daten in Form von Text und Bild, so können diese mit AR2Go bei der Erstellung der Anwendung auf das mobile Endgerät geladen werden. Eine spätere Übertragung der Daten ist ebenfalls möglich. Der Benutzer kann die Deskriptoren eines realen Objektes mit den virtuellen Objekten verknüpfen, indem aus einer Liste der virtuellen Objekte die relevanten Objekte einfach ausgewählt werden (siehe Abbildung 3, Schritt 5). Im abschließenden Schritt werden die Merkmalsdeskriptoren mit den verknüpften virtuellen Objekten in der Datenbank gespeichert (siehe Abbildung 3, Schritt 6). Schritt 1 Bilder erfassen Schritt 6 Speicherung in der Datenbank Schritt 2 SURF-Algorithmus

SURF Schritt 4 kd-Baum Berechnung XML Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor,

XML

Schritt 3 Merkmale speichern

Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor,

Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor,

Schritt 5 Verknüpfung virtueller Objekte

Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor, Featurevektor

Abbildung 3: Vorgehen zum Initialisieren der Objekterkennung innerhalb der Anwendung

4.2 Erkennen von Objekten und Einblendung virtueller Objekte Der Ablauf der Objekterkennung ist in Abbildung 4 dargestellt. Die Merkmalsextraktion und die Merkmalsdeskription werden mit dem bereits in Abschnitt 4.1 vorgestellten SURF-Algorithmus realisiert. Dieser wird in dieser Phase nicht mehr mit den zur Initialisierung der Anwendung verwendeten Bildern benutzt, sondern verarbeitet LiveAufnahmen der Kamera des mobilen Endgeräts. Zur Beschleunigung des Verfahrens kann bestimmt werden, dass nur ein spezifischer Ausschnitt des Bildes analysiert wird. Die Merkmalsdeskriptoren werden aus einem einzelnen Bild, welches mit der Kamera des mobilen Endgeräts aufgenommen wurde, extrahiert. Mehrheitsentscheid Merkmalsextraktion

Merkmalsdeskription

Matching

ohne Lagebestimmung mit Lagebestimmung Ransac

Abbildung 4: Ablauf der Objekterkennung

34

Im nächsten Schritt, dem "Matching", werden die Merkmalsdeskriptoren mit den in der Datenbank gespeicherten Deskriptoren verglichen. Eine naive Herangehensweise beim Vergleich von Deskriptoren ist der Vergleich auf dessen geometrischen Abstand hin. Je näher sich zwei Deskriptoren in ihrem geometrischen Abstand sind, desto ähnlicher sind sie. Da dieses Verfahren aber eine Komplexität von O(n²) besitzt14, wurde es durch kdimensionale Bäume15 in der Anwendung ersetzt. Die sogenannten kd-Bäume erlauben eine Suche nach dem nächsten Nachbarn eines Deskriptors mit einer Komplexität von O(n log n). Nach [SH08] wurde eine Prioritätenliste verwendet, die es ermöglicht, den kd-Baum noch effizienter zu durchsuchen, indem die Überprüfung der jeweiligen Nachbarknoten verbessert wird. War die Suche nach den Merkmalsdeskriptoren eines realen Objektes in der Datenbank erfolgreich, so werden die dazugehörigen virtuellen Objekte dargestellt. Die Identifikation realer Objekte wird mit AR2Go durch zwei verschiedene Ansätze realisiert, die nachfolgend kurz vorgestellt werden.

4.2.1 Ansatz 1: Erkennung realer Objekte ohne deren räumliche Lage Ansatz 1 verfolgt das Ziel, die realen Objekte lediglich zu identifizieren und im Bild wiederzuerkennen. Die Lage der Objekte im Raum spielt keine Rolle. Dies ist der in Abbildung 4 dargestellte Schritt des „Mehrheitsentscheid“, in welchem lediglich das Muster mit den meisten Matches ausgewählt wird. So ist bspw. die anwendungsbasierte Identifikation bzw. Wiedererkennung eines Türschildes (wie im Einsatzszenario in Abschnitt 5 beschrieben) ausreichend, um Informationen, die nicht räumlich ausgerichtet sein müssen, über die Person, die in den Räumlichkeiten ihr Büro hat, anzuzeigen. Der SURF-Algorithmus analysiert das Bild und markiert die darin enthaltenen Merkmalsdeskriptoren (siehe Abbildung 5). Diese werden dann mit den Deskriptoren in der Datenbank abgeglichen.

Abbildung 5: Erkennung eines Türschildes 14

Dabei bezeichnet n die Anzahl der Punkte mit denen der Vergleich durchzuführen ist. Ein k-dimensionaler Baum ist ein Suchbaum zur Speicherung von Punkten. Durch die Anordnung der Punkte in einem Baum kann schneller nach einem spezifischen Punkt gesucht werden [Be90]. 15

35

4.2.2 Ansatz 2: Erkennung realer Objekte mit deren räumlicher Lage als komplexe Marker Der zweite Ansatz der Objekterkennung geht davon aus, dass die virtuellen Objekte anhand der Lage der realen Objekte im Raum ausgerichtet und dargestellt werden sollen. Daher werden in Ansatz 2 die räumliche Lage der realen Objekte aus den Bildern erfasst und positionskorrekte und lagerichtige "Projektionsflächen" für die virtuellen Objekte generiert. Eine Anwendung des zweiten Ansatzes ist in Abbildung 6 dargestellt, der automatisch gezeichnete Rahmen zeigt die Projektionsebene. Bei der Auswahl und Optimierung eines geeigneten Algorithmus war die Erkennungsgeschwindigkeit der Projektionsebene ausschlaggebend. Daher wurde ein probabilistischer Algorithmus in Form des Random Sample Consensus (kurz RANSAC) Algorithmus von Fischler et al. [FB81] gewählt. Dieser beschreibt die Struktur der Projektionsfläche zwar nur mit hoher Wahrscheinlichkeit optimal, aber in Abbildung 6: Am Objekt ausgerichtete den untersuchten Fällen der Projektionsebene Einsatzszenarien wurde mit den spezifischen Parametern die Fläche richtig erkannt (für die spätere Projektion von Objekten ist es nicht notwendig, die Lage eines realen Objektes pixelgenau zu erkennen, Abweichungen von wenigen Pixeln haben keine wahrnehmbaren Auswirkungen auf die Berechnung der Projektionsfläche bzw. Projektion). Die Bilder der realen Objekte werden nach der Bearbeitung durch den SURFAlgorithmus mit Hilfe des RANSAC-Algorithmus analysiert. Dem Algorithmus muss (wie bereits oben erwähnt) die Form der späteren Struktur (in Abbildung 6 ein Viereck) und die Anzahl an Iterationen, die maximal zur Berechnung durchlaufen werden sollen, vorgegeben werden. Mit Hilfe des von Márquez-Neila et al. [Ma08] beschriebenen Ansatzes konnte die Anzahl so gewählt werden, dass das Ergebnis einerseits mit ausreichend hoher Wahrscheinlichkeit eine qualitativ ausreichende Beschreibung der tatsächlichen Struktur darstellt und andererseits die Anzahl an Iterationen nicht zu hoch ist und die Berechnung (ohne für den Anwender einen echten Mehrwert zu erzeugen) zu lange dauert. Der RANSAC-Algorithmus wurde ebenfalls für mobile Endgeräte optimiert und in die Bibliotheken von AR2Go eingebunden. In Abbildung 7 ist der Ablauf der Erkennung komplexer Marker in Form eines Struktogramms beschrieben. In jeder Iteration werden jeweils zufällig Punkte im Bild ausgewählt und es wird im Anschluss für die dadurch entstehende Struktur bestimmt, wie viele andere Punkte innerhalb der Struktur liegen. Als Ergebnis werden nach Abschluss aller Iterationen die Punkte zurückgegeben, die die höchste Zahl von einem Muster zugeordneten Merkmalen einschließen. Zusätzlich wird das dazugehörige Muster zurückgegeben. Dadurch wurden einerseits ein Objekt identifiziert und andererseits die Eckpunkte einer Fläche bestimmt. Mittels dieser Eckpunkte,

36

die eine Fläche aufspannen, kann ein virtuelles Objekt lagerichtig in der Anzeige des Kamerabildes positioniert werden.

Abbildung 7: Struktogramm der eingesetzten Variante des RANSAC-Algorithmus

4.3 Verwendungsmöglichkeiten der Server-Komponente Ist eine zusätzliche Unterstützung des Benutzers bei der Nutzung der Anwendung erwünscht, so kann die Server-Komponente in AR2Go verwendet werden. Diese Komponente implementiert auf einem stationären Arbeitsplatzrechner einen Webserver, der es weiteren Benutzern über ein Netzwerk (vorausgesetzt, das mobile Endgerät und der stationäre Arbeitsplatzrechner befinden sich im gleichen Netzwerk) ermöglicht, eine Verbindung zum Endgerät, auf welchem die Anwendung betrieben wird, aufzubauen. Der Server stellt eine Benutzungsoberfläche zur Verfügung, auf welcher man sich zunächst mit einem vorher generierten Benutzerkonto anmelden muss. Dies ist eine Sicherheitseinstellung, die verhindert, dass nicht-autorisierte Personen Zugriff auf die Anwendung bekommen. Um eine Verwendung der Anwendung in möglichst vielen Szenarien zu unterstützen, sind innerhalb der Server-Komponente und somit auf der zur Verfügung gestellten Benutzungsoberfläche alle bereits angemeldeten Benutzer sichtbar. Die Oberfläche selbst enthält die Darstellung des gerade aufgezeichneten Kamerabildes, welches in der Anwendung zu sehen ist. Darüber hinaus besitzt die Server-Komponente die Möglichkeit, Daten an die Anwendung zu senden (siehe Abbildung 8, linke Seite). Dies soll die Interaktivität der Anwendung unterstützen. Benötigt bspw. ein Mitarbeiter

37

bei seiner Aufgabenerfüllung Hilfe, so kann ihm ein Kollege einfach zugeschaltet werden. Über den Datenaustausch-Kanal ist es möglich, über die Server-Komponente Daten in Form von Bildern oder Text auf das Endgerät zu schicken. Diese werden dann in das Kamerabild projiziert und dem Benutzer angezeigt. Zu sehen ist dies in Abbildung 8. Der Benutzer am stationären Arbeitsplatzrechner muss lediglich die Daten, die er auf dem mobilen Endgerät anzeigen möchte, auswählen und diese werden an die Anwendung gesendet. Darüber hinaus kann der Benutzer der Anwendung dem zugeschalteten Helfer eindeutig sein Problem zeigen, da alle fünf Sekunden das aktuelle Kamerabild des Endgeräts als Bild in die Benutzungsoberfläche des Servers integriert wird. Die Server-Komponente soll in zukünftigen Versionen von AR2Go um Methoden zur kollaborativen Aufgabenerfüllung erweitert werden. Die Benutzerkonten, die bereits im Server vorhanden sind, bilden die Voraussetzung dafür.

Abbildung 8: Navigationsunterstützung für einen Anwender über eine Serverschnittstelle

5 Einsatzszenarien von AR2Go Mit Hilfe von AR2Go wurden bereits zwei Anwendungen exemplarisch umgesetzt. Bei der ersten Anwendung handelt es sich um eine Navigationsanwendung, die zur Navigation in Gebäuden verwendet wird. Anhand einer Erkennung der Namensschilder an den Türen werden die Gesichter der Personen angezeigt, die in den jeweiligen Räumlichkeiten ihr Büro haben. Eine weitere Anwendung von AR2Go wird in einem öffentlich geförderten Forschungsprojekt der "Plastischen Simulation von Geschäftsprozessen" verwendet (siehe Abbildung 9). In diesem Einsatzszenario werden vor allem die Erkennung der räumlichen Lage realer Objekte sowie die Server-Komponente genutzt. Geschäftsprozesse werden anhand von kleinen realen Modellen visualisiert. Um dem Anwender das zum realen Modell gehörige digitale Modell zu zeigen, werden Bauteile des realen Modells durch die Anwendung erkannt. Die räumliche Lage wird analysiert und auf deren Basis wird das digitale Prozessmodell ausgerichtet und auf das Kamerabild des mobilen Endgeräts projiziert. Durch die Anknüpfung an die Server-Komponente soll in Zukunft eine eLearning-Plattform aufgebaut werden, die sich mit der Vermittlung von Inhalten des Geschäftsprozessmanagements beschäftigt.

38

Abbildung 9: Einsatz im Forschungsprojekt "Plastische Simulation von Geschäftsprozessen"

Diese beiden ersten Anwendungen des Rahmenwerkes zeigen seine Vorteile. Im Gegensatz zur einzelnen Erstellung der Anwendungen waren keine Programmierkenntnisse notwendig. Im Gegensatz zu existierenden anderen Rahmenwerken war keine Installation von künstlichen Markern an den einzelnen Objekten notwendig. Dadurch wurde der Aufwand erheblich reduziert und die Einsatzbarriere gesenkt.

6 Fazit und Ausblick AR2Go ermöglicht die schnelle Erstellung von Augmented Reality Anwendungen, die weitreichend erweitert und jedes reale Objekt als Marker verwenden können. Durch den Ansatz der Server-Komponente erweitert AR2Go das Prinzip bisheriger Augmented Reality Anwendungen. Anwender erhalten so die Möglichkeit, nicht nur (aktuelle) Zusatzinformationen über reale Objekte von der Anwendung zu erhalten, sondern können in spezifischen Fällen zusätzlich "externe" Experten um Hilfe bitten. AR2Go liefert mit diesem Ansatz eine neue Form der Augmented Reality, die bspw. einen Mitarbeiter im Unternehmen in dessen Aufgabenerfüllung erheblich unterstützen kann. AR2Go wird ständig weiterentwickelt. Entwicklungsarbeiten, die zum Zeitpunkt der Entstehung dieses Beitrags durchgeführt werden, beschäftigen sich mit der Darstellung von CAD-Zeichnungen16 sowie der Extraktion von Merkmalsdeskriptoren aus bereits existierenden CAD-Daten. D.h. die CAD-Zeichnungen werden in AR2Go eingefärbt und anschließend werden die Merkmalsdeskriptoren aus den Zeichnungen extrahiert. Dieses Verfahren ist, um das Objekt in allen Perspektiven erkennen zu können, für verschiedene Blickwinkel (bspw. Seiten des Objektes) zu wiederholen. Eine weitere Fragestellung 16

CAD (Computer-Aided Design) bezeichnet ursprünglich die Verwendung eines Computers als Hilfsmittel beim technischen Zeichnen. Da inzwischen nicht mehr nur zweidimensional gezeichnet wird, bezeichnet CAD auch die Bildung eines virtuellen Modells dreidimensionaler Objekte mit Hilfe eines Computers. 39

wäre, ob die Einbeziehung der Lagesensoren mobiler Endgeräte zur Bestimmung des Blickwinkels (von oben, seitlich, unten) genutzt werden können und die Performanz damit noch weiter gesteigert werden kann. Auch wird die Netzwerk-Anbindung weiter ausgebaut. So soll im Rahmen der bereits erwähnten Türschilder-Erkennung die Verknüpfung mit Datenverzeichnissen wie bspw. einem Ressourcenkalender realisiert werden. So ist eine Anzeige, ob sich die gesuchte Person überhaupt im Raum befindet, möglich. Darüber hinaus wird eine e-Learning-Plattform aufgebaut, die AR2Go zur Erstellung von e-Learning-Anwendungen nutzt. Ein großer Vorteil im Vergleich zu existierenden e-Learning Anwendungen ist die Anbindung der Server-Komponente, die die Schnittstelle zum Lehrkörper realisiert, sowie die zusätzliche Interaktivität, die durch Verwendung von Augmented Reality gegeben ist. Eine weitere Herausforderung ist die Verknüpfung mit Prozessgestaltungs- und automatisierungssystemen. Durch diese können einerseits aktuellere Informationen bereitgestellt und andererseits Auswirkungen von Prozessveränderungen in die Realität projiziert werden.

Literaturverzeichnis [Az01]

R.T. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, B. MacIntyre, Recent advances in augmented reality, Computer Graphics and Applications, IEEE, 21 (2001) 34-47. [Az97] R.T. Azuma, A Survey of Augmented Reality, Presence: Teleoperators and Virtual Environments, 6 (1997) 355-385. [Ba08] N. Bartneck, Prozesse optimieren mit RFID und Auto-ID: Grundlagen, Problemlösung und Anwendungsbeispiele, VCH, 2008. [Be90] K-d trees for semidynamic point sets, in: SCG '90 Proceedings of the sixth annual symposium on Computational geometry, ACM, NewYork, 1990, pp. 187-197 [BR06] O. Bimber, R. Raskar, Modern approaches to augmented reality, in: ACM SIGGRAPH 2006 Courses, ACM, Boston, Massachusetts, 2006, pp. 1-86 [BTG08] H. Bay, T. Tuytelaars, L. Van Gool, SURF: speeded-up robust features, in, 2008, pp. 346-359. [Do03] F. Doil, W. Schreiber, T. Alt, C. Patron, Augmented reality for manufacturing planning, in: Proceedings of the workshop on Virtual environments 2003, ACM, Zurich, Switzerland, 2003, pp. 71-76. [FB81] M.A. Fischler, R.C. Bolles, Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography, Commun. ACM, 24 (1981) 381-395. [Fr03] M. Friebel, J. Loenhoff, H.W. Schmitz, O.A. Schulte, „Siehst Du mich?“–„Hörst Du mich?“Videokonferenzen als Gegenstand kommunikationswissenschaftlicher Forschung, (2003). [Gr10] L. Gruber, S. Zollmann, D. Wagner, D. Schmalstieg, T. Höllerer, Optimization of target objects for natural feature tracking, in, IEEE, 2010, pp. 3607-3610. [HB11] J. Herling, W. Broll, Markerless Tracking for Augmented Reality, Handbook of Augmented Reality, (2011) 255-272. [HSS06] A. Howard, S. Siddiqi, a. Sukhatme, An experimental study of localization using wireless ethernet, in, Springer, 2006, pp. 145-153. [HV02] H. van der Heijden, P. Valiente, On the value of mobile business processes: evidence from Sweden and the Netherlands, Working Paper Series in Business Administration, Stockholm School of Economics (2002)

40

[JG10]

L. Juan, O. Gwun, A comparison of sift, pca-sift and surf, International Journal of Image Processing (IJIP), 3 (2010). [KP10] D.W.F.v. Krevelen, R. Poelman, A Survey of Augmented Reality - Technologies, Applications and Limitations, The International Journal of Virtual Reality, 9 (2010) 120. [KPW03] D. Khodawandi, K. Pousttchi, C. Winnewisser, Mobile Technologie braucht neue Geschäftsprozesse, URL: http://wi2.wiwi.uni-augsburg.de/downloads/mbp-01-10.pdf [Stand: 25.03. 04], (2003). [Lo04] D.G. Lowe, Distinctive image features from scale-invariant keypoints, International journal of computer vision, 60 (2004) 91-110. [Ma08] P. Márquez-Neila, J. García Miró, J.M. Buenaposada, L. Baumela, Improving RANSAC for fast landmark recognition, in, IEEE, 2008, pp. 1-8. [Me06] A. Melski, Grundlagen und betriebswirtschaftliche Anwendung von RFID, in: https://epic.hpi.unipotsdam.de/pub/Home/SensorNetworksAndIntelligentObjects2008/Mel06_Grundlagen_ und_betriebsw_Anwendungen_von_RFID.pdf, 2006. [MYC06] E. Maler, I.F. Yergeau, J. Cowan, Extensible Markup Language (XML) 1.1, (2006). [Na04] N. Navab, Developing killer apps for industrial augmented reality, Computer Graphics and Applications, IEEE, 24 (2004) 16-20. [Ro00] L. Rosenblum, Virtual and augmented reality 2020, Computer Graphics and Applications, IEEE, 20 (2000) 38-39. [Sc05] L. Schmidt, S. Wiedenmaier, O. Oehme, H. Luczak., Benutzerzentrierte Gestaltung von Augmented Reality in der Produktion, in: C. Stary (Ed.) Mensch & Computer 2005: Kund und Wissenschaft - Grenzüberschreitungen der interaktiven ART, Oldenbourg Verlag, München, 2005, pp. 51-60. [Sc06] N. Schmidt, ILTIS–Indoor Location Tracking and Information System: Ein System zur Lokalisierung und Kommunikation mittels Ultrabreitbandfunk, ITG-FachberichtMobilfunk, (2006). [Sc09] G. Schall, E. Mendez, E. Kruijff, E. Veas, S. Junghanns, B. Reitinger, D. Schmalstieg, Handheld augmented reality for underground infrastructure visualization, Personal and Ubiquitous Computing, 13 (2009) 281-291. [SH08] C. Silpa-Anan, R. Hartley, Optimised KD-trees for fast image descriptor matching, (2008). [SSH03] S. Siddiqi, G.S. Sukhatme, A. Howard, Experiments in monte-carlo localization using wifi signal strength, in Proc. Int. Conf. Adv. Robot., Combra, Portugal, 2003, pp. 210– 223 [To10] T. Ruiz-López, J. Garrido, K. Benghazi, L. Chung, A Survey on Indoor Positioning Systems: Foreseeing a Quality Design, in: A. de Leon F. de Carvalho, S. RodríguezGonzález, J. De Paz Santana, J. Rodríguez (Eds.) Distributed Computing and Artificial Intelligence, Springer Berlin / Heidelberg, 2010, pp. 373-380. [TP91] K. Turowski, K. Pousttchi, Mobile Commerce: Grundlagen und Techniken, Springer, 1991. [We07] J.-M. Weidenhausen, Mobile Mixed Reality Platform, http://tuprints.ulb.tudarmstadt.de/774/, TU Darmstadt, 2007. [Zo08] D. Zöbel, Echtzeitsysteme : Grundlagen der Planung, Springer-Verlag Berlin Heidelberg, Berlin, Heidelberg, 2008.

41