Augmented Reality App für die Planung von Kühlungsmassnahmen in Städten

Im Projekt Lila4Green werden Massnahmen für die Reduktion von Hitzeauswirkungen in Städten untersucht. Insbesondere soll herausgefunden werden, welche Massnahmen von den Bewohnern bevorzugt werden. Im Rahmen des Projektes wurde Augmented Reality als ein Mittel zur Darstellung von Massnahmen gewählt. Damit sollen Bewohner die Gelegenbeit bekommen, sich ein Bild der Massnahmen zu machen und eventuell über Optionen abzustimmen.

Die Augmented Reality Anwendung soll auf Mobiltelefonen laufen und leicht bedienbar sein. Als Platform wurde iOS mit ARKit gewählt. Die Arbeit an der iOS App startete mit einem Prototypen, der zwei unterschiedliche Modelle (Baum und Parklet) auf einem Marker platzieren kann. Die Implementierung wurde in SWIFT durchgeführt und konnte in wenigen Tagen fertiggestellt werden. Besonders das Baummodell bot ein spannendes Testobjekt, da jedes einzelne Blatt als komplexe Oberfläche modelliert war (rund 70.000 Polygone). Die ersten Tests zeigten sofort, dass auch komplexe Geometrien wie Pflanzen problemlos in einer solchen AR Technologie angezeigt werden. Das folgende Bild zeigt einen modellierten Baum neben einem realen Baum.

Baum in ARKit

Baum in ARKit

Nach diesem Proof-of-concept wurde die Arbeit an der App gestartet. Dazu musste zuerst der Server erweitert werden um die neuen Modelle für das ARKit auf iOS zur Verfügung zu stellen. Ebenso wurde eine Infrastruktur implementiert, die das Laden von Modellen auf das Mobiltelefon erlaubt.

Als AR Modelle werden OBJ Dateien im Wavefront Format verwendet, allerdings sind einige Einschränkungen in der Gestaltung der Oberflächentexturen sowie der Farben zu beachten. Ein aktuelles Modell aus dem Projekt wurde dazu aus ArchiCAD mit Hilfe eines Studenten in mehreren Schritten angepasst.

Das User Interface der App wurde mit einem Abstimmungssystem ausgestattet und um ein Führungssystem erweitert. Zuerst wählt eine User/in das Projekt aus einer Liste von aktiven Projekten aus. Dann wird eine AR View angezeigt, die auf das aktuelle Kamerabild zugreift. Wenn ein Marker erkannt wird, wird das Modell geladen und in einer bestimmten Position und Rotation in Bezug auf den Marker perspektivisch korrekt angezeigt. Die Rotation sowie die Verschiebung kann am Server eingestellt werden um lokale Anpassungen zu erlauben.

Parklet in ARKit

Parklet in ARKit

Eine wesentliche Hürde bei der Entwicklung von iOS Apps ist der hohe bürokratische Aufwand, eine App im Apple Ökosystem zu platzieren. Es dauert mehrere Tage um entsprechende Accounts und Freigaben zu bekommen. Besonders absurd sind die Anforderungen der Amerikanischen Exportbestimmungen, die eine Verschlüsselung des Datenverkehrs zwischen einer App und einem Server mit einem Exportverbot belegen. Zum Glück findet sich am Ende eines langen Dokumentes eine Ausnahmeregelung für standardisierte HTTPS Verbindungen.

Bei einem Projektevent wurde die App auf mehreren iPads vorgeführt und die Teilnehmer haben sofort begonnen das dargestellte Parklet zu durchwandern. Die AR Technologie von ARKit ermöglicht eine AR Projektion auch wenn der Marker nicht mehr im Kamerabild ist. Damit kann der User/in sich sehr frei im projizierten Objekt bewegen und es ergründen und erfahren. Das Feedback der Teilnehmer war durchwegs positiv. Eine wesentliche Kritik war das Fehlen einer korrekten Schattendarstellung. Mit der neuen AR Technologie wurde klar, dass diese Form der Präsentation das Potential hat einen sehr realistischen Eindruck zu erzeugen. Eine wesentliche Abrundung dieses realistischen Eindruckes benötigt aber die realitätsnahe Simulation von Schattenwurf sowie realitätsnahe Texturen der Objektoberflächen. Daran wird weiter gearbeitet.