AR-LabGlasses

Pitrella, Filippo and Schefer, Michael (2014) AR-LabGlasses. Student Research Project thesis, HSR Hochschule für Technik Rapperswil.

Full text not available from this repository.

Abstract

Eines der Probleme die bei der Bedienung von Laborgeräten auftreten können, ist, dass durch die Berührung mit den Händen oder Handschuhen, Stoffe auf das Gerät übertragen werden können. Besonders bei der Arbeit mit pharmakologischen und toxischen Substanzen kann dies problematisch sein, weil das Gerät kontaminiert werden könnte. Ein weiteres Problem ist, dass der Blick des Laboranten für das Ablesen von Messwerten ständig zwischen der Anzeige und dem Arbeitsbereich hin- und her wandert, was sich negativ auf die Konzentration auswirkt. Zu Evaluierungszwecken wird im Rahmen dieser Studienarbeit die Android Applikation AR-LabGlasses entwickelt, mit dem Ziel die oben genannten Probleme zu lösen. Die Applikation ermöglicht es dem Benutzer ein Laborgerät mittels offline basierter Sprachsteuerung zu bedienen. Alle relevanten Daten werden ihm auf einem Display, direkt vor dem Auge angezeigt. Als Zielplattform gilt grundsätzlich die Datenbrille M100 der Firma Vuzix. Die Applikation kann aber auch auf jedem anderen Android Gerät ab Version 4.0.4, welches über eine Kamera und Bluetooth verfügt, verwendet werden. Die Spracherkennung basiert auf der Pocketsphinx 0.8 Library der Carnegie Mellon University. Die Datenübertragung zwischen Datenbrille und Laborgerät erfolgt über Bluetooth (Serial Port Profile). Der Verbindungsaufbau, wird durch das Scannen eines QR-Codes initiiert. Die entstandene Applikation erfüllt unter idealen Bedingungen die gestellten Anforderungen. Die Erkennung von QR-Codes funktioniert hervorragend. Allerdings schwankt die Erkennungsrate der Sprachbefehle stark zwischen verschiedenen Anwendern und Umgebungen. Zum einen liegt das daran, dass aus Sicht der Spracherkennung, generell nur die ausgesprochene Information wichtig ist. Alles andere wie allfällige Dialekte, unterschiedliche Stimmen und Lautfolgen und die akustische Umgebung sind Störungen die, die zu erkennenden Sprachsignale anders aussehen lassen, selbst dann, wenn mehrmals das gleiche gesagt wird. Diese grundsätzlichen Schwierigkeiten sind in dieser Studienarbeit zusätzlich noch durch eine reduzierte Audio-Abtastrate des Endgeräts, verstärkt worden. Ausserdem muss ein kleines Acoustic Model und Dictionary verwendet werden, um den Footprint auf der Brille niedrig zu halten. Um diesen Einschränkungen ein wenig entgegenzuwirken, ist eine kontextbasierte Erkennung eingebaut worden. Auch hat sich gezeigt, dass die Ergonomie der verwendeten Datenbrille M100 nicht ideal ist. Die Position der Brille ist nicht stabil genug und muss von Zeit zu Zeit korrigiert werden. Das Display ist nicht durchsichtig und verdeckt einen Teil der Sichtfelds des Benutzers. Zusätzlich ist der ständige Fokuswechsel zwischen Display und Hintergrund auf Dauer ermüdend. Des Weiteren ist festgestellt worden, dass auch bei sprachgesteuerten Systemen, eine visuelle Unterstützung sehr hilfreich ist. Dies kann beispielsweise durch Darstellung von Sprachbefehlen als Buttons erreicht werden, oder durch direktes Erkennungsfeedback in Textform, damit der Benutzer sofort sieht, ob er richtig verstanden wurde. Tests haben ergeben, dass Aufgrund der mangelnden Spracherkennung, ein Einsatz in der Industrie nicht sinnvoll ist. Die anderen Komponenten der Applikation funktionieren allerdings sehr gut, wodurch eine Lösung welche die Erkennungsproblematik verringert, z.B. durch Einsatz einer online basierten Spracherkennung, potentiell besser einsetzbar wäre.

Item Type: Thesis (Student Research Project)
Subjects: Topics > Internet Technologies and Applications > Augmented Reality
Topics > Internet Technologies and Applications > Visualization
Area of Application > Multimedia > Audio
Technologies > Operating Systems > Android
Technologies > Communication > Bluetooth
Metatags > IFS (Institute for Software)
Divisions: Bachelor of Science FHO in Informatik > Student Research Project
Creators:
CreatorsEmail
Pitrella, FilippoUNSPECIFIED
Schefer, MichaelUNSPECIFIED
Contributors:
ContributionNameEmail
Thesis advisorStolze, MarkusUNSPECIFIED
Depositing User: HSR Deposit User
Date Deposited: 26 Mar 2015 12:46
Last Modified: 26 Mar 2015 12:46
URI: http://eprints.hsr.ch/id/eprint/406

Actions (login required)

View Item View Item