Bildklassifikation mit Hilfe eines neuronalen Netzes

Odermatt, Martin and Saladin, Tobias (2018) Bildklassifikation mit Hilfe eines neuronalen Netzes. Student Research Project thesis, HSR Hochschule für Technik Rapperswil.

[thumbnail of HS 2018 2019-SA-EP-Odermatt-Saladin-Bildklassifikation mit Hilfe eines neuronalen Netzes.pdf]
Preview
Text
HS 2018 2019-SA-EP-Odermatt-Saladin-Bildklassifikation mit Hilfe eines neuronalen Netzes.pdf - Supplemental Material

Download (3MB) | Preview

Abstract

Die Evangelisch-reformierte Kirche Horgen ist im Besitz einer unstrukturierten Bildersammlung, die eine Suche nach Bildern mit bestimmen Merkmalen nicht unterstützt. Die Bilder unterliegen dem Datenschutz, wodurch eine Klassifizierung durch externe Cloud-Dienste nicht gestattet ist. Das Ziel der vorliegenden Studienarbeit war es, eine Machbarkeitsanalyse mit dem Inception-v3 Convolutional Neural Network durchzuführen. Dabei sollte gezeigt werden, ob sich das Netzwerk auch für die Klassifizierung der Bilder der Evangelisch-reformierten Kirche Horgen eignet.

Da die vom Inception-v3 Netzwerk vorgegebenen Kategorien nicht zu den Bildern der Evangelisch-reformierten Kirche Horgen passten, wurde der letzte Layer des Netzwerkes abgeschnitten. Aus den verbleibenden Layern wurde ein siamesisches Netzwerk aufgebaut, mit dem Bildpaare auf ihre Ähnlichkeit hin verglichen werden konnten. Um die Güte des siamesischen Netzwerkes zu messen, wurde mit einer bereits kategorisierten, frei verfügbaren Bilddatenbank, die nicht für das Training des Netzwerkes verwendet wurde, eine ROC-Kurve aufgezeichnet. Anhand dieser Kurve wurden Hyper-Parameter, wie der Threshold für das Clustering und ein Ähnlichkeitsmass, festgelegt. Die Methode der Messung war an dieser Stelle die ROC-Kurve. Die Ergebnisse wurden anschliessend anhand der Kurve analysiert. Die Kosinus-Ähnlichkeit erzielte in Kombination mit den Feature-Vektoren den höchsten AUC-Wert von 0.972 und wurde somit für den Anwendungsfall als geeignet beurteilt. Mit Hilfe des dazugehörigen Threshold-Werts wurde ein Clustering-Algorithmus entwickelt, der durch die Bestimmung möglichst unterschiedlicher Bilder einen Überblick über die Bildersammlung geben soll. Um auch eine auf Schlüsselwörtern basierende Bildersuche zu unterstützen, wurde die Anwendung mit der Google-Bildersuche verknüpft, sodass von Google gelieferte Bilder als Quelle für die Suche ähnlicher Bilder verwendet werden können.

Im Zuge der Studienarbeit ist ein Prototyp entstanden, der n anhand ihrer Winkel die nachfolgendenach dem einmaligen Import einer Bildersammlung durch das Inception-v3 Netzwerk automatisch Feature-Vektoren berechnet und die Bilder in Cluster aufteilt. Nach dem Import können Bilder aus den Clustern oder aus dem Resultat der integrierten Google-Bildersuche als Referenz für die Suche nach ähnlichen Bildern ausgewählt werden. Als Resultat werden dann die Ergebnisse mit der höchsten Ähnlichkeit in der Anwendung angezeigt.

Der erstellte Prototyp lieferte für den Anwendungsfall bereits ohne zusätzliches Training zufriedenstellende Ergebnisse. Limitationen waren vor allem bei Suchanfragen mit mehreren oder abstrakten Merkmalen sowie beim Erkennen von spezifischen Personen gegeben.

Item Type: Thesis (Student Research Project)
Subjects: Topics > Software > Optimization
Area of Application > Image/Video Processing
Technologies > Programming Languages > Python
Technologies > Protocols > REST
Divisions: Bachelor of Science FHO in Informatik > Student Research Project
Depositing User: OST Deposit User
Contributors:
Contribution
Name
Email
Thesis advisor
Augenstein, Oliver
UNSPECIFIED
Date Deposited: 26 Mar 2019 06:47
Last Modified: 26 Mar 2019 06:47
URI: https://eprints.ost.ch/id/eprint/745

Actions (login required)

View Item
View Item