Ähnliche Bilder suchen
Seit einigen Tagen ist im prometheus-Bildarchiv eine Bildähnlichkeitssuche möglich, mit der Sie innerhalb des Bildbestandes ausgehend von einem Bild ähnliche Bilder finden können. Innerhalb der Task Area 3 des NFDI4Culture-Projekts wurde sie von Francisco Mondaca und Jörg Koch entwickelt und integriert.
Was steckt dahinter?
Auf der Basis des Self-supervised Learning Algorithmus SwAV (Swapping Assignments between Views) wurden Bildvektoren erstellt, und zwar auf für das Ergebnis ausreichende 80 Dimensionen beschränkt. Der Algorithmus ist in „Unsupervised Learning of Visual Features by Contrasting Cluster Assignments“ von Caron et al. beschrieben und eine Implementation wird von Facebook bereitgestellt. Das verwendete Modell ist ein mit dem ImageNet-Datensatz vortrainiertes SwAV-Modell.
Die Bildvektoren wurden für alle Bilder im Bildarchiv vorberechnet und im Index gespeichert. Damit reduzieren sich die Anfragen der Suchmaschine auf die Berechnung der Distanz zwischen diesen im Index gespeicherten Vektoren. Zur Berechnung der geringsten Distanz wird der euklidische Abstand verwendet.
Wo finden Sie die Bildähnlichkeitssuche?
Unter allen Bildern in prometheus wird Ihnen der Menüpunkt „Ähnliche Bilder“ mit den ersten vier Bildern angezeigt und Sie können sich mit einem Klick direkt „Alle anzeigen“ lassen.
Und wie finden Sie die Bildähnlichkeitssuche?
Wir sind gespannt und freuen uns über Ihr Feedback.
