Über Ähnlichkeit zwischen Bildern
Wir möchten heute noch einmal auf die in prometheus integrierte Bildähnlichkeitssuche eingehen, bei der auf Basis des Self-supervised Learning Algorithmus SwAV (Swapping Assignments between Views) Bildvektoren erstellt werden. Sie sind auf für das Ergebnis ausreichende 80 Dimensionen beschränkt, die sich beispielsweise auf Farbeigenschaften oder die Helligkeit von Bildpunkten sowie auf den strukturellen Bildaufbau beziehen. Diese erstellten Bildvektoren werden für die Bilder im Bildarchiv vorberechnet und im Index gespeichert, damit sich die Anfragen der Suchmaschine auf die Berechnung der Distanz zwischen diesen im Index gespeicherten Vektoren reduziert. Sie sind noch nicht für alle Bilder in prometheus erstellt und indexiert, was aber in regelmäßigen Abständen geschieht. Falls Bilder von den Ursprungsdatenbanken gelöscht werden und deshalb „nicht verfügbar“ sind, bleiben sie bis zur nächsten Aktualisierung im Index.
Vereinzelt bekommen wir zur Bildähnlichkeitssuche Feedback aus Nutzer:innensicht, die von den Ergebnissen nicht überzeugt sind, weil beispielsweise bei einem unserer Beispiele, einer Winterlandschaft von Witsen, viele Sommerlandschaften oder auch „Spargel“ von Edouard Manet in den Ergebnissen gezeigt werden.
Was meinen Sie? Sind die Bilder ähnlich oder nicht ähnlich?
Wir sehen die Ähnlichkeit in den Bildern, zwischen Schnee und Sand, die wir nicht anhand der zum Bild gehörigen Metadaten bewerten. Und ja, es sind teilweise überraschende, verblüffende und teilweise auch nicht erklärbare Ergebnisse, die wir auf diese Weise finden, im Speziellen, wenn die berechnete Distanz bei den weiter unten aufgeführten Ergebnissen größer ist.
Es sind aber auch faszinierende Ergebnisse wie im Fall der „Madonna and Child“ von Giovanni Bellini.
Meist suchen wir aber nicht explorativ, sondern gezielt, um weniger unerwartete Ergebnisse zu erhalten und dann suchen wir über die Erweiterte Suche im Titel nach Winterlandschaft oder nach den Schlagwörtern Winterlandschaft, Winter, Landschaft.
Haben Sie die Bildähnlichkeitssuche schon ausprobiert?
