Blog
Wir möchten heute noch einmal auf die in prometheus integrierte Bildähnlichkeitssuche eingehen, bei der auf Basis des Self-supervised Learning Algorithmus SwAV (Swapping Assignments between Views) Bildvektoren erstellt werden. Sie sind auf für das Ergebnis ausreichende 80 Dimensionen beschränkt, die sich beispielsweise auf Farbeigenschaften oder die Helligkeit von Bildpunkten sowie auf den strukturellen Bildaufbau beziehen. Diese erstellten Bildvektoren werden für die Bilder im Bildarchiv vorberechnet und im Index gespeichert, damit sich die Anfragen der Suchmaschine auf die Berechnung der Distanz zwischen diesen im Index gespeicherten Vektoren reduziert. Sie sind noch nicht für alle Bilder in prometheus erstellt und indexiert, was aber in regelmäßigen Abständen geschieht. Falls Bilder von den Ursprungsdatenbanken gelöscht werden und deshalb „nicht verfügbar“ sind, bleiben sie bis zur nächsten Aktualisierung im Index.
Vereinzelt bekommen wir zur Bildähnlichkeitssuche Feedback aus Nutzer:innensicht, die von den Ergebnissen nicht überzeugt sind, weil beispielsweise bei einem unserer Beispiele, einer Winterlandschaft von Witsen, viele Sommerlandschaften oder auch „Spargel“ von Edouard Manet in den Ergebnissen gezeigt werden.
Was meinen Sie? Sind die Bilder ähnlich oder nicht ähnlich?
Wir sehen die Ähnlichkeit in den Bildern, zwischen Schnee und Sand, die wir nicht anhand der zum Bild gehörigen Metadaten bewerten. Und ja, es sind teilweise überraschende, verblüffende und teilweise auch nicht erklärbare Ergebnisse, die wir auf diese Weise finden, im Speziellen, wenn die berechnete Distanz bei den weiter unten aufgeführten Ergebnissen größer ist.
Es sind aber auch faszinierende Ergebnisse wie im Fall der „Madonna and Child“ von Giovanni Bellini.
Meist suchen wir aber nicht explorativ, sondern gezielt, um weniger unerwartete Ergebnisse zu erhalten und dann suchen wir über die Erweiterte Suche im Titel nach Winterlandschaft oder nach den Schlagwörtern Winterlandschaft, Winter, Landschaft.
Haben Sie die Bildähnlichkeitssuche schon ausprobiert?
Inspiriert von der Grafik „Dependency“ stellen wir heute kurz die wichtigsten Fakten zur Vorgehensweise bei der Entwicklung der prometheus-Software vor.
Im aktuellen Hauptentwicklungsstapel haben wir ruby on rails 7.1, ruby 3.2, elasticsearch 8.7, mariadb 10.11 und apache 2.4 neben den anderen Komponenten imagemagick zum Verarbeiten von Bildern, ffmpeg zur Verarbeitung von Videos und nokogiri zur Verarbeitung der meisten Metadatenimporte. Zunächst testen wir alle Änderungen und Neuerungen auf unserer aus zwei Teilen bestehenden Testsuite. Zum einen unterhalten wir eine Unit-Test-Suite mit Minitest, um wichtige Komponenten unserer Anwendung isoliert zu testen, wie z.B. das Berechtigungsmodell und die Bildverarbeitung. Zum anderen simuliert unsere e2e-Suite mit selenium-webdriver echte Benutzer*innen, die einen Browser starten und die Prometheus-Anwendung verwenden. Kein Code wird jemals auf unseren Servern bereitgestellt, ohne dass er alle Tests zuvor bestanden hat.
Um sicherzustellen, dass wir neue Teammitarbeiter*innen leicht einarbeiten können und gleichzeitig einen konsistenten Codestil beibehalten, verwenden wir rubocop während unserer Testläufe, mit der ein paar Regeln durchzusetzen sind. In ähnlicher Weise führen wir Sicherheitsaudits mit Tools wie Brakeman durch. Während der Entwicklung verwenden wir eine Reihe von Debuggern und Profilern, um Flaschenhälse einzugrenzen und schwer zu findende Fehler zu beheben.
Das Bildarchiv betreiben wir auf drei Servern mit insgesamt 12 CPUs und 48G RAM. Vor kurzem wurden diese und unsere anderen Server auf Debian 12 migriert, die Basis für viele beliebte Linux-Distributionen wie Ubuntu oder Mint.
Jede Woche wechselt die obere Bildleiste auf der Homepage von prometheus und gibt einen ersten visuellen Eindruck von der Bildserie der Woche. Die Themen sind meist von aktuellen Ausstellungen inspiriert, beispielsweise in dieser Woche von „Anna Oppermann. Eine Retroperspektive“ in der Bundeskunsthalle in Bonn. Häufig nehmen wir einen Aspekt der Ausstellung oder aus dem Werk der Künstler*in, wie in diesem Fall die „Ensembles“ von Anna Oppermann und schauen im prometheus-Bildarchiv nach passenden Abbildungen. Nicht immer können wir dabei auf eine Forschungsdatenbank zurückgreifen und darüber auf 2.191 Datensätze zu dem Werk der Künstlerin.
Immer gibt es aber eine öffentliche Bildsammlung bei prometheus, die Sie direkt anklicken können (s. Abb. „1.“) und in der mehr Material zu dem Thema zu finden ist. Seit heute können Sie auch die thumbnails direkt anklicken (s. Abb. „2.“) und Ihnen wird jeweils der zugehörige Datensatz im Bildarchiv angezeigt.
Gerne nehmen wir Ihre Themen für eine #BildseriederWoche entgegen, zu einer Ausstellung, aber auch zu Projekten oder Aktionen. Nehmen Sie Kontakt mit uns auf und wie schauen, wie es sich realisieren lässt.
Auch in diesem Jahr beginnen wir in der Rubrik unserer Informationen aus dem Bildarchiv mit einem Blick auf die Jahresliste der im vergangenen Jahr von Ihnen am häufigsten gesuchten Künstlerinnen und Künstlern.
Paula Modersohn-Becker hatte es 2022 an die Spitze geschafft, aber in diesem Jahr kam sie auf Platz 9. An der Spitze wurde sie abgelöst von Pablo Picasso, gefolgt von Vincent van Gogh und Max Ernst. Meistgesuchte Künstlerin ist 2023 Hannah Höch hinter diesem Trio. Mit ihr sind sieben weitere Künstlerinnen in den Top 20 zu finden.
Alle Top 20 in 2023:
1. Pablo Picasso
2. Vincent van Gogh
3. Max Ernst
4. Hannah Höch
5. René Magritte
6. Claude Monet
7. Gabriele Münter
8. Caspar David Friedrich
9. Paula Modersohn-Becker
10. Hilma af Klint
11. Caravaggio
12. Albrecht Dürer
13. Otto Dix
14. Frida Kahlo
15. Nan Goldin
16. Henri Matisse
17. Gerhard Richter
18. Kandinsky
19. Rebecca Horn
20. Cindy Sherman
Auch in der Liste der zehn lebenden Künstlerinnen und Künstlern, die 2023 auf Google das größte Interesse weckten und die Internetdienstleister für das Magazin Monopol ermittelte, hat sich im Vergleich zum letzten Jahr einiges geändert. Die letztjährige Nummer 1 Banksy ist nicht mehr unter den Top 10, ebenso wie Jeff Koons, Cindy Sherman, Damien Hirst und Wolfgang Tillmanns.
1. Gerhard Richter
2. Yoko Ono
3. Marina Abramović
4. Anselm Kiefer
5. Leon Löwentraut
6. David Hockney
7. Yayoi Kusama
8. Isa Genzken
9. Kaws
10. Georg Baselitz
Abbildungen in prometheus werden in der ersten und zweiten Vergrößerungsstufe immer innerhalb eines gesetzten Größenrahmens angezeigt. Hoch- oder Querformat ist dort zu erkennen, aber wie groß ist das Bild in der Realität?
Angaben zur Größe bietet das Feld „Maße“. In unserem Beispiel sind es 29,6 × 23,6 cm.
Um jeweils direkt am Bild in prometheus eine visuelle Vorstellung davon zu bekommen, wie groß oder wie klein das Objekt ist, ist im Bildarchiv die Vergleichsgröße als 175 cm große Menschengruppe integriert. Sie ist bei allen Abbildungen, bei denen Höhe und Breite angegeben sind, sichtbar.
Rund 75% aller Datensätze der 124 in prometheus integrierten Bilddatenbanken sind mit Datierungen versehen und stehen für eine Filterung von Suchergebnissen nach Datierung zur Verfügung.
Wenn Sie beispielsweise in der erweiterten Suche nach „Weihnachten“ suchen, erhalten Sie 809 Datensätze in der Ergebnisliste.
Sie sind eher an Darstellungen von Weihnachten in einer bestimmten Zeit interessiert? Beispielsweise in der Zeit um 1920?
Begrenzen Sie unter „nach Datierung filtern“ die Ergebnisse auf 1920 bis 1920. Sie erhalten 30 Datensätze mit genauer Zeitangabe „1920“ sowie mit Zeiträumen wie „um 1915 oder „1876 – 1924“ oder „20. Jh.“.
Es soll doch eher ein anderer Zeitraum sein? Vielleicht 100 bis 1.000 n. Chr.?
Seit gut zwei Jahren gibt es im prometheus-Bildarchiv eine Bildähnlichkeitssuche, mit der Sie innerhalb des Bildbestandes ausgehend von einem Bild ähnliche Bilder finden können.
Innerhalb der Task Area 3 des NFDI4Culture-Projekts wurde sie von Francisco Mondaca und Jörg Koch entwickelt und integriert. Auf der Basis des Self-supervised Learning Algorithmus SwAV (Swapping Assignments between Views) wurden Bildvektoren erstellt, die für alle Bilder im Bildarchiv vorberechnet und im Index gespeichert werden, damit sich die Anfragen der Suchmaschine auf die Berechnung der Distanz zwischen diesen im Index gespeicherten Vektoren reduziert. Für alle neuen Bilder in prometheus werden in regelmäßigen Abständen (gerade erst wieder) weitere Bildvektoren erstellt und im Index gespeichert.
Sie finden vier ähnliche Bilder unter der Einzelansicht des Bildes.
Mit einem Klick auf „Alle anzeigen“ gelangen Sie zur Ansicht aller ähnlichen Bilder der von uns ausgesuchten Winterlandschaft.
Wikidata ist eine freie, gemeinsame Datenbank und ein Projekt der Wikimedia-Foundation mit dem Ziel, strukturierte Daten zu zentralisieren und nutzbar zu machen. Im letzten Jahr haben wir in prometheus zunächst Wikidata-Suchlinks integriert und einige Monate später die Möglichkeit, an jedem Bild an den Künstler*innen-Felder die zugehörige Wikidata-ID zu ergänzen.
Bei dem Klick auf „Wikidata-ID hinzufügen“ öffnet sich ein Fenster, in den zunächst der Name eingegeben und dann der entsprechende Wikidata-Eintrag ausgewählt werden kann. Nach dem Speichern ist die Wikidata-Id ergänzt. Falls nötig ermöglicht ein Klick auf den Stift auch eine Korrektur.
Über diese Wikidata-IDs, den vorhandenen und den erstellten, gelangen Sie jeweils direkt aus dem Bildarchiv zu den entsprechenden Normdaten in Wikidata. Und Sie können in prometheus nach den Wikidata-IDs suchen.
Bisher wurden 150 Einträge auf diese Art und Weise hinzugefügt. Da geht aber bestimmt in den nächsten Wochen und Monaten noch mehr. Probieren Sie es doch auch mal aus.
Mit der Institutsdatenbank „Historische Fotosammlung“ des Instituts für Kunst- und Bildgeschichte an der Humboldt-Universität Berlin ist eine weitere Bilddatenbank in prometheus eingebunden.
Die meisten der heute vorhandenen ca. 1.500 älteren Fotografien der fotografischen Sammlung des Instituts wurden um 1950 antiquarisch erworben. Einige davon stammen aus der Frühzeit der Fotografie. Derzeit sind rund zwei Drittel der älteren Fotografien digital erschlossen und die ersten 758 Datensätze stehen für Ihre Recherche im Bildarchiv bereit.
Wenn Sie bei prometheus einen persönlichen Zugang haben und eine neue E-Mail-Adresse nutzen wollen oder zu einem anderen lizenzierten Institut gewechselt sind, können Sie Ihr Profil selbst anpassen.
Ihr Profil wird sich öffnen und Sie sehen Ihren Namen, Ihre E-Mail-Adresse, … Ein weiterer Klick auf den Stift und Sie können diese Angaben ändern. Ebenso wie Sie dort auch den Wechsel Ihrer Institution oder Ihrer Lizenz vornehmen können, um auch nach dem Wechsel weiterhin auf Ihre Inhalte wie Bildsammlungen, Ihre eigene Datenbank und die Favoriten zugreifen können.
Gehen Sie zum Punkt „Lizenz“ – „Eine neue Lizenz erwerben oder Ihre Institution wechseln …“.
In der Liste der lizenzierten Institutionen sehen Sie, ob Ihre (neue) Institution dazugehört. Wenn ja, wählen Sie diese aus, speichern Sie und Sie gehören der neuen Institution an. Ihr Administrator oder Ihre Administratorin kann Sie ab jetzt in der Liste der Institution finden und dort beispielsweise bei Bedarf Ihren Zugang verlängern.
Für den Fall, dass Ihr persönlicher Zugang derzeit abgelaufen ist, kann er vielleicht noch mit allen persönlichen Einstellungen reaktiviert werden. Fragen Sie bitte bei uns nach, bevor Sie sich einen neuen Account anlegen und Ihre Arbeit im Bildarchiv wiederholen müssen. Wir helfen gerne.
