Bild
Film Diskurs
Bild
Film Diskurs
Die Interpretation und Analyse von Bildern, bewegten Bildern und Text-Bild-Kombinationen ist hinsichtlich vieler Aspekte wissenschaftlich äußerst herausfordernd sowie dringend notwendig. Solche Kombinationen entwickeln sich zur Zeit zu dem am meisten verwendeten Kommunikationsmodus überhaupt und sind bereits in traditionellen Dokumenten, Webseiten, Benutzerschnittstellen, Lehrmaterialien u.v.a. üblich. Aber unser theoretisches Verständnis dafür, wie genau diese komplexen kommunikativen Gegenstände Bedeutung tragen oder, auch häufig, warum sie die intendierte Bedeutung nicht tragen (zum Beispiel in Gebrauchanweisungen oder in unüblich zusammengesetzten Filmsequenzen, usw.) ist überraschend fragmentarisch. Die Zielsetzung dieses Projekts ist eine nachweisbare Verbesserung und Erweiterung dieses Grundverständnisses zu liefern, die besonders durch ein Zusammenbringen technisch-formaler quantitativer Methoden und qualitativer hermeneutischer Methoden zu erreichen ist.
In diesem Teilprojekt sollen Techniken entwickelt werden, die es ermöglichen, Konzepte in Nachrichtenbildern zu erkennen. Die Herausforderung liegt dabei darin, dass diese Bilder komplex sind und einer sehr hohen Ausprägungsvarianz unterliegen. Die Komplexität ergibt sich aus der Quantität der Bildstrukturen, die auszuwerten sind, um sie von Abbildungen anderer Konzepte abgrenzen zu können. Die Ausprägungsvarianz beschreibt die Vielfalt unterschiedlicher Anordnungen von Bildstrukturen, die für Abbildungen eines Konzeptes gegeben sein können.
Bisher ist es nicht möglich, komplexe Konzepte mit hoher Ausprägungsvarianz in Bildern automatisiert zu erkennen. Den meisten bisherigen Ansätzen gelingt ein Konzepterkennen nur, wenn starke Einschränkungen, bezüglich besonderer Eigenschaften, wie z.B. Hintergrund, Beleuchtung oder Objektausprägungen gemacht werden können. Daher sind diese Anwendungen meist spezialisiert auf die jeweilige Anwendung und können kaum auf andere Anwendungen übertragen werden.
Die Arbeiten in diesem Teilprojekt sollen dazu beitragen, universellere Architekturen für das Bildverstehen zu finden und zu realisieren. Die Verarbeitung soll möglichst so erfolgen, dass beliebige Konzepte gelernt werden können. Das ist für die Analyse von Nachrichtenbildern auch notwendig, denn diese wird bestimmt von wechselnden Fragestellungen nach Bildinhalten.
Ein interessanter und anspruchsvoller Teilbereich der automatischen Filmanalyse
ist die Erkennung bestimmter Ereignisse (event detection). Ereignisse in Film
können dabei sehr technisch definiert sein, wie z.B. der Wechsel der Einstellung
oder ein plötzlicher Anstieg der Lautstärke, aber im anderen Extrem auch sehr
abstrakt, wie z.B. die Heimkehr des Protagonisten. Im Allgemeinen können erkannte
Ereignisse zum Indexieren des Filmmaterials genutzt werden, um eine effektive
Archivierung und effektives sowie effizientes Retrieval mit Bezug auf die betrachteten
Ereignis-Klassen zu ermöglichen.
Das Teilprojekt 2 beschäftigt sich vor allem mit der automatischen Erkennung
von Ereignissen, die für die linguistische Analyse von Film von Interesse sind.
In enger Zusammenarbeit mit dem Teilprojekt 4 werden daher entsprechende Klassen
von Ereignissen erarbeitet, deren automatische Erkennung einerseits möglich
ist, und die andererseits in einer linguistischen Diskursanalyse von Filmen
verwendbar sind. So soll die Diskursanalyse von Filmen durch Unterstützung mittels
automatischer Verfahren auf einem insgesamt größeren Korpus durchgeführt werden
können.
Im Zentrum des Teilprojekts der Jacobs University (TP3) steht das Politisch-Ikonografische Archiv von Professor Marion G. Müller. Dieses enthält ca. 15.000 Bilder – hauptsächlich Pressefotografien, aber auch Cartoons und Reproduktionen von Kunstwerken – die im Laufe der vergangen 14 Jahre gesammelt und im Hinblick auf ihre Bedeutung für die politische Kommunikation in unserer Zeit kommentiert und kategorisiert wurden. Das PIAV-Archiv – Politisch-Ikonografisches Archiv der Vision – steht in der Tradition des Kulturhistorikers Aby Warburg (1866 – 1929, Kulturwissenschaftliche Bibliothek Warburg, Hamburg) sowie des Hamburger Kunsthistorikers Martin Warnke.
Pressefotos sind „Fastfood für die Augen“. Klassische Archive für Pressefotografie, beispielsweise von Presseagenturen oder Zeitungen, sind meist streng nach journalistischer Logik geordnet. Für die visuelle Analyse von Bildern sind allerdings andere Aspekte der Bilder interessant und demnach besteht ein Bedarf an neuen, motivorientierten Suchwerkzeugen für Bildmaterial. Denn während für Journalisten der Name des Fotografen, das Datum der Publikation des Bildes und der Aufnahmeort von größter Bedeutung sind interessiert sich ein Wissenschaftler aus dem Bereich der visuellen Kommunikation für die abgebildeten Motive. Bis zum heutigen Tag gibt es kein Klassifikationssystem für visuelle Motive im Bereich der Pressefotografie. Unter Verwendung von Marion Müllers PIAV-Index wird innerhalb dieses kollaborativen Forschungsprojekts eine neuartige Topologie zur Klassifikation von massenmedialen Bildern erstellt, die als Basis für die Entwicklung des Prototyps eines Bildanalyse- und -suchwerkzeugs im Rahmen von TP1 dient. Eines von vielen erwarteten Ergebnissen aus diesem Forschungsprojekt ist einerseits der verbesserte Zugang von digitalen visuellen Archiven andererseits ein besseres Verständnis der Interaktion von Text und Bild im Bezug auf die Bedeutungsbildung von multimodalen Nachrichten, die „Bild - Text - Diskurs“ miteinander kombinieren. Die Forschungsergebnisse sind sowohl relevant für die kulturwissenschaftliche Erforschung von visuellem Material als auch für die semantische Bildanalyse, die Visualisierung sowie die Bild-Archivierung.
Das Hauptziel dieses Teilprojekts ist, einen Katalog für die menschliche Interpretation wichtigen Konstruktionen in Film zu erstellen und durch automatische Abfrage ihre Semantik gegen Daten zu validieren/präzisieren. Die automatische Erkennung wird in Kooperation mit Teilprojekt TP2 durchgeführt. Das Projekt wird zuerst informell und hermeneutisch vorgehen, fundiert auf Analysen von ausgewählten Filmen mit Hilfe der Filmliteratur und Methoden aus der multimodalen Linguistik.
Danach in einem zweiten Schritt wird die herausgearbeiteten Konstruktionen formell spezifiziert. Die genauen filmischen Eigenschaften und die visuellen (akustischen usw.) Eigenschaften der Einstellungen notwendig für die Erkennung des Musters werden festgelegt. Diese Eigenschaften sind dann als mögliche Merkmale für die automatische Erkennung und Interpretation in Kooperation mit TP2 zu untersuchen. Dadurch wird womöglich eine Automatiserung der Erkennung von filmischen Konstruktionen angestrebt. Letztlich werden abstrakte Bedeutungen für die identifizierten Konstruktionen vorgeschlagen und evaluiert. Eine automatische Erkennung dieser Art wird dann die Möglichkeit anbieten, Hypothesen zu Bedeutung zum ersten Mal auf Basis einer breiteren empirischen Basis nachzugehen und zu präzisieren oder zu verwerfen. Durch diese Methodik wird das Teilprojekt in die Lage versetzt, ein empirisch validierte Katalog von Filmkonstruktionen mitsamt Bedeutungen bereitzustellen.
Ein genau paralleles Verfahren wird mit Nachrichten- und Magazinsendungen verfolgt werden. Es wird erwartet, dass die Bedeutung von Konstruktionen von filmischem Genre abhängt. Dies wird verifiziert oder verworfen während vertiefenden komparativen Studien zur Evaluierung des entwickelten Verfahrens.
Projektarbeitsplan (pdf)