VDM Herbert, B: Untersuchung cross-modaler Bearbeitungsverfahren

In dieser Arbeit soll untersucht werden, ob durch die Kombination akustischer und visueller Merkmale von Videodaten eine Verbesserung der automatischen Klassifikation, Segmentierung und Ähnlichkeitssuche möglich ist. Dazu wird jeder dieser Schwerpunkte sowohl mit rein akustischen als auch mit rein visuellen Methoden getestet, um Verbesserungen durch die Kombination beider Modalitäten bei der Metadatenverarbeitung festzustellen. Die Videoauswahl beschränkt sich auf Musikvideos, da diese ein breites Spektrum möglicher Stilrichtungen und Merkmalsausprägungen enthalten. Die Ziele der Arbeit sind dabei 1. Herauszufinden, ob durch Kombination akustischer und visueller Merkmale eine bessere Klassifikation möglich ist, 2. Die unimodale Segmentierung nach akustischen und visuellen Merkmalen zu untersuchen und eine verknüpfte Segmentierung zu erstellen und zu testen und 3. Eine Ähnlichkeitssuche nach multimodalen Gesichtspunkten durchzuführen und deren Ergebnisse mit denen unimodaler Suchen zu vergleichen und zu bewerten. Abschliessend kann gezeigt werden, dass die crossmodale Herangehensweise Verbesserungen bringen kann, auch wenn hier keine erreicht werden konnten.