Die Cardiff Conversation Database (CCDb) ist ein gemeinsames Projekt von Forschern der Cardiff University, der Brandenburgischen Technischen Universität und der Korea University. Es ist die erste hochwertige, multimodale, nicht geskriptete Datenbank mit natürlichen Gesprächen zwischen zwei Personen. Da die Rollen der Teilnehmer im Gespräch nicht festgelegt sind, wechseln sie immer wieder zwischen Sprecher und Zuhörer.
 

Die Datenbank umfasst derzeit 44 Gespräche zwischen jeweils zwei Sprechern, die jeweils etwa fünf Minuten dauern. Insgesamt gibt es 16 Sprecher, davon 12 Männer und 4 Frauen im Alter zwischen 5 und 56 Jahren. Einige Sprecher wurden daher mehrfach mit unterschiedlichen Gesprächspartnern zusammengebracht. Viele Gespräche sind mit Anmerkungen zu Mimik, verbalen und nonverbalen Äußerungen sowie transkribierten Sprachaufzeichnungen versehen (siehe unten).

Der Datensatz eignet sich für Wahrnehmungsexperimente sowie für Aufgaben im Bereich Computer Vision und Computergrafik, einschließlich der Verwendung in maschinellen Lernaufgaben.

Datenerfassung
Die vollständige Datenbank umfasst Audio-, 2D-Video- und 3D-Videodaten. Zwei dynamische 3D-Scanner (einer für jeden Gesprächspartner) haben die 3D-Videos aufgenommen, zwei Basler A312fc Firewire-CCD-Kameras haben 2D-Farbvideos mit Standard-Bildfrequenz aufgenommen und ein Mikrofon, das vor dem Teilnehmer und außerhalb des Blickfelds der Kamera platziert war, hat den Ton (mit 44,1 kHz) aufgenommen.

Um sicherzustellen, dass alle Audio- und Videodaten zuverlässig synchronisiert werden konnten, hatte jeder Sprecher ein Handgerät mit Summer und LED (Leuchtdiode), mit dem der Beginn jeder Aufnahmesitzung markiert wurde. Beide Geräte wurden über eine einzige Taste gesteuert, die gleichzeitig den Summer und die LED aktivierte. Zwischen den Aufnahmesitzungen wurden keine Änderungen an der Ausrüstung vorgenommen, mit Ausnahme der Höhe des Stuhls, um sicherzustellen, dass der Kopf des Sprechers von den Kameras gut zu sehen war.

Zugang zur Datenbank:
Das 2D-Video findest du unter huggingface

Kernveröffentlichung:
Wenn du den Datensatz verwendest, gib bitte folgende Quelle an:
      Aubrey, Andrew J., David Marshall, Paul L. Rosin, Jason Vendeventer, Douglas W. Cunningham und Christian Wallraven. „Cardiff Conversation Database (CCDB): Eine Datenbank mit natürlichen dyadischen Gesprächen.“ In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, S. 277–282. 2013.

Abgeleitete Datenbanken und Anmerkungen:

Die CCDb Head Gesture (CCDb-HG) hat Anmerkungen für jeden Frame mit 6 Kopfgesten: Nicken, Schütteln, Neigen, Drehen, Auf/Ab und Wackeln.

Die Interaktionsverhaltensdatenbank enthält kommentierte Segmente zu Lächeln und Lachen sowie deren Intensität, die von Gesprächspartnern in Konversationskontexten ausgedrückt werden. Sie enthält auch Anmerkungssegmente zu den Rollen der Gesprächspartner (Sprecher, Zuhörer oder keiner) während ihrer Gespräche.