"If everybody would agree that their current reality is A reality, and that what we essentially share is our capacity for constructing a reality..."
Francisco J. Varela

Bases de données multimédia
Introduction

Multimedia ?

Comme son nom ne l'indique pas le multimedia se concentre généralement sur un support unique (MONOmedia). C'est le contenu du support qui est multiple et riche : simple texte, images, sons, vidéo.
Cette richesse et cette variété font que l'intégration, et le respect de standards sont des enjeux importants.

Le contenu multimedia peut être stocké et accédé de différentes manières :

faible volume (qq centaines de MO) circonscrit sur un CD/DVD ROM et accessible via une IHM spécifique
volume important (GO ou TO) dans une BD multimédia et accédé via un langage de requête spécifique
volume illimité sur le WEB accédé de manière associative via la navigation hypermédia

A la différence du textuel, ces nouveaux contenus induisent une forte intéractivité avec l'utilisateur

De l'importance du Multimédia

On observe ces dernières années :

une augmentation vertigineuse du nombre des contenus digitaux,
- diversification des contenus : image statique, gif animé,flash, MPEG, DIVx, stream video, mais aussi MP3, stream audio, etc.)
- meilleure disponibilité des contenus : moteurs de recherche spécialisés, peer to peer
une sensible baisse des coûts alliée à une augment tation de performances:
- des périphériques de stockage (mémoire vive et disque), des CPUs : Cf la célèbre Loi de Moore
- démocratisation des outils de production et de restitution digitaux (scanner, appareil photo/video, téléphone portable, lecteurs/encodeur de poche, etc.)
qu'Internet commence enfin à prendre sa vraie dimension Hypermedia et plus seulement hypertexte (...bien que le concept fut inventé par Tim berners Lee, dès 1989)

le 'tout numérique' accélère encore cette multiplicités des contenus et permet de faire coexister sur un même appareil (téléphone portable, walman video) de la voix, de la photo, de la vidéo en offrant un nombre toujours grandissant de services à l'utilisateur.

De l'importance des Bases de données

Corrolairement l'inflation d'information non struturée, au départ textuelle et désormais multimédia, a imposé l'utilisation complémentaire de systèmes de gestion d'informations strucurés, pour pallier les limites inhérentes à l'hyper navigation (il n'est que de constater le succès d'outils comme Google ou Yahoo).
Les bases de données sont intensivement utilisées :

pour produire des pages dynamiques
pour rechercher efficacement une information pertinente

l'information textuelle est encore très fortement majoritaire, et reste privilégiée dans les IHM y compris pour accéder à des données visuelles

Quelques ordres de grandeur...en 2006

- Google a dans sa base plusieurs milliards d'images et de documents, 1 000 000 000 de messages (usenet) indexés
- ordre de grandeur image SPOT : 500 MO, image E.O.S (earth observation satellite) : 1,5 GO
- 80% du cout d'un S.I.G est dépensé dans la collecte d'info et leur digitalisation
- La seule NASA produit avec son système de surveillance de la terre, des Tera Octets d'images digitales / jour !

Système multimédia

Une base de données multimédia s'intègre dans un système multimédia plus général et qui comprend au moins 4 composants :

la BDMM elle même,
un serveur de stockage,
un réseau,
des clients MM fixes ou non.

Les principaux processus d'un système multimédia sont :

la capture des données,
le stockage,
l'indexation,
l'archivage,
la recherche et la fourniture d'information.

Base de données multimedia

Les premières versions de BDMM étaient simplement de la présentation : afficher une photo des employés en plus des informations structurées classiques, afficher une image du produit pour enrichir le catalogue.
Le stockage externe de ces images s'avérait suffisant et la BD servait à manipuler les données connexes.
Ceci est toujours d'actualité, mais constitue une 'version pauvre' des BDMMs.

Au dela des fonctionnalités clssiques d'un SGBD, qui sont également utiles à une BDMM :

gestion de gros volumes,
langage de requete et de mise à jour,
sécurité (intégrité, disponibilité, fiabilité,
gestion des accès conurrents,
performance

fontionnalités spécifiques des BDMMs

support de type de donnée multimedia riche (image, son, video ou LOB)
langage de requete et de mise a jour opérant sur ces contenus : SELECT, UPDATE, INSERT, DELETE
nouveaux opérateurs spécifiques : 'zoom', 'rotate', 'play', 'avance rapide', 'compresse', etc.
recherche avancée sur le contenu ou la sémantique
composition / décomposition des objets MM, qui peuvent être composites (une image video + 1 piste son)
possibilité de synchronistaion des composants et de gestion dela dimension temps (inexistantes dans les BDs classiques)

qui doivent satisfaire de nouvelles contraintes et relever...

de nouveaux défis et contraintes :

l'espace : la taille d'une minute de video en haute définition peut atteindre 1GO
le temps : on attend des réponse rapides, fluides (vidéo) , ordonnées (le temps a un sens !) , synchronisées
le sens : par définition un contenu multimedia peut être moins explicite qu'un contenu textuel et être sujet à interprétation. les données textuelles connexes sont elles pertinentes ?

D'une manière générale la qualité de service (QoS) est une contrainte importante des BDMM, d'autant plus difficile a réaliser que le contenu est lourd, hétérogème et / ou réparti.

Données multimedia et perception

De l'intérêt de la théorie de la perception, et de la connaissance des spécificités de la perception humaine, de sa puissance, mais aussi de ses limites. Cette connaissance va nous aider à :

optimiser le stockage et la restitution des données MM : pas d'information stockée au dela du seuil de perception par exemple
exploiter des facultés humaines particulières : persistance rétinienne, vision stéréoscopique, ...
éviter les effets néfastes : en réalité virtuelle particulièrement (hallus, addictions, déconnexion du réel, nausées, ...)

remarque : la vision est de loin le sens le + utilisé et celui le plus étudié en sciences de la cognition.

Deux grandes écoles dans la théorie de la perception :

Constructiviste / comportementaliste : la vision est fonction de nos connaissances acquises, de notre mémoire, et de nos représentations. La représentation du monde est essentiellement construite à partir de ces informations. (80% "d'émission" vs 20% "de réception" ?) d'après Francisco J. Varela.
écologique : on ne s'intéresse qu'au niveau macroscopique (temps et espace) et pas au niveau physique ou chimique. L'animé est indissociable de son environnement.

Les psychologues comportementalistes ont mis en évidence quelques capacités innées de l'humain à organiser ce qu'il percoit, par :

a) proximité : regroupement d'entités physiquement proches
b) similitude : regroupement d'entités de forme ou de couleurs similaires
c) complétude (arc incomplet) : on complèe une forme pour la 'fermer', circonscrire
d) continuité : les lignes discontinues sont rendues continues
e) symétrie : fermeture de forme symétrique ou recherche de formes symétriques

Les capacités organisationnelles de la vision
d'après Lynne Dunkley

Lse écologistes mettent eux en avant le concept "d'affordance" : ce qu'offre l'environnement, guide et limite les actions de l'humain ou de l'animal.
En ce qui nous concerne, cela peut nous aider à ne pas mésinterpréter une image (exemple un "ascenceur / scroll bar" dans une IHM est sans ambiguité...

Quelques limites

- Loi de Nyquist : un bon échantillonage (découpage en tranche, d'un signal analogique pour le digitaliser) de signal est supérieur ou égal, à deux fois la bande passante (frequence maxi - fréquence mini) du signal.

Application : Quelle est la fréquence d'échantillonage d'un CD et pourquoi ?

- La fréquence maximale audible est de l'odre de 20 KHz, mais la voix humaine a une bande passante comprise entre qq dizaine de Hertz et 4 Khz.

Application : quelle fréquence d'échantillonage peut on utiliser pour stocker un PODCAST de France culture ?

- L'oeil peut différencier de 10 a 20000 couleur

- le temps de transformation d'une intensité lumineuse en signal électrique par la rétine est de 25ms.

Application : Quand je détecte le mouvement de la balle de tennis, lors du service (à 200kms/h) de mon adversaire, combien a t elle déjà parcouru de mètres ?

Les standards

Processus et composants du système s'appuient sur un certain nombre de technologies standards définis par des organismes internationaux tels :

Ces standards sont utilisés pour

le codage : JPEG, TIFF, GIF, PNG, MPEG2/4, WAV, MP3, ...
le stockage : AVI (les codec pouvant être multiples et variés et ne font pas partie intrinsèquement de cette norme),
la description : MPEG-7, meta dictionary SMPTE,
le transfert : MPEG-21, http
la recherche : SQL MM,
l'intégration : MPEG-21.

ZOOM sur les Formats MPEGs

code MPEG	nom ISO/IEC	utilité	application
MPEG-1	ISO/IEC 11172	Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s	Video + la partie 3 traite de lla compression audio. Aussi connue sous le terme MP3 !!
MPEG-2	ISO/IEC 13818	Generic coding of moving pictures and associated audio information
MPEG-4	ISO/IEC 14496	Coding of viudeo content	* Digital television; * Interactive graphics applications (synthetic content); * Interactive multimedia (World Wide Web, distribution of and access to content)
MPEG-7		Multimedia Content Description Interface Utilise un DDL (Description Definition Language) basé sur XML pour décrire les caractéristiques des contenus audio et video.	identification de contenu et recherche de contenu
MPEG-21	ISO/IEC TR 21000	Multimedia Framework gère des 'item digiataux' et des usesrs , qui intéragussent avec ces contenus	defining the technology needed to support Users to exchange, access, consume, trade and otherwise manipulate Digital Items in an efficient, transparent and interoperable way.
MPEG-A		Multimedia Application Format Overview	...en cours