Beaucoup d'efforts de recherche en imagerie 3D médicale ont été dirigés vers la définition d'outils de traitement et de visualisation efficaces et rapides. Des résultats très encourageants sont disponibles aujourd'hui pour améliorer l'accès et l'utilisation médicale du contenu des images. Notre objectif dans ce papier est d'étendre le champ d'utilisation des méthodes de fusion de données à des fins d'applications précises (radiothérapie, chirurgie de l'epilepsie, neurochirurgie conventionnelle, etc.). L'amélioration de l'utilisation des données 3D passe par un effort de recherche plus poussé dans le domaine de la fusion de données. Cela concerne notamment la comparaison d'informations multi-capteurs (fusion multi-modalités, fusion d'informations anatomo-fonctionnelles,...), la fusion d'informations multi-patients ou venant de connaissances a priori (modèles) et enfin la reconnaissance de structures anatomiques complexes et leur identification symbolique, lorsqu'elles ne sont pas explicitement décrites par le contenu des images. Le problème de la fusion de données peut se traduire sous la forme i) d'une fusion de données multi-capteurs d'informations anatomiques et/ou fonctionnelles et ii) d'une fusion de données multi-individus qui, circonscrits au domaine cérébral, passe par l'utilisation de modèles d'anamorphose. Ces deux aspects mis bout à bout forment la trame méthodologique nécessaire à la modélisation anatomique des structures cérébrales. C'est dans ce cadre que se situent les travaux présentés dans ce papier. Le problème de fusion de données est abordé à la fois sous l'angle de la combinaison d'images et/ou de données génériques: problème du recalage multi-modalités et de la mise en correspondance de données entre individus (modèles de déformation appliqués au cerveau humain), sous l'angle de l'identification de structures anatomiques présentes sur les images (segmentation et étiquetage semantique) et enfin sous l'angle de la visualisation 3D des différentes informations. Des perspectives seront données pour ce qui concerne le lien entre ces procédures de fusion numériques et leurs compléments symboliques (bases de données et de connaissances)...