On propose un algorithme permettant de trouver une moyenne généralisée associée à une mesure de probabilité dans une variété compacte, et une fonction de coût continue, définie sur le produit de la variété par elle-même. Les moyennes généralisées comprennent les p-moyennes pour p>0, calculées pour n'importe quelle fonction distance continue, pas nécessairement la distance riemannienne de la variété. La fonction de coût peut aussi être une une longueur obtenue à partir d'une métrique finslérienne, ou une divergence. L'algorithme utilise une suite de variables aléatoires indépendantes de loi la mesure de probabilité étudiée, et il évolue comme un mouvement brownien entre les instants de sauts vers ces variables aléatoires. Son principe est basé sur le recuit simulé et l'homogénéisation, et l'évolution des différents paramètres doit être réglée de façon très précise. http://arxiv.org/abs/1305.6295

In this presentation we will use a sequence of approaches, which by mutual cross referencing and contextual inheritance are going to end up with a structural explanation of two ways of building up the roots of the main “correlation criteria” used in statistics . The process allowing this result starts from the seminal works of Gaspard Monge and Leonid Kantorovich, on optimal transport and revisits the works of Maurice Fréchet, “on adjustment of numerical tableaux to given marginal values”, this approach concludes with some recalls and references to Antoine Caritat’s (Condorcet) works on Relational Consensus. Those conceptual results give rise to different types of applications such as: modularizing large graphs and large networks structures (particularly well suited for the social networks “communities research” problem), or the design of new copulas adapted to the detection and forecast of intrusions or attacks in IT Intrusion Detection Systems.

http://alfredgalichon.com/

In different settings ranging from image processing to medical or biological imaging, various kind of geometrical objects, called hereafter generically as shapes, are emerging and need to be described and processed as infinite dimensional variables. The basic idea of shape space is to put the focus on building proper structure on shapes considered as an ensemble of objects that should be organised as an infinite dimensional smooth manifold. This talk will give a quick overview of what has been be done in this direction through the use of action of groups of diffeomorphisms and mainly right invariant distances. We will show that simple ideas coming from Riemannian geometry can be recast in the shape setting providing a range of practical tools as well as challenging questions in geometry, probability and statistics.

Group studies in neuroimaging raise the need for statistical methods to find (in)variants in large data sets of anatomical structures. In this talk, we will present a generic statistical framework that can deal with 3D structural images as well as shapes segmented from images such as white matter fiber tracts, meshes of the cortical structures, sulcal ribbons, etc. The mean is given as a typical anatomical configuration that captures the geometric invariants within the studied population. The variance is described by typical deformations of the mean configuration. The framework relies on the metric of large diffeomorphic deformations in an adaptive finite-dimensional setting. Extension of this framework for the analysis of longitudinal shape data sets will be also presented. The talk will be illustrated by various examples taken from neuroanatomical studies.

Dans cet exposé, nous présentons une technique d'estimation pour un cas particulier de processus de Lévy sur les groupes de Lie compacts [1] : les processus de Poisson composés. Le "decompounding" [2] est basé sur la représentation des groupes de Lie et s'apparente à une technique d'estimation par fonction caractéristique. Nous présentons les propriétés des estimateurs dans les cas bruités et sans bruit.

Ensuite, nous montrons comment dans le cas particulier du groupe des rotations SO(3), il est possible d'utiliser un modèle de processus de Poisson pour décrire la diffusion multiple des ondes dans les milieux aléatoires. La technique de decompounding permet alors d'estimer les propriétés d'hétérogénéité des diffuseurs à l'aide de la mesure des angles de diffusion.

Enfin, nous proposons une extension permettant la prise en compte de la polarisation des ondes. La diffusion polarisée peut être ainsi modélisée par un processus de Poisson avec contrainte de transport parallèle. Il est possible alors de prédire l'apparition de la phase géométrique (ou phase de Berry [3]) des ondes polarisées. Nous montrons une expérience de mise en évidence de cette phase en régime non-adiabatique en milieu contrôlé, ainsi qu'une technique d'estimation paramétrique utilisant la distribution de phase dans le cas des milieux aléatoires.

Références :

• [1] "Lévy processes in Lie groups", M. Liao, Cambridge University Press, 2004.
• [2] "Decompounding on compact Lie groups", S. Said, C. Lageman, N. Le Bihan and J.H. Manton, IEEE Trans. on Information Theory, Vol. 56, Issue 6, pp. 2766-2777, 2010.
• [3] "Anticipations of the geometric phase", M.V. Berry , Physics Today, 43 (12), 1990.

Téléchargez la vidéo.

Processus de Poisson sur les groupes de Lie : Diffusion multiple et phase géométrique des ondes polarisées

In the first part of the talk, we consider two approaches of quaternion geometric weighting Lp averaging working on the exponential and logarithm maps of full quaternions. The first formulation is based on computing the Euclidean weighted Lp center of mass in the tangent space of quaternions. The second method consider gradient descent algorithms for Lp averaging by minimizing the powers of the sum of quaternion geodesic distances, which converges to the Fréchet-Karcher barycenter of quaternions for p = 2 and to the Fermat-Weber point for p = 1.

Besides giving explicit forms of these algorithms, their application for quaternion image processing is shown in the second part of the talk, by introducing the notion of quaternion bilateral filtering. The performance of this approach of locally adaptive (spatially-variant) nonlinear filtering is illustrated using RGB color images, but also using RGB-NIR images and RGB-Depth ones where the image quaternion representation is natural.

The third part of the talk deals with the extension of mathematical morphology operators to quaternion images. The lack of natural ordering in non-Euclidean spaces present an inherent problem when defining morphological operators extended to quaternion-valued images. We analyze how a robust estimate of the center of mass can be used to obtain a notion of quaternion local origin which can be used to compute rank based operators in the quaternion tangent space. Hence, the notions of local supremum and infimum are introduced, which allow to define the quaternion dilation and erosion, and other derived morphological operators. The practical interest of these morphological operators is also illustrated using four components images such as RGB-NIR images and RGB-Depth images.

Téléchargez la vidéo.

It is a 4-hour tutorial based mainly on the coming new edition of our Encyclopedia of Distances (Springer, 2009).

Besides mathematics and computer science, most intense search for useful distances occurs now in computational biology, image analysis, speech recognition, and information retrieval. So, this tutorial consists of 3 parts:

1. Birdview on distances: basic definitions and distance-related notions;
2. Selected distances in audio and image;
3. Selected distances in biology.

The brief introductions will be followed by nets of definitions (almost) without results or any proofs. Such a large scale approach does not permit also to present history and applications, but each of the multitude of presented definitions will be traceable and usually we can say more on it upon request.

Téléchargez la vidéo.

Distances in pattern recognition, audio and image

Distances in biology

La méthode du gradient stochastique est une approche simple pour déterminer un minimum local d'une fonction dont les évaluations sont corrompues par du bruit. Principalement motivé par des applications en apprentissage, nous présenterons une procédure pour étendre la méthode au cas où la fonction de coût est définie sur une variété riemannienne. On montrera, que, comme dans le cas euclidien, l'algorithme converge vers un point critique de la fonction de coût sous des hypothèses raisonnables. La méthode trouve de nombreuses applications. Elles permet de retrouver certains algorithmes connus (comme le gradient naturel d'Amari en géométrie de l'information), ou de proposer de nouveaux algorithmes. L'application que nous creuserons en détail est celle de la régression linéaire sur les matrices semi-définies positives de rang faible, pour laquelle la méthode fournit une procédure adaptée au caractère non-linéaire de l'espace de recherche, et adaptée aux problèmes de grande dimension. L'algorithme s'avère utile par exemple pour l'apprentissage de matrices de Mahalanobis de rang faible.

Téléchargez la vidéo.

Le problème de l'optimisation boîte noire consiste à rechercher le minimum d'une fonction objectif sur un espace donné (discret ou continu), sans information a priori sur cette fonction. La géométrie de l'information fournit une méthode générique, IGO (information-geometric optimization), pour construire facilement des algorithmes d'optimisation ayant de bonnes propriétés, et en particulier en minimisant le nombre et l'influence de choix arbitraires tels que les choix de représentation de l'espace des solutions. Selon les situations, les algorithmes IGO, soit retrouvent des algorithmes déjà connus dont ils donnent une explication théorique, soit fournissent de nouveaux algorithmes potentiellement plus puissants. En outre, les propriétés spécifiques de la géométrie de l'information et de l'entropie de Kullback-Leibler garantissent, à chaque étape, une perte de diversité minimale pour l'exploration des solutions potentielles : des expériences préliminaires suggèrent en particulier que des méthodes IGO maximisent spontanément la diversité et sont en particulier capables d'explorer simultanément plusieurs solutions concurrentes.

Téléchargez la vidéo.

Information geometric optimization algorithms: A unifying picture via invariance principles

In this talk I will review the use of optimal transport methods to tackle various imaging problems such as texture synthesis and mixing, color transfer, and shape retrieval. Representing texture variations as well as shapes geometry can be achieved by recording histograms of high dimensional feature distributions. I will present a fast approximate Wasserstein distance to achieve fast optimal transport manipulations of these high dimensional histograms. The resulting approximate distance can be optimized using standard first order optimization schemes to perform color equalization and texture synthesis. It is also possible to use this optimal transport as a data fidelity term in standard inverse problems regularization. One can try online several ideas related to Wasserstein imaging (as many other imaging methods) by visiting www.numerical-tours.com (computer graphics section). This is a joint work with Julien Rabin, Julie Delon and Marc Bernot.

Téléchargez la vidéo.

Optimal transport in imaging sciences

In the first part of the talk, after recalling some basic facts from optimal transport theory, we will explain how some matching problems arising in mathematical economics are intimately related to optimal transport problems. In the second part of the talk, focusing on the quadratic case, we will relate the problem to a notion of barycenters that generalizes the McCann interpolation to the case of more than two marginals. We will give existence, characterization, uniqueness and regularity results for these barycenters and will consider some examples. This talk will be based on joint works with Martial Agueh and Ivar Ekeland.

Téléchargez la vidéo.

Matching, multi-marginals problems and barycenters in the Wasserstein space

On traitera du principe de maximum de vraisemblance dans le contexte de la maximisation de probabilité de grandes déviations entre la mesure empirique associée à un échantillon et un modèle. Le lien sera établi avec les méthodes de minimisation de divergences sous échantillonnage pondéré (de type bootstrap). Réciproquement on montrera qu'à toute divergence dans une large classe de critères statistiques on peut associer un échantillonnage pondéré spécifique sous lequel l'optimisation résout un problème de maximum de vraisemblance ; ces estimateurs, associés à ces procédures d'échantillonnage, sont optimales en divers sens, ce qui amène une discussion sur la comparaison des critères statistiques. Un lien est établi entre divers notions des statistiques mathématiques et des probabilités : principes de grandes déviations, familles exponentielles et leurs fonctions variances, formes variationnelles des critères statistiques.

Téléchargez la vidéo.

Les données multidimensionnelles apparaissent dans de nombreuses applications. Les méthodes classiques de classification non supervisée de ces données sont basées sur des approches purement géométriques (K-moyennes, CAH…) ou sur des modèles de mélange de lois de probabilité (mélanges de gaussienne). Cette dernière famille permet de traiter la classification dans un cadre statistique mais suppose que les classes sont issues de sources ponctuelles perturbées par un bruit gaussien. Nous proposons un modèle génératif dont les sources sont des complexes simpliciaux (assemblage de segments, triangles, tétraèdres…), ce qui permet de modéliser des classes de formes bien plus complexes et d'en extraire des invariants topologiques. Nous détaillerons le fonctionnement de ce modèle et les premières expériences que nous avons menées sur des données réelles.

Téléchargez la vidéo.

Apprentissage de la topologie de signaux multi-capteurs

Random matrices arise in many areas of engineering, social sciences, and natural sciences. For example, when rows of the random matrix record successive samples of a multivariate response the sample correlation between the columns can reveal important dependency structure in the multivariate response. However, when the number of samples is finite and the number p of columns increases such exploration becomes futile due to a phase transition phenomenon: eventually the sample correlations of most columns will approach one. In this presentation I will present theory for predicting these phase transitions and present central limit and Poisson limit theorems that can be used to predict finite sample behavior of the sample correlations. The theory has application in areas including gene expression analysis, remote sensing, and portfolio selection.

Téléchargez la vidéo.

Les lois qui maximisent les entropies généralisées (de type Rényi ou Tsallis) sous contrainte de variance sont connues sous le nom de q-Gaussiennes ou lois de Tsallis. Leur succès en statistique, en physique et dans d'autres domaines d'application est en partie dû à leur appartenance à la famille des lois dites à queue lourde.

Cet exposé sera l'occasion de présenter quelques contextes géométriques dans lesquelles ces lois apparaissent, tels que

• le régime asymptotique d'une marche aléatoire dans l'espace hyperbolique de dimension 2
• l'état fondamental de l'oscillateur harmonique associé à certains potentiels sphériques
• le processus de normalisation statistique de données à distribution sphérique

Dans tous ces cas, le paramètre de non-extensivité q qui caractérise le comportement de ces entropies généralisées peut être relié aux propriétés géométriques de l'espace sous-jacent.

In this talk, I shall describe the Riemannian/Alexandrov geometry of Gaussian measures from the view point of the Wasserstein geometry. Wasserstein geometry is a metric geometry on a space of probability measures, which has its root in the optimal transport theory. The space of Gaussian measures is of finite dimension, which allows to write down the explicit Riemannian metric which in turn induces the Wasserstein distance. I also give an expression of its sectional curvatures. Its completion as a metric space provides a complete picture of the singular behavior of the Wasserstein geometry. In particular, the singular set is stratified according to the dimension of the support of the Gaussian measures.

Wasserstein geometry of Gaussian measures

The subject of Riemannian barycentres has a surprisingly long history, tretching back to work of Frechet and Cartan. The first part of this talk will be a review of the fundamental ideas and a discussion of the work of various probabilists and statisticians on applications of the concept to probabilistic approaches to harmonic map theory and statistical shape theory. I will then present some recent joint work with Huiling Le concerning central limit theory for empirical barycentres, which to our considerable surprise has led us to a new perspective on the classical Lindeberg-Feller central limit theorem.

Téléchargez la vidéo.

We begin by recalling a source coding theorem by Campbell, which relates a generalized measure of length to the Rényi-Tsallis entropy. We show that the associated optimal codes can easily be obtained using considerations on the so-called escort-distributions and that this provide an easy implementation procedure. We also show that these generalized lengths are bounded below by the Rényi entropy.

We then discuss the maximum entropy problems associated with Rényi Q-entropy, subject to two kinds of constraints on expected values. The constraints considered are a constraint on the standard expectation, and a constraint on the generalized expectation as encountered in nonextensive statistics. The optimum maximum entropy probability distributions, which can exhibit a power-law behaviour, are derived and characterized. The Rényi entropy of the optimum distributions can be viewed as a function of the constraint. This defines two families of entropy functionals in the space of possible expected values. General properties of these functionals, including nonnegativity, minimum, convexity, are documented. Their relationships as well as numerical aspects are also discussed. Finally, we examine some specific cases for the reference measure Q(x) and recover in a limit case some well-known entropies.

Finally, we describe a simple probabilistic model of a transition between two states, which leads to a curve, parametrized by an entropic index q, in the form of a generalized escort distribution. In this setting, we show that the Rényi-Tsallis entropy emerges naturally as a characterization of the transition. Along this escort-path, the Fisher information, computed with respect to the escort distribution becomes an “escort-Fisher information”. We show that this Fisher information involves a generalized score function, and appears in the entropy differential metric associated to Rényi entropy. We also show that the length of the escort-path is related to Jeffreys' divergence. When q varies, we show that the paths with minimum Fisher information (respectively escort-Fisher information) and a given q-variance (resp. standard variance) are the paths described by q-gaussians distributions. From these results, we obtain a generalized Cramér-Rao inequality. If time permits, we will show that these results can be extended to higher order q-moments.

L'Analyse en Composantes Indépendantes (ACI) consiste à déterminer la transformation linéaire d'un ensemble de N signaux (ou N images, ou toutes données N-variées) qui fournisse des composantes "aussi indépendantes que possible". Une mesure naturelle d'indépendance est l'information mutuelle (étendue à N variables). L'étude de ce problème, aux nombreuses applications, fait apparaitre, en sus de l'information mutuelle, d'autres quantités définies dans le langage de la théorie de l'information : entropie et non gaussianité dans le cas de modèles i.i.d., diversité spectrale dans le cas de modèles gaussiens stationnaires, etc.

Suivant une suggestion d'Amari, j'ai mis à jour la structure géométrique de l'ACI. Mon intervention prendra comme point de départ l'étude de la vraisemblance des modèles statistiques d'ACI, ce qui nous mènera très directement à l'élucidation des critères ACI et de leurs inter-relations en termes de la géométrie de l'information.

Computational anatomy is an emerging discipline that aim at analysing and modeling the biological variability of the human anatomy. The method is to identify anatomically representative geometric features (points, tensors, curves, surfaces, volume transformations), and to describe and compare their statistical distribution in different populations. As these geometric features most often belong to manifolds that have no canonical Euclidean structure, we have to rely on more elaborated algorithmical basis.

I will first present the Riemannian structure, which proves to be powerfull enough to support a consistent framework for simple statistics on manifolds and can be extend to a complete computing framework on manifold-valued images. For instance, the choice of a convenient Riemannian metric on positive define symmetric matrices (tensors) allows to generalize consistently to tensor fields many important geometric data processing algorithms such as interpolation, filtering, diffusion and restoration of missing data. This framework is particularly well suited to the statistical estimation of Diffusion Tensor Images, and can also be used for modeling the brain variability from sulcal lines drawn at the surface of the cerebral cortex.

However, the goal is not just to model the variability of different types of anatomical features independently, but more importantly to model the variability of the underlying anatomy using all these observation means. Moreover, one would like to handle properly complex features such as curves and surfaces, which raises the problem of infinite dimensional manifolds. We will present here the approach based on currents developed by Stanley Durrleman during his PhD. This generative model combines a random diffeomorphic deformation model a al Grenander & Miller, that encodes the geometric variability of the anatomical template, with a random residual shape variability model (a la Kendall) on curves, sets of curves and surfaces encodes using currents.

In infinite dimensions, the question of the metric choice is crucial. In deformation-based morphometry, for instance, one may consider many different models of deformations, with potentially different results. We will shortly review some of them (static velocity fields, Riemannian elasticity) and, time permiting, finish with extensions of the previous methodologies to longitudinal evolution estimations in populations, which is currently becoming one of the very active topic. Through this guided tour of some of the current methods in computational anatomy, I will try to sketch the most important theoretical and practical challenges which could be the basis for future developments in information geometry.

Téléchargez la vidéo.

Current issues in statistical analysis on manifolds for computational anatomy

We study the centroid with respect to the class of information-theoretic distortion measures called Burbea-Rao divergences. Burbea-Rao divergences generalize the Jensen-Shannon divergence by measuring the non-negative Jensen difference induced by a strictly convex and differentiable function expressing a measure of entropy.

We first show that a symmetrization of Bregman divergences called Jensen-Bregman distances yields a natural definition of Burbea-Rao divergences. We then define skew Burbea-Rao divergences, and prove that skew Burbea-Rao divergences amount to compute Bregman divergences in asymptotical cases. We prove that Burbea-Rao centroids are always unique, and we design a generic iterative algorithm for efficiently estimating those centroids with guaranteed convergence. In statistics, the Bhattacharyya distance is widely used to measure the degree of overlap of probability distributions. This distance notion is all the more useful as it provides both upper and lower bounds on Bayes misclassification error, and turns out to be equal at the infinitesimal level to Fisher information. We show that Bhattacharyya distances on members of the same exponential family amount to calculate a Burbea-Rao divergence. We thus get as a byproduct an efficient algorithm for computing the Bhattacharyya centroid of a set of parametric distributions belonging to the same exponential families, improving over former specialized methods that were mostly limited to univariate or "diagonal" multivariate Gaussians.

Reference: Frank Nielsen, Sylvain Boltz: The Burbea-Rao and Bhattacharyya Centroids. IEEE Transactions on Information Theory 57(8): 5455-5466 (2011)

Téléchargez la vidéo.

The Burbea-Rao and Bhattacharyya centroids

Une référence d'introduction à la géométrie de l'information est la monographie "Methods of information geometry" par S.I. Amari [AM]. Les deux exposés que je vais faire sont consacrés à des objets géométriques contenus dans cette monographie. Il s'agit (entre autres) de revisiter certains objets de façon plutôt rigoureuse qu'intuitive. L'objectif est d'attacher à certains de ces objets des nouveaux objets issus de la topologie et de la dynamique des modèles statistiques. Ces nouveaux objets, venant de l'algèbre homologique [NB1,NB2], conduisent à une réinterprétation du tenseur métrique de Fisher dans le cadre général de la convexité de Koszul [KO1,KO2,SH1,SH2].

(1) L'exposé du matin sera consacré à des variations sur la notion de connexion au dessus d'une variété lisse suivant que la structure lisse de cette dernière est définie par un atlas, par une paramétrisation ou par son algèbre structurale de (ses) fonctions lisses.

(2) L'objectif de l'exposé de l'après-midi sera d'introduire des nouveaux complexes de chaînes susceptibles de contenir des nouveaux invariants de la géométrie de l'information dans une variété de modèles statistiques.

Références :

• [AM] Amari S.I. Methods of information geometry. Translations of Mathematical Monographs vol 191 AMS Oxford.
• [KO1] Koszul J-L. Variétés localement plates et convexité. Osaka J. Math. 2 (1965) 285-290.
• [KO2] Koszul J-L. Déformations des variétés localement plates. Ann. Inst. Fourier 18 (1968) 103-114.
• [NB1] Nguiffo Boyom M. The cohomology of Koszul-Vinberg algebras. Pacific J. Math. 225 (2006) 119-153.
• [NB2] Nguiffo Boyom M. Réductions Kählériennes dans les groupes de Lie résolubles et applications. Osaka J. Math. 47 (2010) 1-47.
• [SH1] Shima H. Homogeneous Hessian manifolds. Ann. Inst. Fourier 30 (1980) 91-128.
• [SH2] Shima H. Hessian manifolds. Séminaire Gaston Darboux Montpellier (1988-1989) 1-48.

Une source de nouveaux invariants de la géometrie de l'information