PROGRAM - VIDEOS - SLIDES - Thursday 27 october 2016

[Geo-Sci-Info]

DOWNLOAD PROGRAM

Jeudi 27 octobre 2016

• Anne Auger (INRIA)
  How information theory sheds new light on black-box optimization
  VIDEO
  SLIDES PDF
  
  Abstract: Black-box optimization problems occur frequently in many domains ranging from engineering to biology or medicine. In black-box optimization, no information on the function to be optimized besides current and past evaluations of search solutions can be exploited. Particularly, the existence of gradients or convexity of the function is not assumed in a numerical black-box scenario. Black-box optimization methods should typically be able to solve a wide range of problems exhibiting many difficulties (non-convex, noisy, multi-modal, ...). In this talk I will explain how information theory has recently shed new light on the domain of black-box optimization. I will show how stochastic black-box algorithms for optimization on an arbitrary search space can be derived from principles issued from information theory. I will then explain that the ensuing information- geometric optimization (IGO) algorithm instantiated on the family of Gaussian distributions or Bernoulli distributions turns out to partially coincide with state-of-the art stochastic black-box algorithms like CMA-ES or PBIL. Both algorithms were introduced years before recognizing that information geometry is at the core of their theoretical foundations. I will discuss how information theory then allowed deriving new theoretically founded black-box algorithms, notably in the context of large-scale optimization.
  Anne Auger is a researcher in the Inria project-team TAO, in the Laboratoire de Recherche en Informatique, Orsay, France. She received a Master's degree in applied mathematics from University Paris 6 in 2001 and earned her PhD in 2004 from the Paris 6 University. She then worked for two years as a postdoctoral researcher at ETH Zurich before obtaining a permanent researcher position at Inria in 2006. Her main research interest is on black-box continuous optimization including theoretical aspects and algorithm design.

• Sergio Ciliberto (INRIA)
  Mesure de l'énergie minimale nécessaire à l'effacement d'un bit d'information et relation avec l'égalité de Jarzynski
  VIDEO
  
  **Abstract:**Peut-on imaginer mettre au point un ordinateur parfait capable d'effectuer des opérations logiques irréversible sans consommer aucune énergie ? A cette question, Rolf Landauer a répondu non en 1961. Il avait en effet remarqué qu'à chaque fois qu'un bit d'information est créé, la mémoire binaire de l'ordinateur se voit réduite à un seul de ses deux états possibles. Faisant le lien avec la thermodynamique, Landauer a proposé que cette diminution du désordre exige pour être réalisée une quantité minimale d'énergie dont la valeur est aujourd'hui connue sous le nom de limite de Landauer. Dans ce séminaire on décrira comment cette énergie minimale peut être mesurée expérimentalement en utilisant une bille colloïdale piégée par un laser dans un potentiel à deux puits. Ce système peut être vu comme un modèle d'une mémoire à un bit. Par l'application d'une force externe, il est possible de forcer la particule à effectuer une transition, comme si on imposait au bit de prendre la valeur 1 par exemple. En mesurant le travail fait par cette force externe, on trouve que l'énergie minimale pour effectuer la transition, correspond précisément à la limite de Landauer. Nous démontrons aussi que pour cette opération d'effacement de la mémoire, qui est une opération logique irréversible, l'égalité détaillée de Jarzynski est vérifiée, et nous retrouvons la limite de Landauer à partir de cette égalité thermodynamique.
  Sergio Ciliberto est Directeur de Recherche au CNRS et travaille depuis 1991 au Laboratoire de Physique de l'École normale supérieure de Lyon. Il a soutenu sa thèse en Physique en 1977. Il est l’auteur de 170 articles dans des journaux internationaux à comité de lecture et a déposé deux brevets. Ses recherches actuelles sont centrées sur la thermodynamique stochastique. Il a été directeur du Laboratoire de 2000 à 2006 et Directeur de la recherche de l'ENSL de 2012 à 2014. Il a été membre du Comité National du CNRS et de plusieurs comités internationaux.

• Vincent Gripon (Télécom Bretagne)
  Vers une théorie de l'information mentale
  VIDEO
  
  **Abstract:**Dans les réseaux de neurones du néocortex viennent s'imprimer nos souvenirs par le biais du mécanisme de plasticité synaptique. Celui-ci nous permet de stocker des éléments d'information variés à l'échelle d'une vie avec une grande robustesse. Pourtant, les neurones, les connexions et les communications du néocortex sont loin d'être fiables. Pour répondre à ce problème, nous montrons comment l'utilisation de principes tirés des codes correcteurs d'erreurs modernes (parcimonie, distribution, traitement itératif) conduit à des modèles biologiquement plausibles du stockage de l'information mentale. Ces modèles offrent des efficacités mémoire optimales et ouvrent de nouvelles perspectives sur la compréhension de l'information mentale et sur l'intelligence artificielle.
  Vincent Gripon, diplômé de l'école normale supérieure de Cachan et docteur de Télécom Bretagne en 2011, est chargé de recherche en neurosciences informationnelles à l'institut Mines Télécom et dans l'Unité CNRS Lab- STICC. Ses travaux portent sur la théorie des graphes, la théorie de l'information et les réseaux de neurones avec l'ambition de contribuer aux progrès de l'informatique neuro-inspirée. En s'appuyant sur les principes des codes correcteurs d'erreurs, il a proposé en 2011 de nouvelles familles de mémoires associatives binaires offrant une efficacité optimale de mémorisation. Il est le coauteur de "Petite mathématique du cerveau" (Éditions Odile Jacob, 2012). Il est également le cocréateur et coorganisateur de TaupIC, concours d'informatique à l'intention des étudiants en classes préparatoires.

• Jean-Louis Dessalles (Télécom ParisTech)
  Information, simplicité et pertinence
  VIDEO
  
  Abstract: Claude Shannon fonda la notion d’information sur l’idée de surprise, mesurée comme l’inverse de la probabilité (en bits). Sa définition a permis la révolution des télécommunications numériques. En revanche, l’extension de la notion d’information à des domaines comme la biologie ou la communication humaine s’est révélée problématique. La probabilité n’est pas toujours calculable, ni même définissable. Son remplacement par la complexité de Kolmogorov s’est révélé utile pour aborder les domaines structurés. Toutefois, cela conduit à considérer que les objets aléatoires sont maximalement informatifs. Or pour un biologiste, un ADN aléatoire ne contient aucune information. Je propose de rester fidèle à l’hypothèse de base de Shannon et de définir l’information pertinente à partir de la surprise. La surprise est définie comme un décalage de la complexité de Kolmogorov (en ressources limitées). Cette définition se révèle utile pour étendre la notion d’information à des observateurs non-humains (par ex. en biologie). Elle est aussi essentielle pour définir la notion de pertinence et pour faire des prédictions concernant la communication humaine.
  Jean-Louis Dessalles est Maître de Conférences à Télécom ParisTech, Université Paris-Saclay. Depuis une décennie, il développe la Théorie de la Simplicité, qui sert de base à la modélisation de l’intérêt narratif et de la pertinence argumentative. Il est l’auteur ou co-auteur de plusieurs livres, notamment « La pertinence et ses origines cognitives » (éd. Hermes-science, 2008) et « Le fil de la vie » (éd. Odile Jacob, 2016).

• Gérard Battail (Télécom ParisTech ER)
  En suivant Shannon : de la technique à la compréhension de la vie
  VIDEO
  
  **Abstract:**L’application de la théorie de l’information à la biologie est le thème principal de cette conférence. Shannon, étudiant au MIT, a soutenu en 1940 une thèse intitulée An algebra for theoretical genetics, après avoir écrit un mémoire sur les réseaux de commutation publié en 1938. La publication du mémoire a valu à Shannon une grande notoriété alors que la thèse est passée inaperçue. En 1948, ingénieur aux Bell Labs, il a publié l’article qui fondait la théorie de l’information, A mathematical theory of communication. Son succès, considérable, résultait en partie d’un malentendu. La séparation entre la sémantique et l’information en un sens technique restreint en est la pierre angulaire mais son assimilation est difficile. Faute d’être vulgarisée et enseignée, la théorie de l’information reste méconnue encore de nos jours. Un bref rappel de ses principaux résultats est présenté.
  La théorie de l’information permet de revenir à la génétique parce que l’hérédité est une communication (à travers le temps). Ignorant cette théorie, la biologie en rend compte de manière inadéquate, admettant implicitement que l’ADN, molécule donc objet quantique, se conserve spontanément pendant des centaines de millions d’années, alors qu’il subit des mutations perceptibles à l’échelle de la durée d’une vie humaine. Cette contradiction ne peut être résolue qu’en supposant les génomes munis de codes correcteurs d’erreurs fondés sur les multiples contraintes physico-chimiques et linguistiques auxquelles ils sont soumis. Cette hypothèse permet d’expliquer des propriétés essentielles de la vie que la biologie constate sans les comprendre. Une définition de l’information comme classe d’équivalence, basée sur l’expérience des ingénieurs, montre qu’elle est une entité abstraite bien qu’elle soit nécessairement inscrite sur un support physique. La vie résulte du jeu de l’information et de la matière, et le monde vivant est la partie du monde physique où réside et agit l’information.
  Gérard Battail est né en 1932 à Paris. Il étudie au lycée Charlemagne puis à la faculté des sciences pour obtenir une licence ès sciences en mathématique et physique. Il assiste en 1951 à une série de conférences sur la théorie de l'information organisée à la Sorbonne par Louis de Broglie, ce qui l'incite à lire le texte fondateur de Shannon, paru en 1948, et décide de sa vocation. En 1953, il est admis sur titres à l'École nationale supérieure des Télécommunications de Paris. Il en sort en 1956 avec le diplôme d'ingénieur civil des télécommunications. En 1959, il est ingénieur au Centre national d'études des Télécommunications (CNET) à Issy-les-Moulineaux. En 1966, il entre à la division 'communications' de la Compagnie française Thomson-Houston-Hotchkiss-Brandt (CFTH) à Gennevilliers dont l'activité principale est la radioélectricité. En 1973, il devient professeur à l'École nationale supérieure des Télécommunications de Paris jusqu'à sa retraite en 1997. Après son départ en retraite, il poursuit des recherches (qui n'exigent pas de moyens expérimentaux) en abandonnant progressivement la technique au profit des sciences de la nature. Il s'intéresse surtout à la compréhension de la vie, estimant que les connaissances acquises dans la technique des communications peuvent y contribuer. Son premier article sur le sujet paraît en novembre 1997. Il rencontre en 2003 Marcello Barbieri, professeur d'embryologie à Ferrare, dont les recherches convergent avec les siennes. Il approfondit la compréhension du rôle de l'information dans la vie, exposée notamment dans son dernier livre, Information and Life, publié par Springer en 2014.