🧠 Modèles graphiques probabilistes (PGM)

Les réseaux bayésiens (BN) sont des modèles graphiques orientés acycliques qui représentent de manière compacte des distributions de probabilité conjointes en utilisant des relations d'indépendance conditionnelle. Un problème central dans le travail avec les réseaux bayésiens est l'apprentissage de structure : étant donné un ensemble de données, trouver le graphe orienté acyclique qui explique le mieux les données.

Mes recherches ont contribué au développement d'algorithmes basés sur les scores et sur les contraintes pour l'apprentissage de structure de réseaux bayésiens. Une attention particulière a été portée au passage à l'échelle de ces algorithmes pour des ensembles de données de grande dimension et à leur utilisation au sein d'algorithmes d'estimation de distribution.

Développement et évaluation de classifieurs à réseaux bayésiens, incluant le Naive Bayes, le Tree-Augmented Naive Bayes (TAN) et les classifieurs à réseaux bayésiens généraux. Recherche sur l'influence de la structure du réseau bayésien sur la performance de classification et sur les méthodes d'optimisation de la structure spécifiquement pour les tâches de classification.

Utilisation centrale des réseaux bayésiens comme modèle probabiliste dans les algorithmes d'estimation de distribution (EDA). Dans ce contexte, le réseau bayésien est appris à partir de la population sélectionnée à chaque génération de l'EDA, puis échantillonné pour produire de nouvelles solutions candidates. La qualité du réseau bayésien impacte directement l'efficacité de la recherche évolutionnaire.

Les réseaux de Markov (également appelés champs aléatoires de Markov) sont des modèles graphiques non orientés qui représentent des distributions de probabilité conjointes via des fonctions de potentiel sur les cliques. Contrairement aux réseaux bayésiens, ils représentent naturellement des dépendances symétriques entre variables, ce qui les rend adaptés aux problèmes où la direction de l'influence est peu claire ou non pertinente.

Recherche sur les machines de Boltzmann restreintes (RBM) structurelles en tant que modèles probabilistes basés sur l'énergie avec des applications au débruitage d'images et à la classification. Les RBM structurelles étendent les RBM standards en permettant des connexions structurées entre les unités cachées et visibles, leur permettant de capturer des motifs de dépendance plus complexes.

Étude des machines de Boltzmann profondes et des réseaux de croyance profonds en tant que modèles probabilistes hiérarchiques. Recherche sur la manière dont l'empilement de machines de Boltzmann restreintes permet l'apprentissage de représentations de plus en plus abstraites des données d'entrée, avec des applications à l'apprentissage de représentations et à la modélisation générative.

Développement et évaluation d'algorithmes basés sur les scores pour l'apprentissage de la structure de modèles graphiques probabilistes à partir de données. Ces algorithmes recherchent dans l'espace des structures de graphes possibles pour trouver celle qui maximise une fonction de score donnée, telle que le critère d'information bayésien (BIC) ou le score Bayesian Dirichlet equivalent (BDe).

Recherche sur les algorithmes d'apprentissage de la structure de graphe des copules vine régulières à partir de données de dépendance. Les copules vine fournissent un cadre flexible pour la modélisation des dépendances multivariées en utilisant des séquences de copules bivariées organisées dans une séquence d'arbres (la structure vine).

Utilisation de modèles graphiques probabilistes pour l'estimation de densité et la détection d'anomalies dans des données de grande dimension. En apprenant un modèle de la distribution normale des données, les anomalies peuvent être identifiées comme des observations ayant une faible probabilité sous le modèle. Applications à la surveillance industrielle, à la sécurité réseau et au diagnostic médical.

Utilisation de modèles graphiques probabilistes pour générer des données synthétiques qui préservent les propriétés statistiques des données réelles. Ceci est utile pour l'augmentation de données, la publication de données respectant la vie privée et la génération de données d'entraînement pour les modèles d'apprentissage automatique lorsque les données réelles sont rares ou sensibles.

Application de modèles graphiques probabilistes pour modéliser et analyser les données de connectivité cérébrale. Utilisation des PGM pour représenter la connectivité fonctionnelle et structurelle du cerveau, avec des applications au décodage cérébral, au neurofeedback et à l'étude des processus cognitifs.

• Echegoyen C, Mendiburu A, Santana R and Lozano JA (2012). Toward Understanding EDAs Based on Bayesian Networks Through a Quantitative Analysis. IEEE TEVC.
• Echegoyen C, Lozano JA, Santana R and Larrañaga P (2007). Exact Bayesian network learning in estimation of distribution algorithms. CEC 2007.
• Echegoyen C, Santana R, Lozano JA and Larrañaga P (2008). The impact of probabilistic learning algorithms in EDAs based on Bayesian networks. MEDAL Report.
• Echegoyen C, Mendiburu A, Santana R and Lozano JA (2009). Analyzing the probability of the optimum in EDAs based on Bayesian networks. CEC 2009.
• Echegoyen C, Mendiburu A, Santana R and Lozano JA (2009). A quantitative analysis of estimation of distribution algorithms based on Bayesian networks. GECCO 2009.
• Echegoyen C, Mendiburu A, Santana R and Lozano JA (2010). Estimation of Bayesian networks algorithms in a class of complex networks. GECCO 2010.
• Echegoyen C, Mendiburu A, Santana R and Lozano JA (2010). Analyzing the k most probable solutions in EDAs based on Bayesian networks. LION 2010.
• Larrañaga P, Karshenas H, Bielza C and Santana R (2012). A review on probabilistic graphical models in evolutionary computation. JMLR Workshop.
• Larrañaga P, Karshenas H, Bielza C and Santana R (2013). A Review on Evolutionary Algorithms in Bayesian Network Learning and Inference Tasks. International Journal of Approximate Reasoning.
• Santana R and Shakya S (2012). Probabilistic Graphical Models and Markov Networks. Markov Networks in Evolutionary Computation.
• Santana R (2006). Advances in Probabilistic Graphical Models for Optimization and Learning. Applications in Protein Modelling and EDA Design. PhD Thesis, University of the Basque Country.
• Santana R (2012). MN-EDA and the Use of Clique-Based Factorisations in EDAs. Markov Networks in Evolutionary Computation.
• Zangari-de-Souza M, Santana R, Mendiburu A, Bengoetxea E and Pozo A (2015). MOEA/D-GM: Using probabilistic graphical models in MOEA/D for solving combinatorial optimization problems. CEC 2015.
• Mendiburu A, Santana R and Lozano JA (2007). A parallel framework for loopy belief propagation. GECCO 2007.
• Santana R, Larrañaga P and Lozano JA (2010). Synergies between network-based representations and probabilistic graphical modeling in the solution of combinatorial optimization problems. J. Statistical Mechanics.