🕸️ 马尔可夫网络

马尔可夫随机场 (MRF) 是一组满足无向图马尔可夫性质的随机变量：即给定其在图中的邻居节点，每个变量都与图中所有其他变量条件独立。联合分布被表达为图上最大团的势函数（因子）的乘积。

MRF 的核心属性包括全局马尔可夫性（图中的分离意味着条件独立）、局部马尔可夫性（变量在给定邻居的情况下与其非邻居独立）以及成对马尔可夫性。关于 MRF 学习与推理的研究一直是概率图模型领域的中心课题。

马尔可夫网络和贝叶斯网络是概率图模型的两个互补框架。贝叶斯网络使用有向无环图表示条件独立性，具有自然的因果解释。马尔可夫网络则使用无向图，对于建模如图像模型、伊辛模型和空间统计等对称依赖关系更为自然。研究探讨了在何种情况下应选择何种表征方式，以及两种形式主义之间的转换方法。

玻尔兹曼机是一种具有能量形式势函数的马尔可夫网络。可见（观测）变量与隐藏（潜）变量的联合分布通过能量函数定义，模型通过最大化观测数据在模型下的似然进行训练。受限玻尔兹曼机 (RBM) 是一种特殊的二分图结构，连接可见单元和隐藏单元，允许利用对比散度 (Contrastive Divergence) 进行高效学习。

研究超越标准二分连接模式的结构化 RBM。通过在可见层和/或隐藏层内部添加结构，结构化 RBM 能够捕获数据中更复杂的依赖模式。应用于图像去噪（利用局部空间相关性）和分类（利用标签结构）。

深度玻尔兹曼机 (DBM) 通过堆叠多个 RBM 层来构建深层层次化生成模型。研究 DBM 的训练方法，包括逐层预训练和联合微调，以及 DBM 与深度信念网络（混合有向/无向模型）之间的关系。

开发利用马尔可夫网络作为概率模型的分布估计算法 (EDA)。马尔可夫网络 EDA 从选定种群中学习无向图模型，并基于该模型采样生成新的候选解。马尔可夫网络的对称性使其在解决依赖关系对称的问题时尤为高效。

研究在 EDA 循环中从数据学习马尔可夫网络结构的算法。马尔可夫网络结构学习算法必须在学习质量（精确表征数据依赖性）与计算成本之间取得平衡（马尔可夫网络学习通常比贝叶斯网络学习更耗资源）。

开发用于从数据学习马尔可夫网络结构的评分算法。这些算法搜索可能的边集合，以寻找能最大化惩罚对数似然评分的结构。核心挑战包括配分函数（Partition Function）的不可计算性（阻碍了直接似然计算）以及搜索空间的组合特性。

基于约束的马尔可夫网络结构学习方法利用条件独立性的统计测试来识别网络中的边。研究条件独立性测试的选择、样本量和显著性水平如何影响学到结构的质量。开发适用于高维问题的可扩展算法。

将马尔可夫网络应用于图像建模与去噪。基于马尔可夫随机场的图像模型利用局部空间相关性，即每个像素主要依赖于其空间邻居。研究如何从数据中学习高效的图像先验，并将其用于去噪、分割和超分辨率任务。

应用马尔可夫网络来建模和分析大脑的功能与结构连接性。通过从神经成像数据（fMRI, MEG, EEG）学习马尔可夫网络，可以识别哪些大脑区域相互作用，并研究连接模式如何在不同的认知状态或人群中发生变化。

• Santana R (2003). A Markov network based factorized distribution algorithm for optimization. ECML 2003.
• Santana R (2005). Estimation of distribution algorithms with Kikuchi approximations. Evolutionary Computation.
• Santana R (2012). MN-EDA and the Use of Clique-Based Factorisations in EDAs. Markov Networks in Evolutionary Computation. Springer.
• Shakya S and Santana R (2008). An EDA based on local Markov property and Gibbs sampling. GECCO 2008.
• Shakya S and Santana R (2012). A Review of Estimation of Distribution Algorithms and Markov Networks. Markov Networks in Evolutionary Computation. Springer.
• Shakya S and Santana R (2012). MOA - Markovian Optimisation Algorithm. Markov Networks in Evolutionary Computation. Springer.
• Santana R and Mendiburu A (2013). Model-based template-recombination in Markov network estimation of distribution algorithms for problems with discrete representation. GECCO 2013.
• Santana R and Shakya S (2012). Probabilistic Graphical Models and Markov Networks. Markov Networks in Evolutionary Computation. Springer.
• Santana R, Karshenas H, Bielza C and Larrañaga P (2011). Regularized k-order Markov models in EDAs. GECCO 2011.
• Santana R, Mendiburu A and Lozano JA (2012). New methods for generating populations in Markov network based EDAs: Decimation strategies and model swapping. CEC 2012.
• Santana R, Mendiburu A and Lozano JA (2013). Message passing methods for estimation of distribution algorithms based on Markov networks. CEC 2013.
• Mendiburu A, Santana R and Lozano JA (2007). A parallel framework for loopy belief propagation. GECCO 2007.
• Mendiburu A, Santana R and Lozano JA (2007). Introducing belief propagation in estimation of distribution algorithms: A parallel framework. Technical Report.
• Mendiburu A, Santana R and Lozano JA (2012). Fast fitness improvements in Estimation of Distribution Algorithms using belief propagation. CEC 2012.
• Hoens TR, Mendiburu A, Santana R and Lozano JA (2007). Optimization by max-propagation using Kikuchi approximations. IJCAI 2007.
• Santana R, Larrañaga P and Lozano JA (2008). An empirical analysis of loopy belief propagation in three topologies: Grids, small-world networks and random graphs. CEC 2008.
• Santana R, Larrañaga P and Lozano JA (2006). Mixtures of Kikuchi approximations. ECML 2006.
• Santana R (2003). Estimation of Distribution Algorithms with Kikuchi approximations: Part I. Research Report.
• Santana R (2003). Estimation of Distribution Algorithms with Kikuchi approximations: Part II. Research Report.
• Santana R (2003). Exact Gibbs sampling in optimization. Research Report.