ML, DL/probability graphical model3 [PGM] part3 - RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network) 확률 그래피컬 모델(Probability Graphical Model) - part3 4. RBM과 DBN RBM(Restricted Boltzmann Machine)은 통계 물리(statistical physics)의 세부분야인 통계 역학(statistical mechanics)을 이용합니다. 따라서 통계 역학을 일군 볼츠만, 깁스 이름이 자주 등장합니다. BM은 학습이 매우어려워 거의 사용하지 않습니다. 대신 RBM(harmonium)이라는 같은 종류의 노드 사이에는 에지를 허용하지 않는 구조를 제안하게 됩니다.(Smolensky, 1986) 이후 대조발산(contrastive divergence) 학습 알고리즘이 제안되어 이 구조는 빛을 보게 됩니다.(Hinton, 2002) 그 후 RBM 층을 여.. 2019. 11. 28. [PGM] part2 - Markov Random Field 확률 그래피컬 모델(Probability Graphical Model) - part2 3.Markov Random Field 마르코브 랜덤필드는 무방향그래프(undirected graph)를 이용합니다. 이웃한 노드사이에만 직접적인 상호작용, 멀리 떨어진 노드와는 이웃을 통한 간접적 상호작용을 하므로 마르코프라는 이름이 붙었습니다. 또한 확률변수들(Random variable)을 고려한 필드가 형성되므로 랜덤필드라는 이름이 붙었습니다. 1) 동작 원리 마르코프 랜덤필드도 그래프를 분해하여 계산량을 줄여야 합니다. 이 때 그래프의 클릭(clique)을 이용합니다. 클릭은 모든 노드 쌍이 에지를 가지는 완전 부분그래프(complete sub-graph)입니다. 극대 클릭(maximal clique)는 노드를.. 2019. 11. 28. [PGM] part1 - Bayesian Network 확률 그래피컬 모델(Probability Graphical Model) - part1 1. 확률과 그래프의 만남 1.1 그래프 표현 방향 그래프(directed graph) : 베이지안 네트워크(Bayesian network) = 방향 그래피컬 모델(Dirtected graphical model) 그래프는 인과관계를 표현하는 뼈대를 형성하고, 뼈대에 확률을 부여합니다. 무방향 그래프(undirected graph) : 마르코프 랜덤필드 MRF(Markov Random Field) = 무방향 그래피컬 모델(undirected graphical model) 영상의 각 화소는 이웃화소와 밀접한 연관이 있지만, 한 화소가 다른 화소에게 일방적으로 영향을 미치는 인과관계는 형성되지 않습니다. 따라서 영상은 무방향.. 2019. 11. 28. 728x90 이전 1 다음
