L21 [Regularization] 규제, 모델 일반화능력 향상, Model generalization 1. 규제(Regularization)의 필요성 신경망이 몇 개의 hidden layer와 각 layer에 몇 개의 node를 가져야 할 지 일일이 정해줄 수 없다. 따라서, 충분히 큰 용량의 신경망 구조를 설계 후, 학습 과정에서 여러 규제 기법을 적용하는 방법을 구사한다. 2. 규제의 정의 데이터 원천에 기본적으로 내재한 정보를 사전지식(prior knowledge)라 한다. 티호노프의 규제 기법은 smooth function을 이용해서 이 사전지식을 유지하면서(가까운 데이터는 비교적 가깝게 매핑된다.) 규제가 일어난다고 가정한다. $$ J(\theta) = J(\theta) + \lambda R(\theta) $$ Ian Goodfellow, 2016는 규제에 대해 다음과 같이 말한다. 일반화 오류.. 2019. 10. 7. 728x90 이전 1 다음
