ML, DL51 [DL] 딥러닝 성능 향상(전처리, 가중치초기화, 모멘텀, 활성함수) 성능 향상을 위한 요령 들어가기 전에 한가지 명심해야 할 사항은 다음의 방법들이 절대적인 것이 아니라, 경험규칙(Heuristics)에 기반하므로 자신에게 주어진 데이터에 잘 맞을 지는 실험을 통해 알아보야 한다. 1) 데이터 전처리 특징값이 모두 양수(또는 모두 음수)이거나 특징마다 값의 규모가 다르면, 수렴 속도가 느려질 수 있다. $$ w = w - \sigma x $$ 그레이언트 업데이트 값은 입력(x) 부호에 영향을 받기 때문이다. 모든 x가 양인 상황에서 어떤 오차역전파 σ값은 음수인 상황에는 양의 방향으로 업데이트 되지만, σ값이 양수인 상황에서는 음의 방향으로 업데이트 된다. 이처럼 여러 가중치가 뭉치로 같이 증가하거나, 감소하면 최저점을 찾아가는 경로를 갈팡질팡하여 수렴 속도 저하로 이어.. 2019. 9. 24. [GAN] Data Augmentation Using GANs, 2019 Data Augmentation Using GANs FHKS Tanaka, arXiv cs.LG, 2019/04/19 Abstract GAN은 데이터 증식을 위해 쓰일 수 있다. 1) 클래스가 불균형한 데이터셋에서 부족한 클래스를 보충하기 위해, 2) 데이터가 privacy에 관련한 민감한 정보를 포함할 때, 합성이미지로 이를 극복한다. 본 논문은, Generator로 저자가 직접구현한 간단한 모델을 이용하고, Discriminator로는 Decision Tree를 이용하여 GAN으로 만든 합성 데이터가 실제 데이터를 대체할 수 있을지 연구한 결과이다. 1. Introduction Good 데이터 셋을 가지는 것은 모델의 학습을 위해 참 중요한 요소이다. 1) Imbalanced 데이터에서, oversa.. 2019. 9. 21. [HTML] 서브라임텍스트에서 미리보기 단축키 설정 Sublimetext3에서 HTML 작성 후, 웹에서 미리보기를 하고 싶을 때, 우클릭 View in Browser을 해도 되지만, 이는 프로그래밍의 손 맛을 떨어뜨리죠!! 이제는 alt + ctrl + V 단축키로 바로 미리보기를 하도록 해봅시다. Step 1 Package Control 설치 ctrl + ` (Show console) Package Control Website 복사 Enter (몇 초의 시간 소요) Step 2 View in Browser Package 설치 ctrl + shift + p "Install Package" 검색 Package Control : Install Package 엔터 View In Broswer 엔터 단축키 Alt + Ctrl + V로 가능! 단, 기본값은 파이.. 2019. 9. 20. 교차 엔트로피(Cross Entropy)와 로그우도(Log Likelihood) 목적함수: 교차 엔트로피(Cross Entropy)와 로그우도(Log Likelihood) MSE(Mean Square Error, 또는 L2 loss)로 살펴보기 정답레이블이 0인 상황에서 예측값(o)이 각각 0.7503, 0.9971 나온 두 경우를 생각해보자. 후자(0.9971)가 조금 더 큰 에러가 발생했으므로, 더 큰 그레디언트로 가중치(weight)를 갱신시켜 주어야 할 것이다. 하지만, $$ e = \frac{1}{2}(y - o)^2 = \frac{1}{2}(y-\sigma(wx+b))^2 \ where, \sigma(x) = \frac{1}{1 + e^{-x}} (sigmoid) $$ MSE 식에서 각각 파라미터 w와 b로 미분을 해보면, $$ \frac{\partial e}{\parti.. 2019. 8. 29. [vscode] 원격 서버 접속, Remote Development using SSH 원격서버에서도 vscode로 작업을 하고 싶습니다. 필요사항으로는 1. 로컬에 ssh 가 설치되어 있어야하고, 2. 당연히 vscode가 설치되어 있어야 하고, 3. vscode Extensions(단축키 Ctrl+Shift+X) 에 가셔서, Remote Development extension pack 을 깔아야 합니다. - 일반 리눅스/max 사용자라면 다음을 다운받아주시고, 저는 윈도우를 쓰는 입장이라, 리눅스를 사용하기 위해 WSL을 쓰는데 Remote - WSL 이 자동으로 install되어있었습니다. 자 환경이 갖추어졌다면 이제 시작해볼가요? 예를들어 접속할 원격 서버 ip가 111.222.33.44이고 host가 jin이라고 해봅시다. 1 >> 먼저 원격 서버의 호스트에 인증key 를 설정해야.. 2019. 8. 26. [ITK-SNAP] Exception occurred during ITK-SNAP startup 문제 해결 탐색기에 %APPDATA% Enter >> AppData 접근 Roaming/itksnap.org/ITK-SNAP/UserPreference.xml 삭제 2019. 8. 20. Grad-CAM(Gradient-weighted Class Activation Mapping), 코드포함 Visual Explanations from Deep Networks via Gradient-based Localization Ramprasaath et al, Virginia Tech, Georgia Institute of Technology, 2017 Abstract CAM(Class Activation Mapping)은 CNN 기반 네트워크에서 많은 클래스를 결정할 때, 시각적인 설명을 제공합니다. 여기서 말하는 Grad-CAM(Gradient-weighted CAM)은 CAM을 구할 때, "예측 이미지안의 중요한 부분을 강조하는 대략적인 지역 맵을 생산하기위한 마지막 컨볼루션 층으로 흘러가는", "타겟 클래스(캡션, 마스크도 가능)에 대한" gradient를 이용합니다. 따라서 적용할 수 있는 범.. 2019. 8. 8. Faster R-CNN, 2016 Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun Abstract 이 모델에서는 full 이미지 convolutional feature와 detection 네트워크를 공유하는 Region Proposal Network (RPN)를 도입합니다. 즉, RPN은 fully convolutional network이고, 객체의 bound와 점수를 동시에 예측하게 됩니다. Faster R-CNN은 RPN과 Fast R-CNN을 하나의 네트워크로 합쳤습니다. 또한 Attention 메카니즘을 적용함으로써, RPN은 어디를 보아야 할지 알려주는 통합된 네트워크입니다. 그 결과 ILSVRC과 COCO 2015 competition에서 높은 정확도로 우승을 하게 되었습니다. .. 2019. 8. 6. Cascade R-CNN, Cai et al, 2018 0. Abstract 객체 탐색(object detection)에서, IoU(intersection over union) 임계값(thresold)는 양수나 음수로 정의되어야 합니다. 하지만, 디텍터 성능은 IoU thresold가 증가함에 따라 감소하는 양상을 보입니다. 두 가지 주요 원인이 있는데, 1) 지수적으로 양의 샘플(positive sample)이 사라지기 때문에 나타나는, 훈련 중에서의 과대적합(overfitting)현상입니다. 2) 디텍터가 최적이되는 IoU와 입력 가설 IoU 사이의 inference-time mismatch가 생기기 때문입니다. 다단계(multi-stage) 객체 탐색 구조인 Cascade R-CNN은 위 두 문제를 다룹니다. Cascade R-CNN은 순차적으로 clo.. 2019. 8. 4. [ML] K-Fold Cross Validation (K겹 교차검증) 데이터 부족 데이터 수가 부족한 상황에서는 검증집합(validation, test)을 따로 마련하기 힘든데, 이 때 교차검증(cross-validation)을 이용하면 효과적입니다. 훈련집합을 같은 크기로 나누어 k개의 그룹을 만든 후, 1개는 검증그룹, 나머지 k-1개는 훈련그룹으로 나누어서 그룹을 달리하며 k번 반복합니다. 여기서 k개의 성능을 얻게 되는데, 이들을 평균하여 검증 성능으로 취합니다. 오버피팅 하지만 이렇게 할 경우 훈련과정에서 검증데이터가 개입을 하므로, 과대적합(overfitting)이 일어났는지에 대한 예측을 하기가 어렵습니다. 그래서 사용하는 방법은, 앙상블(ensemble)입니다. 예측방법은 보통 두가지로 나뉘지만 (회귀, 분류), 여기서는 분류(classification)를 .. 2019. 8. 2. 728x90 이전 1 2 3 4 5 6 다음
