ML, DL/RNN3 [RNN] Language Model, Machine Translation, Image Captioning 이글은 기계학습, 오일석 저 책을 공부하면서 기록한 글입니다. RNN의 응용사례에 대해 배워봅니다. 5. 응용사례 순환신경망은 주로 가변 길이의 패턴을 처리하는 데 활용된다(Graves, 2012) NLP(Natural language processing, 자연어처리) 는 처리해야 할 문장이 짧은 것부터 아주 긴 것 까지 다양하게 발생하므로, 주로 순환 신경망을 이용한다. 음성 인식, 주식 예측 등 응용에서 분류나 회귀문제를 푸는 분별 모델(Discriminative model)로 활용된다. 새로운 문장이나 영상을 생성하는 등의 응용에서는 생성 모델(Generative model)로 활용된다. 5.1) 언어모델(Language Model) 언어 모델은 문장, 즉 단어 열의 확률분포다. 예를 들어 P(자세.. 2019. 10. 25. [RNN] LSTM이란? 이글은 기계학습, 오일석 저 책을 보고 공부한 내용을 기록한 것입니다. RNN 모델 중 하나인 LSTM을 배워봅니다. 4. LSTM LSTM(Long short term memory)(Hochretier, 1997)은 여러 종류의 게이트가 있어 입력을 선별적으로 허용하고, 계산 결과를 선별적으로 출력할 수 있다. GRU(Gated recurrent unit)은 성능 저하를 최소로 유지하면서 LSTM을 단순화한 모델이다.(Chung, 2014) 4.1) 게이트 이용한 영향력 범위 확장 LSTM의 핵심 아이디어는 게이트를 열고 닫는 것이다. 게이트는 0.0~1.0사이의 실숫값을 가지고 개폐 정도를 조절한다. 언제 얼마만큼 여닫을지는 학습으로 알아낸다. 구조는 RNN의 은닉층에 메모리블록을 배치한 것이다.이 .. 2019. 10. 25. [RNN] RNN이란? Sequantial data? 이 글을 기계학습, 오일석 저 책을 보고 공부한 내용을 기록한 글입니다. sequantial data에 대해 알아보고, RNN을 알아봅니다. 1. 순차데이터(Sequantial data) 데이터에는 시간성(Temporal property)을 가진 데이터가 많다. 심전도(ECG) 신호, 주식 시세, 음성 신호, 문장, 유전자 열 등등이 있다. 이런 데이터는 특징에 순서가 있다는 의미에서 순차데이터라고 한다. 시간성 정보를 잘 이용해야 데이터의 특징을 잘 다룰 수 있다. MLP 에 입력하는 데이터는 정적인 반면, 시간성 데이터는 시간에 따라 내용이 변하므로 동적이고, 길이가 가변적이다. 매우 긴 패턴을 처리하는 연구가 활발히 진행되고 있다. 예를 들어, 긴 문장은 멀리 떨어진 두 단어 사이의 문맥을 이해해야.. 2019. 10. 25. 728x90 이전 1 다음
