본문 바로가기

전체 글311

[RL] 강화학습 part1 - policy, value function [RL] 강화학습 part1 - policy, value function Reinforcement Learning 1. 강화학습 원리와 성질 state, action을 번갈아 가면서 목표를 달성합니다. 강화학습 교과서(Sutton, 2017) 참고 1) 계산 모형 상태, 행동, 보상 state, action, reward $$ f:(s_t, a_t) \rightarrow (s_{t+1}, r_{t+1}) $$ $s_t$에서 행동 $a_t$를 취하면, 새로운 상태 $s_{t+1}$로 바뀌고 보상 $r_{t+1}$을 받습니다. t = T (마지막 순간은 주로 T로 표기합니다. 위 예시는 T=5) 인 순간에 과업이 성공했으므로 보상 1을 주면 됩니다. 만약 중간에 넘어지면 보상 -1을 주고, $r_1$~$r_.. 2019. 12. 6.
[Webapp] DOM API 탐색, 조작 DOM API HTML은 동적으로 다양한게 변경될 수 있습니다. DOM APIs에서 이를 지원하는 다양한 메서드와 속성이 있습니다. 라이브러리를 사용하기 전, low-level의 DOM API를 먼저 배워봅니다. querySelector getElementById 등등.. createElement, createTextNode, appendChild insertBefore, innerText, innerHTML, insertAdjacentHTML 등등 1. DOM Node 조작 DOM API 1 다양한 APIs 1) document. 2) element. 2 DOM 탐색 APIs 유용한 DOM element 속성 var a = document.querySelector(".w3-table-all"); a.t.. 2019. 12. 6.
[js] Array, Obejct JavaScript Javascript로 데이터를 표현하기 위해 배열(array)과 객체(object)를 이용합니다. 1. Javascript Array(배열) Declaration var a = [1, 2, 3, "hello", null, true, [[{1:0}]]]; console.log(a.length); console.log(a[500]); >> 7 undefined Method a.push() a.indexOf(x) : x가 배열 a에 있는지 확인 - 있으면 a[x] 출력 a.join() : 배열의 문자열로 합침 a.slice() a.concat(x) : a에 x를 붙인 값을 반환. a는 바뀌지 않습니다. * Spread operator : [...a, x] 라고하면 위와 문법이 똑같습니다.i.. 2019. 12. 5.
Web API 설명 WEB API 디자인 가이드 URI는 정보의 자원을 표현해야 합니다. 자원에 대한 행위는 HTTP method로 표현합니다. HTTP METHOD 역할 POST URI 요청시 리소스를 생성 GET 리소스를 조회하고 해당 document에 대한 자세한 정보 가져옴 PUT 리소스 수정 DELETE 리소스 삭제 URI는 정보의 자원을 표현 POST /members ​ 생성 GET /members ​ 멤버의 모든 정보 요청 PUT /members/1 ​ 수정 DELETE /members/1 ​ 삭제 슬래시 구분자(/)는 계층을 나타낼 때 사용 URI 마지막 문자로 슬래시 구분자 포함하지 않음 하이픈(-)은 URI 가독성 높일 때 사용 언더바(_)는 사용하지 않음 URI경로는 소문자만 사용. RFC 3986(UR.. 2019. 12. 3.
[Web] Rest API 설명 REST API 1. Rest API 클라이언트의 종류가 웹 브라우저, 안드로이드 앱, ios앱 등 다양해지면서 클라이언트에게 정보를 제공하는 방식을 하나로 일원화해야 했습니다. 일원화시키는 방식 중에 대표적 방식이 HTTP protocol 로 API를 제공하는 것입니다. HTTP 프로토콜로 제공하는 API를 REST API 라고 합니다. API Application Programming Interface 약자입니다. API는 응용 프로그램에서 사용할 수 있도록 os나 프로그래밍 언어가 제공하는 기능을 제어할 수 있게 만든 인터페이스를 뜻합니다. 주로 파일 제어, 창 제어, 화상 처리, 문자 제어 등을 위한 인터페이스를 제공합니다. https://docs.oracle.com/javase/8/docs/ap.. 2019. 12. 2.
[PGM] part3 - RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network) 확률 그래피컬 모델(Probability Graphical Model) - part3 4. RBM과 DBN RBM(Restricted Boltzmann Machine)은 통계 물리(statistical physics)의 세부분야인 통계 역학(statistical mechanics)을 이용합니다. 따라서 통계 역학을 일군 볼츠만, 깁스 이름이 자주 등장합니다. BM은 학습이 매우어려워 거의 사용하지 않습니다. 대신 RBM(harmonium)이라는 같은 종류의 노드 사이에는 에지를 허용하지 않는 구조를 제안하게 됩니다.(Smolensky, 1986) 이후 대조발산(contrastive divergence) 학습 알고리즘이 제안되어 이 구조는 빛을 보게 됩니다.(Hinton, 2002) 그 후 RBM 층을 여.. 2019. 11. 28.
[PGM] part2 - Markov Random Field 확률 그래피컬 모델(Probability Graphical Model) - part2 3.Markov Random Field 마르코브 랜덤필드는 무방향그래프(undirected graph)를 이용합니다. 이웃한 노드사이에만 직접적인 상호작용, 멀리 떨어진 노드와는 이웃을 통한 간접적 상호작용을 하므로 마르코프라는 이름이 붙었습니다. 또한 확률변수들(Random variable)을 고려한 필드가 형성되므로 랜덤필드라는 이름이 붙었습니다. 1) 동작 원리 마르코프 랜덤필드도 그래프를 분해하여 계산량을 줄여야 합니다. 이 때 그래프의 클릭(clique)을 이용합니다. 클릭은 모든 노드 쌍이 에지를 가지는 완전 부분그래프(complete sub-graph)입니다. 극대 클릭(maximal clique)는 노드를.. 2019. 11. 28.
[PGM] part1 - Bayesian Network 확률 그래피컬 모델(Probability Graphical Model) - part1 1. 확률과 그래프의 만남 1.1 그래프 표현 방향 그래프(directed graph) : 베이지안 네트워크(Bayesian network) = 방향 그래피컬 모델(Dirtected graphical model) 그래프는 인과관계를 표현하는 뼈대를 형성하고, 뼈대에 확률을 부여합니다. 무방향 그래프(undirected graph) : 마르코프 랜덤필드 MRF(Markov Random Field) = 무방향 그래피컬 모델(undirected graphical model) 영상의 각 화소는 이웃화소와 밀접한 연관이 있지만, 한 화소가 다른 화소에게 일방적으로 영향을 미치는 인과관계는 형성되지 않습니다. 따라서 영상은 무방향.. 2019. 11. 28.
[Boostcourse] JDBC 설명 JDBC keyword JDBC DriverManger Connection Statement ResultSet JSBC(Java Database Connectivity) 자바 이용한 데이터베이스 접속과 SQL 문장의 실행, 실행결과로 얻어진 데이터의 핸들링을 제공하는 방법과 절차에 관한 규약 자바 프로그램내에서 SQL문을 실행하기 위한 자바 API SQL과 프로그래밍 언어의 통합 접근 중 한 형태 JAVA는 표준 인터페이스인 JDBC API를 제공합니다. 데이터베이스 벤더, 써드파티에서는 JDBC 인터페이스를 구현한 드라이버(driver)를 사용합니다. 환경구성 JDK JDBC 드라이버 설치 Maven에 의존성 추가, MySQL 사이트에서 다운로드 pom.xml mysql mysql-connect-jav.. 2019. 11. 23.
[ML] Semi-supervised Learning, Transfer Learning 설명 Semi-supervised Learning and Transfer Learning 1. 표현학습(Representation Learning) 2000년대 초반까지는 수작업 특징(hand-crafted feature)을 미리 구해 특징 벡터를 추출하고 얕은 구조의 기계학습을 구현했었습니다. 하지만 수작업의 한계는 다양한 도메인에서 사람이 일일이 최적의 특징을 설계하는 것이 어렵다는 것입니다. 딥러닝에서는 특징 추출과 기계 학습이 동시에 최적화합니다.(end-to-end) 다른 도메인에 적용시키려면 데이터만 바꾸어 새로 학습하면 됩니다. 최적의 특징을 자동으로 알아내는 접근방식의 중요성을 강조하기 위해 표현학습(representation learning)이라는 용어를 사용합니다. 깊은 구조의 은닉층은 저급.. 2019. 11. 23.
728x90