경험적 위험 최소화

Breiman이 Statistical Modeling: The Two Cultures에서 보여줬던 것처럼 통계적 모델링에는 대체로 두 가지 경로가 있다. 하나는 데이터의 생성 과정을 기술하여 데이터를 모 …

과학의 조건

April 21, 2017 thoughts

과학의 충분조건을 제안하기는 어려운 일이지만 과학의 필요조건을 선정하는 것은 쉽지 않을까? 예측을 포함하는 진술을 하고 그 진술의 예측 능력을 검증하는 프로세스가 …

April 21, 2017 thoughts

어떤 진술이 과학적인가를 논하는 것보다는 많은 경우에 그렇듯 과학적이지 않은 진술의 조건을 찾는 것이 더 수월할 것이다. 즉 충분조건을 찾기보단 필요조건을 찾는 쪽이 …

April 21, 2017 thoughts

모형의 파라미터는 모형의 학습 과정에서 결정된다. 그렇다면 파라미터에 영향을 미치는 하이퍼파라미터는? 그건 사람이 결정해야 할 문제다. 이걸 잘 정하는 것, 혹은 …

지금 시점에서는 나온지 좀 되긴 했지만 여전히 재미있는 Wasserstein GAN에 대해서 정리해본다. 뉴럴넷이라는 측면에서도 재미있지만 나오는 수학도 재미있다. Read-through: Wasserstein GAN과 …

와츠의 상식과 사회학적 설명은 개인적으로 정말 좋아하는 논문이라 이전에 잠깐 요약을 했었다. 요약을 더 요약하자면 와츠의 논지는 다음과 같다. 사회학 이론들은 대부 …

해석하기 어려운 블랙박스 모형이라고 하면 대충 어떤 것이 있을까? 아마 대표적인 것이 트리 앙상블일 것이다. 그런데 트리 앙상블이 왜 해석하기 어려운가? 반대로 해석 …

클러스터링 알고리즘으로 가장 유명한 것은 K-Means일 것이다. K-Means의 문제점은 1. 클러스터의 숫자를 미리 알아야 한다는 것과 2. 클러스터가 구형이 …

April 21, 2017 thoughts

https://twitter.com/ylecun/status/764033716276428800 인상적인 성능을 내는 뉴럴넷 모형을 학습하려면 (연산능력의 증가와는 별개로) 늘 2-3주는 필요하다는 이야기가 있다. 수백 개의 GPU를 쓰면 모형도 그만큼 복 …

April 21, 2017 thoughts

인과 그래프 모형 같은 경우는 전형적인 데이터의 생성 과정을 기술하는 모형이지만 동시에 알고리즘적 모형에서 흔히 발견할 수 있는 비모수적 함수 추정이 결합되어 있다. …