Deep Learning Engineer

Deep Learning Engineer

Learn N Use

[Bayesian] 확률밀도함수와 기대값

확률밀도함수

확률밀도함수를 위키백과에서 살펴보면 ‘확률 변수의 분포를 나타내는 함수’ 이다. 확률변수는 ‘확률 공간에서 다른 가측 공간으로 가는 가측함수’ , ‘시행의 결과에 따라 값이 결정되는 변수’ 두 번째 설명이 더 와닿는 것 같다. ** 책에서 얘기하는 근원사상 또는 사상과 같은 의미로 이해한다. 동전을 예로 들면 앞면과 뒷면이 될 것이고, 날씨로 본다면 맑음, 구름, 비, 눈 이라고 할 수 있다.

그럼 다시 확률밀도함수를 설명하기 위해서 확률분포도를 먼저 생각해보자. 주사위를 예를들어 생각해보면 x 축에 주사위가 관측될 수 있는 값 1 ~ 6까지의 값이 있을테고, 각각의 눈이 나올 확률 값 1/6 을 표기한 막대그래프를 그릴 수 있을 것이다. 이때 모든 주사위 눈이 나올 확률은 1/6 이기 때문에 막대그래프의 높이가 1/6로 동일한 ‘균등분포’가 된다. ( 기회가 된다면 그래프 넣기.. )

이 균등분포를 확률밀도함수로 표현해보자. 결론부터 얘기하면 위에서 얘기한 균등분포를 무한히 잘게 쪼갠 형태의 분포라고 생각하면 된다. x축은 정규화조건에 따라서 확률변수를 0~1 사이의 값으로 정규화 한다. 이렇게 했을 때, 확률밀도함수는 x 축이 0 ~ 1 사이에 y축 값이 1인 지점에서 하나의 직선이 그려지게 된다. 그러니까 2개의 좌표 (0,1) (1,1) 을 잇는 직선이다. 여기서 중요한 포인트는 확률변수 0.2 일 때의 확률이 1 이라고 해석하면 안된다는 것이다. 확률과 확률밀도의 관계를 속도와 거리의 관계로 이해하면 수월하다. 시속 100km 라고만 하면 거리를 표시하는 것이 아니라, 순간 속도를 나타낸다. 그런 의미에서는 거리는 0이다. 시속 100km를 3시간동안 지속하면 비로소 300km 거리를 갈 수 있다. 즉 속도는 시간을 들여야만 거리로 전환될 수 있는 양이다. 확률밀도는 구간의 폭을 들여 확률로 전환되는 양인 것이다.

기대값

기대값을 위키백과에서 검색해보면 ‘각 사건이 벌어졌을 때의 이득과 그 사건이 벌어질 확률을 곱한 것을 전체 사건에 대해 합한 값’ 이라고 나온다.

기대치는 확률변수와 발생할 확률의 곱으로 이루어짐으로 가중평균 이라고 볼 수 있다. 주사위의 기대치를 계산하면 3.5가 나오는데 이 의미는 결국 무엇일까?

장기적으로 주사위를 던져서 나오는 실측값(1~6)을 모두 더한 값과 기대치를 계속 더한 값이 같을 것이다라고 하는 의미이다. 식으로 보면 실측값1 + 실측값2 + .. + 실측값N = 기대치 x N 이 된다. 장기적인 관점에서 수치의 합계라는 의미는 현실을 적중시킬 수 있다는 것이다.또한, 확률밀도함수에서의 기대치는 균형점이라고 생각하면 된다.

Reference