풀링의 의미

풀링의 의미

풀링 함수는 특정 위치에서의 신경망의 출력을 근처 출력들의 요약통계량으로 대체하는 것이다. 예를들어 최대값 풀링 연산은 직사각형 영역 안에 있는 이웃 단위들의 출력 중 가장 큰 값을 사용한다. (풀링 종류 - 직사각 이웃들의 평균, L제곱 노름, 또는 중앙 픽셀과의 거리에 기초한 가중 평균 등)

결국 모든 풀링은 작은 이동에 대해 근사적으로 invariant하게 되는데 도움을 준다. 그러니까 입력을 조금 이동해도 풀링된 출력들의 값들은 대부분 변하지 않는 것이다. 만약 자신의 Task가 어떤 특징의 구체적인 위치가 아니라 그런 특징의 존재 여부 자체가 더 중요할 때는 이러한 국소 이동에 대한 불변성이 유용할 수 있다. 만약 구체적인 위치를 알아야 할 때, 가령 두 윤곽선이 특정 방향으로 만나서 정의되는 모퉁이(corner)를 찾는다고 할 때, 두 윤곽선의 위치를 보존할 필요가 있다.

조금 통계적으로 설명하면, 풀링을 적용하는 것은 신경망의 층이 학습하는 함수가 작은 이동들에 대해서 반드시 invariant 하다는 믿음을 나타내는 무한히 강한 사전분포를 신경망에 추가하는 것으로 볼 수 있다. 이러한 invariant 한 가정이 실제로 성립하는 경우에는 신경망의 통계적 효율성이 크게 개선될 수 있다.