Ch.6 학습 관련 기술들/ 6.3 배치 정규화

배치 정규화 Batch Normalization

- 각 층이 활성화를 적당히 퍼뜨리도록 '강제'하는

아이디어에서 출발한 방법

 

 

6.3.1 배치 정규화 알고리즘

• 학습을 빨리 진행할 수 있다.
• 초기값에 크게 의존하지 않음
• 오버피팅을 억제함 (dropout 등의 필요성 감소

배치 정규화를 사용한 신경망의 예

배치 정규화는 학습 시 미니배치를 단위로 정규화한다. 데이터 분포가 평균이 0, 분산이 1이 되도록 정규화한다.

(정규분포, Normal Distribution)

순서대로 평균, 분산, 변환 데이터

##검증은 다음과 같다.

 

ε은 아주 작은 값으로 divide by zero를 막기 위함이다. 

 

배치 정규화 계층마다 이 정규화된 데이터에 고유한 확대(scale)와 이동(shift)변환을 수행한다.

γ가 확대, β가 이동, 초기값은 1, 0부터 시작

배치 정규화의 Computational Graph

 

6.3.2 배치 정규화의 효과

 

 

배치 정규화시 더 빠른 것을 알 수 있다.