Weight initialization (웨이트 초기화)
[ 제 네이버 블로그 글을 티스토리로 이전한 글입니다. 해당 글은 제 네이버 블로그에 2018.06.30에 작성되었었습니다 ] Kdnuggets에 올라와 있는 글들 중, weight initialization에 관한 글이 있어서 정리하였습니다. 저의 경우 weight initialization을 할 때, 보통 Xavier initialization을 많이 사용하는 편입니다. 경험적으로는, random 초기화 방법보다는 학습속도가 빠른 것으로 느껴집니다. 해당 글에서는 fully connected neural network을 기준으로 설명을 하고 있습니다. Neural Network의 학습은 크게 4단계로 이루어집니다. 1) network의 parameter들(weight, bias) 초기화 . 2) Fo..
Machine learning
2021. 8. 13. 07:57
