Gradient descent 분류
Gradient descent는 objective 함수의 gradient 계산에 얼마나 많은 데이터를 적용하는가에 따라, 방법론이 나뉜다고 한다. Gradient descent에 적용하는 데이터의 양에 따라서, parameter 업데이트의 정확도와 업데이트를 행하기 위해 걸리는 시간 간의 trade off가 있다고 한다. Batch gradient descent 정통적인 gradient descent는 batch gradient descent를 말하며, 모든 학습 데이터세트에 대하여 cost 함수의 gradient를 계산한다. Batch gradient descent는 한번 업데이트 시, 전체 데이터세트에 대하여 gradient를 수행하기 때문에 처리 속도가 느리고 메모리 문제가 발생할 가능성도 있다. ..
Machine learning
2021. 1. 12. 11:12
