이 전에는 탐색 방향 기반 알고리즘에 대해 언급하였다. 탐색 방향 기반 알고리즘은 앞서 공부했다시피 학습률이 고정되어있으며, 스칼라 학습률에 의한 한계가 있다. 이러한 학습률 고정에 의한 한계를 극복하기 위해 1) 큰 학습률로 시작 2) 최적화 알고리즘을 통해 새로운 파라미터 추정치를 계산하고 이 추정치를 이용하여 손실함숫값을 계산 3) 새로운 추정치에 대한 손실함숫값이 기존의 손실함숫값보다 작다면 파라미터 추정치를 업데이트 4) 새로운 추정치에 대한 손실함숫값이 기존의 손실함숫값다 크면 업데이트를 하지 않고, 학습률의 크기를 절반으로 줄인 후 기존 파라미터 값을 이용하여 다시 계산을 수행 스칼라 학습률에 의한 한계를 극복하기 위해 단순히 미리 정한 상수 학습률을 곱하는 경우 ≫ 탐색 방향에서 각 방향마..