[pytorch] 신경망의 기본 구성 요소
퍼셉트론 : 가장 간단한 신경망 - 선형 함수와 비선형 함수의 조합으로 선형 함수 표현인 는 아핀 변환 (affine transform)이라고도 한다. 2. 활성화 함수 (1) 시그모이드 - 입력 범위 대부분에서 매우 빠르게 포화되어 gradient가 0이 되거나 발산하여 부동소수 오버플로가 되는 문제 발생. → 그레이디언트 소실/ 폭주 문제 → 신경망에서 거의 출력층에서만 쓰임 (2) 하이퍼볼릭 탄젠트 - (-∞,∞) 범위의 실숫값을 [-1, 1]로 바꾼다. (3) 렐루 - gr..
