최적화 기법 머신러닝과 딥러닝에서 모델의 성능을 극대화하고, 목적 함수의 값을 최소화(또는 최대화)하는 기법 경사 하강법(Gradient Descent)목적 함수의 기울기(Gradient)를 활용해 함수의 최소값을 찾는 반복적인 최적화 알고리즘 동작 원리목적 함수의 기울기를 계산기울기의 반대 방향으로 학습률(learning rate)에 비례해 이동1, 2 과정을 반복하며 최소값에 수렴 ⇒ 학습률(step size)을 통해 각 반복에서 얼마나 이동할지 결정 *learning rate : 설정된 상수값경사 하강법에서 사용되는 하이퍼파라미터각 반복(iteration)마다 가중치를 얼마나 변경할지 결졍하는 상수보통 eta로 표시, 모든 파라미터 업데이트에서 동일하게 적용→일정한 크기의 이동을 의미 *step ..
