Overfitting 2

생성형 AI(Generative AI)

생성형 AI(Generative AI) 입력을 바탕으로 새로운 결과물을 만들어내는 AI텍스트 생성 모델몇 개의 단어를 입력하면 자연스러운 문장을 이어 생성GPT-3, ChatGPT 등이미지 생성 모델텍스트나 스케치를 바탕으로 이미지 생성DALL·E, Stable Diffusion 등음악 생성 모델멜로디 입력에 따라 음악을 작곡Magenta 등창의적인 작업을 도와주며, 예술·콘텐츠·디자인 등 다양한 분야에 활용되고 있음  생성형 AI 개발의 어려움  대규모 데이터와 연산 자원 수십억 개의 파라미터를 학습하는 딥러닝 기반 모델이기 때문에 방대한 데이터와 고성능 GPT/TPU가 필요함 텍스트 생성: 수십~수백GB 이상의 문서 데이터이미지 생성: 이미지와 그 설명이 함께 포함된 수십만~수백만 개의 데이터셋→ 개..

과적합(Overfitting) 방지 기법

과적합 방지 기법 과적합 모델이 훈련 데이터에 너무 과하게 적합(overfit)되어, 새로운 데이터(검증/테스트 데이터)에 대해 일반화 성능이 낮아지는 현상→ 훈련 데이터에선 높은 정확도를 보이지만, 실제 사용 환경에서는 성능이 떨어지는 문제가 발생   정규화와 드롭아웃 정규화 (Normalization) 데이터 분포를 일정한 범위로 조정, 학습 안정성과 수렴 속도를 향상시키고 과적합을 방지 배치 정규화 (Batch Normalization)→ 각 미니배치에 대해 평균과 분산을 정규화→ 학습 속도를 높이고, 과적합을 방지하는 데 도움레이어 정규화 (Layer Normalization)→ 각 레이어별로 정규화 수행 (RNN 등 순차 모델에서 자주 사용) 드롭아웃 (Dropout) 학습 중 임의로 일부 뉴런..

⊢ DeepLearning 2025.03.22
728x90