if(life){code();}

오토인코더 (Autoencoder) 입력 데이터를 압축(인코딩)하고, 다시 복원(디코딩)하는 비지도 학습 모델 입력값을 출력값과 가깝게 만드는 방향으로 학습하며, 입력 데이터를 효율적으로 표현하는 잠재 벡터(latent vector)를 학습함  주요 활용 분야차원 축소 (Dimensionality Reduction)노이즈 제거 (Denoising)이상 탐지 (Anomaly Detection)생성 모델 기반 (VAE, GAN 등) 동작 원리 인코더 (Encoder) 입력 데이터를 저차원 잠재 공간으로 압축입력 x 를 잠재 변수 z로 변환𝑥 = f(𝑥) = σ(Wₑ 𝑥 + bₑ) → 중요한 특징을 추출하고, 입력 데이터를 압축  디코더 (Decoder) 잠재 변수 z를 원래의 입력과 유사한 데이터 x̂..

CNN 기반 이미지 분류 주요 CNN 아키텍처ResNet(Residual Network)VGGInception (GoogLeNet) ResNet (Residual Network) 깊은 신경망에서 발생하는 기울기 소실 문제(Gradient Vanishing를 해결하기 위해 잔차 연결(Residual Connection) 도입) y = F(x) + x → 입력을 직접 다음 층에 더해주는 구조 대표 모델: ResNet-18, ResNet-50, ResNet-101, ResNet-152   VGG 필터 크기를 3x3으로 고정해 단순하고 일관된 구조를 갖춤깊이가 깊어질수록 파라미터 수는 많지만 구조적 이해가 쉬움 대표 모델: VCG16, VCG19 Inception (GoogLeNet) 다양한 크기의 필터(1x1..

AI 연구 vs.  AI 활용  AI 연구AI 활용목적새로운 알고리즘, 모델 개발기존 AI를 활용한 문제 해결필요 역량수학, 이론, 모델, 구조에 대한 깊은 이해모델 사용법, 실용적 적용 능력예시새로운 음성 인식 알고리즘 개발음성 비서를 만드는 앱 개발→ 연구 : AI의 '뿌리'를 만드는 일, 활용 : AI 연구의 '열매'를 가져다 쓰는 일  AI 활용 도구: API, 사전 학습 모델 API (Application Programming Interface) 복잡한 AI 기능을 인터페이스 형태로 제공직접 모델을 만들지 않아도, AI 기능을 바로 사용 가능 Google Vision API → 이미지를 분석해 객체 인식 가능OpenAI GPT API → 입력한 문장을 바탕으로 자연어 생성https://s2bib..

ResNet(Residual Network) 깊은 신경망을 효과적으로 학습하기 위해 개발된 모델 잔차 학습(Residual Learning) 개념을 도입하여 기울기 소실(Vanishing Gradient)문제를 해결2015년 Microsoft Research에서 개발었으며, ImageNet 챌린지(ILSVRC) 2015에서 우승    신경망의 깊이가 깊어질수록 더 복잡한 패턴을 학습 할 수 있지만, 오차 역전파 시 기울기가 매우 작아지거나 커져 가중치 업데이트가 제대로 이루어지지 않는 기울기 소실(Vanishing Gradient) 또는 기울기 폭발(Exploding Gradient) 문제로 인해 학습이 어려워 짐→ 네트워크를 깊게 쌓을수록 성능이 오히려 저하되는 문제 발생 잔차 학습(Residual L..

행복하다02:25 취침 10:30 기상잠이 왜이렇게 많아졌지하지만 샤워도하고 요가도 했다. 수리야나마스카라조졌다. 기본이지만 기본이 어렵다.쿠키랑 이브랑 많이 못놀았다.딥러닝 부셔버리고싶다.어텐션 매커니즘에 대해서 다뤘는데 그걸로 뭔가 해보고싶어서 문장넣고 대충 토큰화하고 랜덤리하게 임베딩해서 어텐션 가중치 시각화만 해봤다.재밌었는데 다하니까하찮아서 귀찮다.......알 수 없다......기본이지만 기본이 어렵다.내가 더 똑똑했으면 좋겠다.

자연어 처리(NLP) 모델 워드 임베딩과 시퀀스 모델링 워드 임베딩(Word Embedding) 기법 단어를 고정된 크기의 벡터로 변환하는 기법단어 간의 의미적 유사성을 반영하여 벡터 공간에서 가까운 위치에 배치벡터 간의 연산을 통해 이미적 관계(예: '왕 - 남자 + 여자 ≈ 여왕')을 파악할 수 있음 → 단어의 의미적 관계를 벡터로 변환하는 핵심 기술 대표적 워드 임베딩 기법Word2Vec (CBOW, Skip-gram)GloVeFastTextELMo (문맥을 반영한 임베딩)  Word2Vec 신경망을 이용해 단어를 벡터로 변환하는 모델로 두 가지 학습 방식 제공 CBOW(Continuous Bag of Words)주변 단어 (Context)로 중심 단어(Target)을 예측하는 방식학습이 빠르고 데..

Attention 메커니즘 시퀀스 데이터에서 중요한 부분에 더 많은 가중치를 할당하여 정보를 효율적으로 처리하는 기법주로 자연어 처리(NLP) 및 시계열 데이터에서 사용되며, 기계 번역, 요약, 질의응답 시스템 등에 적용됨  동작 방식 기본 개념입력 시퀀스의 각 요소에 대해 중요도를 계산하여 가중치를 부여불필요한 정보를 무시하고 중요한 정보 강조 주요 구성 요소 : Query(Q), Key(K), Value(V)  1. Attention 스코어 계산 Query와 Key 간의 유사도를 측정하여 중요도를 계산일반적으로 내적(dot product) 연산을 사용하여 유사도를 계산함𝓢(Q, K) = Q · K^T  2. Softmax를 통한 가중치 계산 Attention 스코어를 Softmax 함수로 정규화하여..

순환 신경망(Recurrent Neural Network, RNN) 시계열 데이터 및 순차적 데이터를 처리하기 위한 신경망이전 시간 단계의 정보를 현재 시간 단계로 전달하여 시퀀스 패턴을 학습 주식 가격 예측, 날씨 예측, 텍스트 생성 등에 적합  동작 원리순환 구조 : 입력 데이터와 이전 은닉 상태(hidden state)를 받아 현재 은닉 상태를 출력가중치 공유 : 모든 시간 단계에서 동일한 가중치를 사용하여 계산역전파(BPTT, Backpropagation Through Time)을 통해 학습 진행→ 과거의 정보가 너무 오래되면 영향을 거의 미치지 못하는 장기 의존성 문제(long-term dependency problem) 발생기울기 소실(Vanishing Gradient) 문제RNN의 역전파 과..

행복하다. 00:00 취침 07:30 기상오잉또잉어제 저녁먹고 바로 잠들었다.오랜만에 일찍 잤다. 어제는 오늘 일어난 시간에 잠들었는데.일어나니까 이브가 오랜만에 만난다고 말도 걸고 부비부비한다.잠을 잘잤더니 피부가 작살난다.잠이 보약이라는 말이 괜히 있는게 아니다...어제는 잠자고 일어났는데도 다크써클이 내려와있었다. 오늘은 화이트닝한 것 마냥 하얗다. 머신러닝은 재밌게 들었는데 딥러닝은 왜이렇게 재미가 없지..지루하다.탈색한 번 하고 염색도 했다.이브가 머리카락 냄새를 맡는다.염색약은 레드라고 했으면서 레드가 아니다. 점심 때 오빠야가 모듬 초밥을 사놨다. 낮잠자고 일어나니까 오빠야는 세차하고 어쩌구 혼자 나들이 나갔다. 일찍 일어나서 그런지 하루종일 잠이 왔다.샤워ㅇ요가ㄴ 물 한 컵 마셨다.

합성곱 신경망(CNN) 이미지 데이터를 효과적으로 처리할 수 있도록 설계된 신경망합성곱 (Convolution)과 풀링(Pooling)을 활용하여 주요 특징을 추출  CNN의 기본 구성 요소합성곱 층(Convolutional Layer)입력 이미지에 필터(커널)를 적용하여 특징 맵(feature map)을 생성필터는 이미지의 국소적인 패턴(에지, 코너, 텍스처 등)을 학습풀링 층(Pooling Layer)특징 맵의 크기를 줄이고, 중요한 특징을 추출주로 Max Pooling과 Average Pooling이 사용됨완전 연결 층(Fully Connected Layer, FC Layer)추출된 특징을 바탕으로 최종 예측을 수행 대표적인 CNN 아키텍처 LeNet-5(1998년) 최초의 CNN 모델 중 하나손글..