if(life){code();}

Attention 메커니즘 시퀀스 데이터에서 중요한 부분에 더 많은 가중치를 할당하여 정보를 효율적으로 처리하는 기법주로 자연어 처리(NLP) 및 시계열 데이터에서 사용되며, 기계 번역, 요약, 질의응답 시스템 등에 적용됨  동작 방식 기본 개념입력 시퀀스의 각 요소에 대해 중요도를 계산하여 가중치를 부여불필요한 정보를 무시하고 중요한 정보 강조 주요 구성 요소 : Query(Q), Key(K), Value(V)  1. Attention 스코어 계산 Query와 Key 간의 유사도를 측정하여 중요도를 계산일반적으로 내적(dot product) 연산을 사용하여 유사도를 계산함𝓢(Q, K) = Q · K^T  2. Softmax를 통한 가중치 계산 Attention 스코어를 Softmax 함수로 정규화하여..

순환 신경망(Recurrent Neural Network, RNN) 시계열 데이터 및 순차적 데이터를 처리하기 위한 신경망이전 시간 단계의 정보를 현재 시간 단계로 전달하여 시퀀스 패턴을 학습 주식 가격 예측, 날씨 예측, 텍스트 생성 등에 적합  동작 원리순환 구조 : 입력 데이터와 이전 은닉 상태(hidden state)를 받아 현재 은닉 상태를 출력가중치 공유 : 모든 시간 단계에서 동일한 가중치를 사용하여 계산역전파(BPTT, Backpropagation Through Time)을 통해 학습 진행→ 과거의 정보가 너무 오래되면 영향을 거의 미치지 못하는 장기 의존성 문제(long-term dependency problem) 발생기울기 소실(Vanishing Gradient) 문제RNN의 역전파 과..

합성곱 신경망(CNN) 이미지 데이터를 효과적으로 처리할 수 있도록 설계된 신경망합성곱 (Convolution)과 풀링(Pooling)을 활용하여 주요 특징을 추출  CNN의 기본 구성 요소합성곱 층(Convolutional Layer)입력 이미지에 필터(커널)를 적용하여 특징 맵(feature map)을 생성필터는 이미지의 국소적인 패턴(에지, 코너, 텍스처 등)을 학습풀링 층(Pooling Layer)특징 맵의 크기를 줄이고, 중요한 특징을 추출주로 Max Pooling과 Average Pooling이 사용됨완전 연결 층(Fully Connected Layer, FC Layer)추출된 특징을 바탕으로 최종 예측을 수행 대표적인 CNN 아키텍처 LeNet-5(1998년) 최초의 CNN 모델 중 하나손글..

인공 신경망(ANN) 생물학적 신경망을 모방한 컴퓨팅 시스템 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer)으로 구성각 층은 뉴런(Neuron)으로 이루어져 있으며, 가중치(Weight)와 활성화 함수(Activation Function)를 사용해 데이터를 처리 입력층 : 입력 데이터를 받아들이는 층입력  뉴런 수는 입력 데이터의 특징(Feature) 수와 동일은닉층 : 입력 데이터를 처리하고 특징을 추출하는 층뉴런 수와 층 수에 따라 모델 성능이 결정됨출력층 : 최종 예측 값을 출력하는 층뉴런 수는 예측하려는 클래스 개수 또는 회귀 문제의 출력 차원과 동일 동작 방식순전파 (Foward Propagation)입력 데이터 → 각 층의 뉴런 활성화 → 최종..

Conda&Jupyter Notebook을 이용한 환경 설정, 가상환경 설치 및 Jupyter Notebook 연결  https://s2bibiprincess.tistory.com/68 Python - Pandas설치 및 Conda, Jupyter Notebook, 가상환경과 kernelPandas 설치pip install pandas   Jupyter Notebook 코드, 텍스트, 이미지 등을 한 곳에서 관리할 수 있는 대화형 컴퓨팅 환경데이터 분석, 머신러닝, 교육 등 다양한 분야에서 사용오픈 소스 웹 애플리케s2bibiprincess.tistory.com PyTorch Facebook에서 개발한 오픈 소스 딥러닝 라이브러리동적 계산 그래프(dynamic computationg graph) 지원 →..

인공신공망의 기본 단위 : 퍼셉트론 단일 퍼셉트론 https://s2bibiprincess.tistory.com/168 Perceptron(퍼셉트론)Perceptron(퍼셉트론)  인공 신경망(Artificial Neural Network, ANN)의 가장 단순한 형태로, 인공 뉴런 모델 중 하나이진 분류 문제를 해결하기 위해 설계된 알고리즘으로, 입력 데이터를 받아 두 개의 클s2bibiprincess.tistory.com  단순 퍼셉트론은 선형 분류만 가능하며, 비선형 문제(XOR 등)는 해결할 수 없음  다층 퍼셉트론(MLP)과 XOR 문제 해결  다층 퍼셉트론(MLP, Multi-Layer Perceptron, MLP) 은닉층이 추가되면서 신경망이 비선형성을 학습할 수 있게 되며, 단순 퍼셉트론으..

딥러닝(Deep Learning) 인공신경망(Artificial Neural Networks, ANN)을 기반으로 한 기계 학습(Machine Learning)의 한 분야 여러 층(layer)으로 구성된 신경망을 통해 데이터에서 중요한 특징을 자동으로 학습하고, 합습을 바탕으로 예측, 분류, 생성 등의 다양한 작업을 수행기존 머신러닝과 달리 특징 공학(feature engineering)과정이 필요 없이, 데이터로부터 직접 패턴을 학습 비선형 추론 가능 : 다층 구조를 활용해 복잡한 데이터의 패턴 학습 가능자동 특징 추출 : 별도의 특징 엔지니어링 없이도 데이터에서 유의미한 특징을 찾아낼 수 있음대용량 데이터 학습 : GPU연산을 활용하여 대량의 데이터를 빠르게 처리하고 학습 가능다양한 응용 가능 : 이..