NLP 3

Hugging Face와 Transformers 라이브러리로 살펴본 NLP 모델들

Hugging Face의 Transformers 라이브러리를 사용해 NLP 모델을 활용실습감정 분석텍스트 생성번역문장 임베딩*Transformers 라이브러리Hugging Face에서 개발한 오픈소스 라이브러리다양한 사전학습(pretrained)된 NLP 모델 제공텍스트 생성, 번역, 감정 분석, 문장 분류 등 다양한 작업 지원pipeline()을 통해 복잡한 과정을 한 줄로 해결 가능   텍스트 생성 : GPT-2 OpenAI에서 개발다음 문장을 예측하고 생성하는 데 특화된 모델 from transformers import pipeline# GPT-2 기반 텍스트 생성 파이프라인 로드generator = pipeline("text-generation", model="gpt2")# 텍스트 생성result..

허깅페이스(Hugging Face)

허깅페이스(Hugging Face) 자연어 처리(NLP) 중심의 라이브러리와 수천 개의 사전학습 모델을 제공하는 플랫폼 대화형 AI(챗봇)을 만드는 스타트업으로 출발 → 현재 AI 오픈소스 생태계를 선도하는 커뮤니티로 성장 2016년 프랑스에서 설립현재 뉴욕과 파리에 본사를 두고 있음AI 오픈소스 생태계 확장에 기여하며, GPT, T5 등 다양한 대규모 모델을 쉽게 접할 수 있도록 도움 허깅페이스라는 이름은 '🤗' 이모지에서 따옴따뜻하고 친근한 느낌을 주기 때문에, 어려운 AI 기술도 누구나 쉽게 다가갈 수 있도록 하겠다는 뜻을 담고 있음 Transformers 라이브러리BERT, GPT, T5, RoBERTa 등 유명 NLP 모델들을 쉽게 불러와 사용할 수 있도록 도와주는 Python 라이브러리PyT..

어텐션(Attention) 메커니즘

Attention 메커니즘 시퀀스 데이터에서 중요한 부분에 더 많은 가중치를 할당하여 정보를 효율적으로 처리하는 기법주로 자연어 처리(NLP) 및 시계열 데이터에서 사용되며, 기계 번역, 요약, 질의응답 시스템 등에 적용됨  동작 방식 기본 개념입력 시퀀스의 각 요소에 대해 중요도를 계산하여 가중치를 부여불필요한 정보를 무시하고 중요한 정보 강조 주요 구성 요소 : Query(Q), Key(K), Value(V)  1. Attention 스코어 계산 Query와 Key 간의 유사도를 측정하여 중요도를 계산일반적으로 내적(dot product) 연산을 사용하여 유사도를 계산함𝓢(Q, K) = Q · K^T  2. Softmax를 통한 가중치 계산 Attention 스코어를 Softmax 함수로 정규화하여..

⊢ DeepLearning 2025.03.20
728x90