if(life){code();}

사전 학습 (Pre-training) 대규모 일반 텍스트 데이터로 언어의 패턴과 구조를 학습하는 과정 방대한 데이터셋 사용 (예: 위키백과, 북 코퍼스)특정 작업(X) 일반적인 언어 이해(O) 예:BERT 사전 학습MLM(Masked Lanuage Modeling): 일부 단어를 가리고 예측NSP (Next Sentence Prediction): 문장 간 자연스러운 연결 예측  파인 튜닝 (Fine-tuning) 사전 학습된 모델을 특정 작업(예: 감정 분석)에 맞게 추가 학습 특정 태스크에 맞춘 미세 조정적은 데이터로도 효과적사전 학습된 가중치를 기반으로 빠른 수렴 가능   IMDb 영화 리뷰 감정 분석*IMDb(Internet Movie Database)영화 리뷰를 바탕으로 만든 이진 감정 분석용 데..

행복하다06:30 취침 12:30 기상봄이됐다. 아침에 환기시킬 때는 진짜진짜 꽃이 안폈는데, 그래서 내일 즈음 필 줄 알았는데 저녁에 쿠키랑 이브가 자꾸 바깥을 보길래 나도 같이 보니까 꽃이 폈다.ResNet18에 transformer layer하나 추가해서 hybrid모델 만듦 CIFAR100데이터셋도 추가로 학습시켰다.근데 성능이 거지같다.잠이안온다.조금이라도 좋아지라고ㅡㅡ샤워도안하고요가도안하고물도안먹었다저녁도 안먹고싶다. ㅋㅋㅋㅋㅋ 다쓰고 처음부터 읽어보는데ㅋ처음과 끝이 다르노..아무튼 하고싶은것만 하면서 사는 삶이라 행복하긴 함

Hugging Face의 Transformers 라이브러리를 사용해 NLP 모델을 활용실습감정 분석텍스트 생성번역문장 임베딩*Transformers 라이브러리Hugging Face에서 개발한 오픈소스 라이브러리다양한 사전학습(pretrained)된 NLP 모델 제공텍스트 생성, 번역, 감정 분석, 문장 분류 등 다양한 작업 지원pipeline()을 통해 복잡한 과정을 한 줄로 해결 가능   텍스트 생성 : GPT-2 OpenAI에서 개발다음 문장을 예측하고 생성하는 데 특화된 모델 from transformers import pipeline# GPT-2 기반 텍스트 생성 파이프라인 로드generator = pipeline("text-generation", model="gpt2")# 텍스트 생성result..

APIhttps://s2bibiprincess.tistory.com/92 APIAPI(응용 프로그램 인터페이스, Application Programming Interface) 소프트웨어 간의 상호 작용을 가능하게 하는 도구, 정의 및 프로토콜의 집합  API는 서로 다른 소프트웨어 시스템이나 애플리케이션s2bibiprincess.tistory.com  API 사용의 장점과 단점장점간편한 사용: 복잡한 AI 모델 구현 없이 사용 가능빠른 개발: 빠르게 기능 구현 → MVP, 프로토타입 제작에 유리유연한 확장: 다양한 API 조합으로 복합 기능 가능단점비용 부담: 사용량에 따라 비용 증가제한된 커스터마이징: API가 제공하는 기능만 사용 가능외부 의존성: API 중단 시 서비스 전체에 영향 API 사용 시 ..

써보고싶은 AI 오픈소스 프로젝트 모음 DeepArt – AI로 그림 그리기 사진을 입력하면 AI가 유명 화가 스타일로 변환해주는 프로젝트딥러닝 기반 스타일 트랜스퍼(Style Transfer) 기술 사용 → 사진을 Monet, Van Gogh 스타일로 변환  OpenAI Gym – 강화학습 연습장 게임이나 시뮬레이션 환경에서 AI 에이전트를 훈련할 수 있는 도구 모음강화학습 실습을 위한 표준 라이브러리 → 스네이크 게임을 만들고, AI가 스스로 게임 규칙을 익혀서 플레이하게 해보기  Mozilla Common Voice – 음성 인식 데이터셋 구축 누구나 참여 가능한 음성 데이터 수집 프로젝트음성 인식 모델 학습을 위한 공개 데이터셋 제공 → 내 목소리를 녹음하고, 나만의 음성비서 만들기  Scikit..

허깅페이스(Hugging Face) 자연어 처리(NLP) 중심의 라이브러리와 수천 개의 사전학습 모델을 제공하는 플랫폼 대화형 AI(챗봇)을 만드는 스타트업으로 출발 → 현재 AI 오픈소스 생태계를 선도하는 커뮤니티로 성장 2016년 프랑스에서 설립현재 뉴욕과 파리에 본사를 두고 있음AI 오픈소스 생태계 확장에 기여하며, GPT, T5 등 다양한 대규모 모델을 쉽게 접할 수 있도록 도움 허깅페이스라는 이름은 '🤗' 이모지에서 따옴따뜻하고 친근한 느낌을 주기 때문에, 어려운 AI 기술도 누구나 쉽게 다가갈 수 있도록 하겠다는 뜻을 담고 있음 Transformers 라이브러리BERT, GPT, T5, RoBERTa 등 유명 NLP 모델들을 쉽게 불러와 사용할 수 있도록 도와주는 Python 라이브러리PyT..

행복!!!!!!!!!!!ResNet18 dropout까지 넣고 version2만들었다. 테스트셋 돌린거 성능 89프로 후반대까지 올라버려서 놀랐다.04:30 취침 12:00 기상봄기운이 완연해서 집에 있는 온 창문을 다 열어도 춥지 않았다.이브는 놀이터에 놀러나온 아가들을 구경하는데 쿠키는 아직 유리를 타지 않은 날것의 바깥소리가 익숙치 않아서 그런지 이불속에 숨어있다.딥러닝 강의 다 뽀사버렸다.폭싹 속았수다 틀어놓고 쫌쫌따리 하니까 빨리 끝났다.배탈이 난 것 같다.ㅠㅠ새벽에 아이스크림이 먹고싶어서 아이스크림 두숟가락 먹어서 그런가 하여튼 샤워도안하고 요가도 안하고 물 한컵마셨다.

모델 구축 및 학습 (Model Building & Training) 신경망 기본 구조torch.nn.Module: 모든 신경망 모델의 기본 클래스import torch.nn as nnclass MyModel(nn.Module): def __init__(self): super().__init__() self.layer = nn.Linear(10, 20) def forward(self, x): return self.layer(x) 손실 함수 (Loss Function)분류CrossEntropyLossloss = nn.CrossEntropyLoss()회귀MSELossloss = nn.MSELoss()  최적화 알고리즘 (Optimizers)optimizer =..

교차검증 (Cross-Validation) 데이터를 반복적으로 나누어 모델의 일반화 성능을 평가하는 기법과적합을 방지하고 새로운 데이터에 대한 예측 능력을 검증 가능 과적합 방지: 모델이 특정 데이터셋에 의존하는 것을 막음일반화 성능 측정: 새 데이터에 대한 예측 능력 평가데이터 효율성: 적은 데이터로도 학습과 평가가 가능*과적합(Overfitting): 학습 데이터에는 성능이 좋지만, 새로운 데이터에는 성능이 낮은 경우   K-Fold 교차검증전체 데이터를 K개의 폴드(fold)로 나눔각 Fold가 한번씩 검증용으로 사용되고 나머지는 학습용으로 사용총 K번 학습 및 평가를 수행 후, 그 평균을 최종 성능으로 평가 K-Fold 교차검증의 평균 정확도 𝔄 = (A₁ + A₂ + … + Aₖ) / K 𝔄..

하이퍼파라미터(Hyperparameter) 모델 학습 이전에 사용자가 직접 설정해야 하는 값모델 구조나 학습 과정에 관여하여 모델 성능에 직접적인 영향을 미치는 요소로, 적절한 값의 설정이 중요 *파라미터(Parameter)학습을 통해 자동결정되는 값예: 가중치, 편향 등  주요 하이퍼파라미터 학습률 (Learning Rate)손실 함수의 기울기를 얼마나 반영할지를 결정하는 계수 (모델의 가중치를 업데이트하는 속도 결정)학습률이 너무 크면 발산할 수 있고, 너무 작으면 수렴이 느려짐→ 학습률이 너무 크면 불안정, 너무 작으면 학습이 느려짐 wₜ₊₁ = wₜ - η · ∇L(wₜ) η (eta): 학습률추천 값: 0.1, 0.01, 0.001 등 배치 크기 (Batch Size) 한 번의 가중치 업데이트에..