⊢ AI 모델 활용 16

사전 학습과 파인 튜닝

사전 학습 (Pre-training) 대규모 일반 텍스트 데이터로 언어의 패턴과 구조를 학습하는 과정 방대한 데이터셋 사용 (예: 위키백과, 북 코퍼스)특정 작업(X) 일반적인 언어 이해(O) 예:BERT 사전 학습MLM(Masked Lanuage Modeling): 일부 단어를 가리고 예측NSP (Next Sentence Prediction): 문장 간 자연스러운 연결 예측  파인 튜닝 (Fine-tuning) 사전 학습된 모델을 특정 작업(예: 감정 분석)에 맞게 추가 학습 특정 태스크에 맞춘 미세 조정적은 데이터로도 효과적사전 학습된 가중치를 기반으로 빠른 수렴 가능   IMDb 영화 리뷰 감정 분석*IMDb(Internet Movie Database)영화 리뷰를 바탕으로 만든 이진 감정 분석용 데..

Hugging Face와 Transformers 라이브러리로 살펴본 NLP 모델들

Hugging Face의 Transformers 라이브러리를 사용해 NLP 모델을 활용실습감정 분석텍스트 생성번역문장 임베딩*Transformers 라이브러리Hugging Face에서 개발한 오픈소스 라이브러리다양한 사전학습(pretrained)된 NLP 모델 제공텍스트 생성, 번역, 감정 분석, 문장 분류 등 다양한 작업 지원pipeline()을 통해 복잡한 과정을 한 줄로 해결 가능   텍스트 생성 : GPT-2 OpenAI에서 개발다음 문장을 예측하고 생성하는 데 특화된 모델 from transformers import pipeline# GPT-2 기반 텍스트 생성 파이프라인 로드generator = pipeline("text-generation", model="gpt2")# 텍스트 생성result..

API(Application Programming Interface)로 인공지능 활용하기

APIhttps://s2bibiprincess.tistory.com/92 APIAPI(응용 프로그램 인터페이스, Application Programming Interface) 소프트웨어 간의 상호 작용을 가능하게 하는 도구, 정의 및 프로토콜의 집합  API는 서로 다른 소프트웨어 시스템이나 애플리케이션s2bibiprincess.tistory.com  API 사용의 장점과 단점장점간편한 사용: 복잡한 AI 모델 구현 없이 사용 가능빠른 개발: 빠르게 기능 구현 → MVP, 프로토타입 제작에 유리유연한 확장: 다양한 API 조합으로 복합 기능 가능단점비용 부담: 사용량에 따라 비용 증가제한된 커스터마이징: API가 제공하는 기능만 사용 가능외부 의존성: API 중단 시 서비스 전체에 영향 API 사용 시 ..

GitHub의 Open Project로 AI 활용하기

써보고싶은 AI 오픈소스 프로젝트 모음 DeepArt – AI로 그림 그리기 사진을 입력하면 AI가 유명 화가 스타일로 변환해주는 프로젝트딥러닝 기반 스타일 트랜스퍼(Style Transfer) 기술 사용 → 사진을 Monet, Van Gogh 스타일로 변환  OpenAI Gym – 강화학습 연습장 게임이나 시뮬레이션 환경에서 AI 에이전트를 훈련할 수 있는 도구 모음강화학습 실습을 위한 표준 라이브러리 → 스네이크 게임을 만들고, AI가 스스로 게임 규칙을 익혀서 플레이하게 해보기  Mozilla Common Voice – 음성 인식 데이터셋 구축 누구나 참여 가능한 음성 데이터 수집 프로젝트음성 인식 모델 학습을 위한 공개 데이터셋 제공 → 내 목소리를 녹음하고, 나만의 음성비서 만들기  Scikit..

허깅페이스(Hugging Face)

허깅페이스(Hugging Face) 자연어 처리(NLP) 중심의 라이브러리와 수천 개의 사전학습 모델을 제공하는 플랫폼 대화형 AI(챗봇)을 만드는 스타트업으로 출발 → 현재 AI 오픈소스 생태계를 선도하는 커뮤니티로 성장 2016년 프랑스에서 설립현재 뉴욕과 파리에 본사를 두고 있음AI 오픈소스 생태계 확장에 기여하며, GPT, T5 등 다양한 대규모 모델을 쉽게 접할 수 있도록 도움 허깅페이스라는 이름은 '🤗' 이모지에서 따옴따뜻하고 친근한 느낌을 주기 때문에, 어려운 AI 기술도 누구나 쉽게 다가갈 수 있도록 하겠다는 뜻을 담고 있음 Transformers 라이브러리BERT, GPT, T5, RoBERTa 등 유명 NLP 모델들을 쉽게 불러와 사용할 수 있도록 도와주는 Python 라이브러리PyT..

AI 활용에 대한 이해: 연구와 활용의 차이

AI 연구 vs.  AI 활용  AI 연구AI 활용목적새로운 알고리즘, 모델 개발기존 AI를 활용한 문제 해결필요 역량수학, 이론, 모델, 구조에 대한 깊은 이해모델 사용법, 실용적 적용 능력예시새로운 음성 인식 알고리즘 개발음성 비서를 만드는 앱 개발→ 연구 : AI의 '뿌리'를 만드는 일, 활용 : AI 연구의 '열매'를 가져다 쓰는 일  AI 활용 도구: API, 사전 학습 모델 API (Application Programming Interface) 복잡한 AI 기능을 인터페이스 형태로 제공직접 모델을 만들지 않아도, AI 기능을 바로 사용 가능 Google Vision API → 이미지를 분석해 객체 인식 가능OpenAI GPT API → 입력한 문장을 바탕으로 자연어 생성https://s2bib..

728x90