if(life){code();}

텐서  다차원 데이터를 표현하기 위한 기본 단위다차원 배열로 스칼라, 벡터, 행렬을 일반화한 개념   차원(Dimension) 및 랭크(Rank)0차 텐서 : 스칼라1차 텐서 : 벡터2차 텐서 : 행렬n차 텐서 : n-차원 배열*텐서의 차원을 랭크(rank)라고 함  기본 연산덧셈과 뺄셈 : 동일한 차원의 텐서끼리 요소별 연산스칼라 곱 : 텐서의 각 요소에 스칼라를 곱함내적(Dot Product) : 두 벡터 간의 내적 또는 일반화된 차원 축약외적(Cross Product) : 벡터 간의 외적, 일반적으로 3D 벡터에 적용요소별 곱(Element-wise Product) : 같은 모양의 텐서끼리 대응되는 요소의 곱텐서를 사용하면 복잡한 다차원 데이터를 효율적으로 표현하고 조작 가능딥러닝에서는 대규모 데이..

최적화 기법 머신러닝과 딥러닝에서 모델의 성능을 극대화하고, 목적 함수의 값을 최소화(또는 최대화)하는 기법 경사 하강법(Gradient Descent)목적 함수의 기울기(Gradient)를 활용해 함수의 최소값을 찾는 반복적인 최적화 알고리즘  동작 원리목적 함수의 기울기를 계산기울기의 반대 방향으로 학습률(learning rate)에 비례해 이동1, 2 과정을 반복하며 최소값에 수렴 ⇒ 학습률(step size)을 통해 각 반복에서 얼마나 이동할지 결정 *learning rate : 설정된 상수값경사 하강법에서 사용되는 하이퍼파라미터각 반복(iteration)마다 가중치를 얼마나 변경할지 결졍하는 상수보통 eta로 표시, 모든 파라미터 업데이트에서 동일하게 적용→일정한 크기의 이동을 의미 *step ..

고유값과 고유벡터 고유값 : 변형 강도고유벡터 : 특별한 방향 행렬이 어떤 "변환"을 할 때, 변하지 않는 핵심적인 특징을 찾아주는 도구 고유값 분해(Eigenvalue Decomposition) 정방행렬을 고유값과 고유벡터를 통해 분해하는 방법행렬의 구조적 정보를 추출, 계산 단순화 정의Av = λv 형태의 방정식을 만족하는 값과 벡터:λ (고유값) : 행렬이 특정 방향으로 벡터를 변형할 때의 스케일v (고유벡터) : 행렬 작용 후에도 방향이 변하지 않는 벡터고유값 분해의 수식적 표현행렬 A를 다음과 같이 분해:A = PDP⁻¹P: 고유벡터를 열로 갖는 행렬D: 고유값을 대각 원소로 갖는 대각행렬고유값 분해는 행렬의 거듭제곱, 지수함수 등을 계산하는 데 유용 활용행렬 계산 최적화Aⁿ = PDⁿP⁻¹ :..

선형 변환(linear transformation) 벡터 공간의 구조를 보존하는 함수  덧셈에 대한 선형성T(u + v) = T(u) + T(v)u, v는 벡터스칼라 곱에 대한 선형성T(cu) = cT(u)c는 스칼라, u는 벡터→ 선형 변환은 이 두 가지 속성을 만족함   기하학적 해석회전(rotation) : 벡터를 기준축을 중심으로 회전확대/축소(scaling) : 벡터의 크기를 조정전단(shear) : 벡터의 모양을 비틀어 변형→ 선형 변환은 다음의 가하학적 변환을 포함 * 원점은 항상 원점으로 변환함 행렬로 표현되는 선형 변환 모든 선형 변환은 행렬로 표현할 수 있음n차원 벡터 공간에서 m차원 벡터 공간으로의 선형 변환은 m x n 크기의 행렬 A로 나타냄변환된 벡터는 원래 벡터와 변환 행렬의 ..

행렬식과 역행렬 행렬식 계산 방법행렬식(Determinant)은 정방행렬에 대해 정의되는 스칼라 값, 행렬의 중요한 특성을 나타냄선형 변환의 부피 변화율 기하학적으로 행렬식은 해당 행렬이 나타내는 선형 변환에서 변환된 공간의 부피 변화를 나타냄예 ) 2x2행렬의 행렬식이 2라면, 변환 후 부피는 변환 전 부피의 2배가 됨2x2 행렬 A = [[a, b], [c, d]]의 행렬식은 ad - bc더 큰 행렬의 경우 여인자 전개나 가우스 소거법을 통해 계산행렬식이 0이 아닌 경우에만 해당 행렬의 역행렬이 존재함( == 역행렬의 존재 조건 : 행렬식이 0인 경우 행렬은 비가역적(Singular)이며, 역행렬이 존재하지 않음)  역행렬 개념과 계산 역행렬(Inverse Matrix)  A⁻¹은 원래 행렬 A와 곱..

행렬 숫자를 직사각형 배열로 나타낸 것  m x n 행렬m개의 행(row)과 n개의 열(column)로 구성 정방행렬행과 열의 수가 같은 행렬 대각행렬주대각선(왼쪽 위에서 오른쪽 아래 방향) 외의 원소가 모두 0인 행렬 단위행렬주대각선의 원소가 1이고, 나머지 원소가 0인 특별한 대각행렬 대칭행렬전치행렬과 자신이 같은 행렬(A = Aᵀ)  행렬 연산 덧셈과 뺄셈같은 크기의 행렬에서 원소별로 수행 스칼라 곱행렬의 모든 원소에 스칼라(숫자)를 곱함 행렬 곱셈(m x n) 행렬과 (n x p) 행렬의 곱은 (m x p) 행렬 전치행과 열을 바꾸는 연산  머신러닝에서의 활용 선형 회귀 (Linear Regression)입력 데이터 (X)와 가중치 행렬 (W)의 곱을 통해 예측 (Y)을 수행Y = X•W 합성곱 ..

벡터 공간의 성질 벡터 공간은 다음 10가지 공리로 정의: (1) 벡터의 덧셈과 성질 • 덧셈의 닫힘성: 벡터 공간의 두 벡터를 더하면 결과도 벡터 공간에 속해야 한다. • 덧셈의 교환법칙: 벡터를 더하는 순서는 결과에 영향을 주지 않는다.  • 덧셈의 결합법칙: 벡터를 세 개 더할 때, 괄호의 위치를 바꿔도 결과는 같다. • 영벡터의 존재: 벡터 공간에는 덧셈에 대해 항등원이 되는 특별한 벡터(영벡터)가 존재해야 한다. • 덧셈 역원의 존재: 각 벡터 u에 대해 -u라는 역벡터가 존재해야 하며, 이 두 벡터를 더하면 영벡터가 된다.                              → u + (-u) = 0 (2) 스칼라 곱과 성질 • 스칼라 곱의 닫힘성: 벡터 공간의 벡터에 실수(스칼라)를 곱한 결..

벡터 크기와 방향을 모두 가진 양수학적으로는 순서가 있는 숫자의 집합으로 표현됨n차원 공간에서 점으로 해석될 수 있음예) 3차원 벡터 [1,2,3][1,2,3]은 3차원 공간에서 특정 점을 나타냄덧셈, 스칼라 곱, 내적 등의 연산이 정의됨-> 이러한 연산을 통해 벡터 간의 관계를 탐구하거나 조작할 수 있음물리학에서는 힘, 속도, 가속도와 같은 물리량을 표현하는 데 사용됨예) 크기와 방향을 가진 속도를 벡터로 나타냄컴퓨터 과학에서는 데이터 포인트, 이미지 픽셀 배열, 특성 벡터등으로 사용됨  머신러닝과 딥러닝에서 벡터의 역할고차원 표현머신러닝 모델에서는 특성 벡터로 데이터 포인트를 나타냄예) SVM(Support Vector Machine)은 데이터를 고차원 벡터로 변환해 분류 경계를 찾음워드 임베딩NLP..

스칼라 크기만을 가진 단일 값수학과 물리학에서 기본적인 개념단일 숫자로 표현됨물리적 단위를 가질 수 있음(kg, ℃)주로 실수로 표현되지만, 복소수나 정수일 수도 있음길이, 질량, 온도, 시간 등데이터 분석과 머신러닝에서 개별 특성값이나 모델 파라미터로 자주 사용됨 스칼라 값이 활용되는 방식(스칼라 값을 모델이나 알고리즘에서 사용하는 방법)모델의 편향(bias) : 신경망에서 각 뉴런의 출력값에 더해지는 단일 숫자활성화 함수의 임계값 : 뉴런이 활성화되기 위한 기준값특성값 : 키(170cm)나 나이(30세) 같은 단일 데이터-> 단일 특성 분석 - 평균, 표준편차 등의 통계적 분석에 사용-> 모델 파라미터 최적화 - 머신러닝 모델의 가중치(weight)와 편향(bias)는 스칼라 값으로 표현됨 예 : 신..