STUDY/부스트코스 - AI 엔지니어 기초 다지기 (20) 썸네일형 리스트형 [AI 엔지니어 기초 다지기] 19일차 [24.02.16] 5주차 23차시 - 최적화(2) Regularization : 학습에 규제를 걸어서 데이터 학습이 잘 되지 않도록 하는 것. 그렇게 함으로써 모델 혹은 방법론이 학습데이터에만 잘 동작하는 것이 아니라 테스트 데이터, 혹은 그 외의 데이터에 대해서도 잘 동작하도록 하는 것. 즉, Overfitting을 방지하는 것이 목적이다. 아래와 같이 다양한 방법이 있다. 1. Early Stopping - Test data가 아닌, 그 외의 데이터로 validation data set을 구축하고 해당 데이터셋에 대해서 error가 더 이상 줄어들지 않을 때에 학습을 종료하는 것. 말 그대로 조기 종료하는 것이다. n번의 epoch 학습 동안 모델 성능이 나아지지 않는다면 학습을 종료하는 방식으로 .. [AI 엔지니어 기초 다지기] 18일차 [24.02.15] 5주차 22차시 - 최적화(1) 최적화Optimization 기본 용어들 1. 일반화Generalization 1) 학습된 모델이 다른 새로운 데이터에 관해서도 잘 작동하도록 하는 것(How well the learned model will behave on unseen data). 학습 Iteratiion이 늘어남으로 인해 무조건 training error가 낮아진다고 해서 test error도 낮아진다는 보장이 없기 때문. 2) Generalization gap : 학습 데이터와 테스트 데이터의 에러 차이(성능차이). 이를 Generalization performance라고도 한다. 2. Underfitting vs Overfitting 1) 학습 데이터에 대해서는 잘 동작하지만(.. [AI 엔지니어 기초 다지기] 17일차 [24.02.14] 5주차 21차시 - 딥러닝 기초(2) Neural Networks : 처음엔 인간의 뇌가 동작하는 방식을 모방한 컴퓨팅 시스템이었으나, 요즘 들어서는 인간 뇌의 동작 방식과 굉장히 많이 달라져 있음. 즉, 다시 정의하자면, 이 정도로 정의할 수 있겠다. Neural networks are function approximators that stack affine transformations followed by nonlinear transformations. 가장 간단한 NN을 보자면, Linear Neural Networks가 있을 수 있다. Linear Neural Networks 이런 신경망Neural Network을 여러 층을 쌓는 것이 딥러닝Deep Learning인데, 그냥 .. [AI 엔지니어 기초 다지기] 16일차 [24.02.13] 5주차 20차시 - 딥러닝 기초(1) 딥러닝?? 1. 딥러닝의 위치는?? 인간 지능을 모방하는 A.I. -> 데이터 기반으로 학습하는 Machine Learning -> 학습에 Neural Network 모델을 사용하는 Deep Learning 2. 딥러닝의 4가지 key components (1) 데이터 : The Data that the model can learn from) (2) 모델 : The model how to transform the data) (3) 손실함수 : The loss function that quantifies the badness of the model) (4) (최적화)알고리즘 : The algorithm to adjust the parameters t.. [AI 엔지니어 기초 다지기] 15일차 24.02.09 4주차 19차시 - 베이즈 통계학 맛보기 조건부 확률 1) 조건부확률 $P(A|B)$ : 사건 $B$가 일어난 상황에서 사건 $A$가 발생할 확률. 즉 말 그대로 특정 조건 하에서의 확률을 말함. 2) 베이즈 정리는 조건부 확률을 이용해서 정보를 갱신하는 방법을 알려준다. 좀 더 풀어서 설명하자면, 1. $A$라는 새로운 정보가 주어졌을 때 2. $B$가 발생할 확률 $P(B)$로부터 3. $A$가 발생했을 때 $B$가 발생할 조건부 확률을 계산할 수 있고, 4. 이를 베이즈 정리라 한다. 3) 베이즈 정리의 예 1. $D$ : 새로 관찰한(나타난) 데이터 2. $\theta$ : 모수 3. $P(\theta | D)$ : 사후확률$posterior$ $probability$. 데이터가 .. [AI 엔지니어 기초 다지기] 14일차 [24.02.07] 4주차 18차시 - 통계학 맛보기 모수Population Parameter 1. 통계적 모델링의 목표는 적절한 가정 위에서 확률분포를 추정inference하는 것 2. 이는 기계학습과 통계학의 공통 목표이기도 하다. 3. 그러나 유한한 개수의 데이터만 관찰해서 모집단의 확률분포를 정확하게 알아내는 것은 불가능. => 근사적으로 확률분포 추정함 => 예측 모형의 목적은 정확한 분포를 맞추는 것 보단 데이터와 추정 방법의 불확실성을 고려해서 예측의 위험을 최소화 하는 것 정도면 충분하기 때문. 3-1. 모수적parametric 방법 : 데이터가 특정 확률분포를 따른다고 선험적으로priori 가정한 후, 해당 분포를 결정하는 모수를 추정하는 방법. ex) 정규분포의 경우 평균과 분산이 중요.. [AI 엔지니어 기초 다지기] 13일차 [24.02.06] 4주차 17차시 - 확률론 맛보기 딥러닝에 확률론이 필요한 이유? 1. DL은 확률론 기반의 기계학습 이론에 바탕을 두고 있기 때문 1-1. 기계학습에서 사용되는 손실함수(비용함수)의 작동 원리는 데이터공간을 통계적으로 해석하는 것에서 시작. 1-2. 회귀분석에서 손실함수로 사용되는 L2 norm은 예측오차의 분산을 가장 최소화하는 방향으로 학습하도록 유도함. 1-3. 분류 문제에서 사용되는 교차엔트로피Cross-entropy는 모델 예측의 불확실성을 최소화하는 방향으로 학습하도록 유도함. 1-4. 분산과 불확실성을 최소화 하기 위해서는, 이들을 측정하는 방법을 알아야 하고, 해당 측정 방법은 통계학으로부터 나온다. 즉, 기계학습을 이해하려면 확률론을 알아야 한다! 데이터 공간 - 말.. [AI 엔지니어 기초 다지기] 12일차 [24.01.31] 3주차 16차시 - 딥러닝 학습방법 이해하기 선형 모델을 간단하게 표시해보면... 대략 아래와 같다. 이는, d개의 변수로 p개의 선형모델을 만들어 p개의 잠재변수를 설명하는 모델이라 볼 수 있다. 최종 출력 벡터인 O에 softmax 함수를 합성하면, 주어진 데이터가 특정 클래스 k에 속할 확률을 구할 수 있는데, 이를 분류문제라고 부른다. 그런데, softmax함수가 뭐지?? Softmax 함수 - 모델의 출력을 확률로 해석할 수 있게 변환해 주는 연산(함수)이다. 위에서 언급했듯, 분류 문제를 풀 때 선형모델과 softmax 함수를 결합해 사용한다. - 하지만, 추론인 경우엔 softmax를 쓰지 않는다! (참고) One-Layer NN(Nerual Network) - 신경망 =.. 이전 1 2 3 다음
