머신러닝과 딥러닝/ML 개념정리21

• [ML] 10. 하이퍼파라미터 튜닝(3) - Random Search 주요 파라미터 Random search는 하이퍼파리미터의 최소/최대값 등으로 지정한 범위 내에서 랜덤으로 조합 후 샘플링하여 최적의 성능을 갖는 하이퍼파라미터가 무엇인지 탐색하는 하이퍼파라미터 튜닝 기법의 하나이다. 1. Random Search 주요 파라미터 1) estimator 주로 model, 알고리즘을 입력 2) param_distributions dict or list of dicts 형태로 입력, Random Search를 돌릴 파라미터 범위를 지정함 3) n_iter int 타입으로 입력, 샘플링 되는 하이퍼파라미터 수를 지정함 성능의 품질과 시간을 고려하여 입력하면 된다. ※ default = 10 4) scoring str, callable, list, tuple or dict 형태로 입력, 교차 검.. 머신러닝과 딥러닝/ML 개념정리 2022. 11. 3.

• [ML] 9. 하이퍼파라미터 튜닝(2) - Grid Search 주요 파라미터와 어트리뷰트 grid search는 이전 게시글에서 설명했듯이, 사용자가 지정한 범위 내에서 모든 경우의 수를 완전 탐색하여 최적의 하이퍼 파라미터가 무엇인지 탐색하는 하이퍼파라미터 튜닝 기법의 하나이다. 1. Grid Search 주요 파라미터 1) estimator 주로 model, 알고리즘을 입력 2) param_grid dict or list of dictionaries 형태로 입력, Grid Search를 돌릴 파라미터 범위를 지정함 3) scoring str, callable, list, tuple or dict ※ default = None 4) n_jobs 사용할 CPU 개수로 -1 입력 시 모든 CPU 사용 5) cv 교차 검증 시 분할할 조각의 수 ※ default = None 6) verbose .. 머신러닝과 딥러닝/ML 개념정리 2022. 11. 3.

• [ML] 8. 하이퍼파라미터 튜닝(1) - 기본개념과 종류 1. 하이퍼파라미터와 파라미터 둘이 헷갈릴 수 있으니 잘 정리해두자. 하이퍼파라미터는 학습 전 사용자가 조정하는 값 파라미터는 결과 값이다. 2. 하이퍼파라미터 종류 1) 학습률 gradient 방향으로 얼마나 빠르게 이동할 것인지 결정하는 변수 2) 손실함수 입력에 따른 기대 값과 실제 값의 차이를 계산하는 함수 3) 정규화 파라미터 과적합을 회피하기 위해 L1 또는 L2 정규화 방법 사용 4) 미니 배치 크기 배치셋 수행을 위해 전체 학습 데이터를 등분하는(나누는) 크기 5) 훈련 반복 횟수 학습의 조기 종료를 결정하는 변수 6) 은닉층의 뉴런 개수 훈련 데이터에 대한 학습 최적화 결정 변수 7) 가중치 초기화 학습 성능에 대한 결정 변수 이 외에도 다양한 하이퍼 파라미터가 존재하고 가장 좋은 성능을.. 머신러닝과 딥러닝/ML 개념정리 2022. 11. 3.

• [ML] 7. train/test 데이터 나누기, train_test_split 멋쟁이 사자처럼 AI 스쿨 7기 오늘코드 박조은 강사님의 수업자료 및 수업내용을 바탕으로 포스팅하였습니다. 1. 인덱스로 직접 나누기 1) 비율로 데이터 나누기 int(df.shpae[0] * 비율) 2) train, test 쪼개기 train = 데이터프레임[:int(df.shpae[0] * 비율)] test = 데이터프레임[int(df.shpae[0] * 비율):] 3) feature_names와 label_name 생성 feature_names: 학습과 예측에 사용할 컬럼 지정 label_name: 정답이자 예측해야 할 컬럼 지정 4) 학습, 예측 데이터 셋 생성 X_train: 기출문제 y_train: 기출문제 정답 X_test: 실전문제 y_test: 실전문제 정답 2. train_test_sp.. 머신러닝과 딥러닝/ML 개념정리 2022. 10. 31.

• [ML] 6. 회귀모델 성능평가지표, 분류모델 성능평가지표 멋쟁이 사자처럼 AI스쿨 7기 박조은 강사님의 수업내용 및 자료를 바탕으로 포스팅하였습니다. 1. MAE(Mean Absolute Error) (예측값 - 실제값)의 절대값에 대한 평균 2. MAPE(Mean Absolute Percentage Error) (실제값 - 예측값 / 실제값)의 절대값에 대한 평균 3. MSE(Mean Squared Error) (실제값 - 예측값)의 제곱의 평균 MAE와 비슷해 보이나 제곱을 통해 음수를 양수로 변환함 분산과 유사한 공식 4. RMSE(Root Mean Squared Error) MSE의 제곱근 표준편차와 유사한 공식 5. R^2 결정계수 1- (관측 값과 예측 값 차의 제곱합) / (관측 값과 측정값 전체 평균의 제곱 합) ✏️ MAE, MAPE, MSE,.. 머신러닝과 딥러닝/ML 개념정리 2022. 10. 31.

• [ML] 4. DecisionTree(결정트리) 멋쟁이 사자처럼 AI스쿨 7기 오늘코드 박조은 강사님의 강의자료 및 강의 내용을 바탕으로 포스팅하였습니다. 사이킷 런 - user guide - 1. supervised learning - 10번: tree 계열 사이킷 런 - user guide - 1. supervised learning - 11번: boost tree 계열 1. 결정 트리 학습법(decision tree learning) 어떤 항목에 대한 관측값과 목표값을 연결시켜주는 예측 모델로 결정 트리를 사용하는 학습법 위에서 확인할 수 있듯이 스무고개를 하는 것처럼 질문을 이어가며 학습하는 구조이며, 특정 기준에 따라 데이터를 구분하는 모델이 바로 Decision Tree이다. 질문이나 정담을 담은 상자(위 사진 속 마름모나 타원)를 노드라고.. 머신러닝과 딥러닝/ML 개념정리 2022. 10. 26.

• [ML] 3. 머신러닝 파이프라인, 전체과정 멋쟁이 사자처럼 AI스쿨 오늘코드 박조은 강사님의 수업자료 및 수업내용을 바탕으로 포스팅하였습니다. 1. 머신러닝의 파이프라인 1️⃣ EDA - 기본 탐색: info, describe, histplot, 결측치, 이상치, 희소값 확인 등 2️⃣ Data Preprocessing(데이터 전처리) 3️⃣ Feature Engineering: 피쳐를 어떻게 유용하게 만들 것인가?, 도메인 지식을 기반으로 피쳐를 변형, 생성하는 것 - feauture selection(target에 중요한 영향을 미치는 feature를 어떻게 선택할 것인가?) - feature extraction(차원축소 등을 통해 새로운 중요 피쳐를 추출) - feature transform & Scaling(피쳐 스케일링, 피쳐 정규분포화.. 머신러닝과 딥러닝/ML 개념정리 2022. 10. 26.

• [ML] 2. 머신러닝의 주요 4가지 알고리즘 멋쟁이 사자처럼 AI스쿨 7기 오늘코드 박조은 강사님의 수업자료 및 내용을 바탕으로 포스팅하였습니다. 1. 머신러닝의 주요 4가지 알고리즘 1) 분류: 범주형, 지도학습 2) 회귀: 수치형, 지도학습 3) 군집화: 범주형, 비지도학습 4) 차원축소: 수치형, 비지도학습 지도학습과 비지도학습의 차이는 정답유무이다. 정답이란 레이블이 되어 있는가를 의미한다. 위 4가지 중에서도 핵심은 분류와 회귀이다. 2. 지도학습의 알고리즘(분류와 회귀) 1) 선형회귀 분류 X, 회귀 O 2) 정규화 분류 X, 회귀 O 3) 로지스틱 회귀 분류 O, 회귀 X 4) 서포터 벡터 머신(SVM) 분류 O, 회귀 O 5) 커널 기법 적용 서포터 벡터 머신 분류 O, 회귀 O 6) 나이브 베이즈 분류 분류 O, 회귀 X 7) 랜덤.. 머신러닝과 딥러닝/ML 개념정리 2022. 10. 26.

• [ML] 1. 머신러닝과 딥러닝, 지도학습과 비지도학습, EIL, 사이킷런, 딥러닝 라이브러리 종류 멋쟁이 사자처럼 AI스쿨 7기 오늘코드 박조은 강사님의 수업내용 및 자료를 바탕으로 포스팅하였습니다. 1. 머신러닝과 딥러닝 머신러닝이란? 인공지능의 연구 분야 중 하나로 기계학습이라고도 한다. 인간의 학습 능력과 같은 기능을 컴퓨터에서 실현하고자 하는 기술 및 기법 딥러닝이란? 기계학습(머신러닝)의 한 분야로 컴퓨터가 사람처럼 생각하고 배울 수 있도록 하는 기술 신경망학습 등을 주로 다룬다. 즉 머신러닝과 딥러닝의 차이는 신경망 사용 여부라고 할 수 있다. 2. 지도학습과 비지도 학습 지도학습? 정답이 있는 학습 비지도학습? 정답이 없는 학습 즉 지도학습과 비지도학습을 구분하는 가장 큰 기준은 정답 유무이다. 정답은 target, label이라고도 하며, Nan 혹은 Null이면 정답이 없는 것이다. .. 머신러닝과 딥러닝/ML 개념정리 2022. 10. 26.