분류 전체보기350

• [ML] 8. 하이퍼파라미터 튜닝(1) - 기본개념과 종류 1. 하이퍼파라미터와 파라미터 둘이 헷갈릴 수 있으니 잘 정리해두자. 하이퍼파라미터는 학습 전 사용자가 조정하는 값 파라미터는 결과 값이다. 2. 하이퍼파라미터 종류 1) 학습률 gradient 방향으로 얼마나 빠르게 이동할 것인지 결정하는 변수 2) 손실함수 입력에 따른 기대 값과 실제 값의 차이를 계산하는 함수 3) 정규화 파라미터 과적합을 회피하기 위해 L1 또는 L2 정규화 방법 사용 4) 미니 배치 크기 배치셋 수행을 위해 전체 학습 데이터를 등분하는(나누는) 크기 5) 훈련 반복 횟수 학습의 조기 종료를 결정하는 변수 6) 은닉층의 뉴런 개수 훈련 데이터에 대한 학습 최적화 결정 변수 7) 가중치 초기화 학습 성능에 대한 결정 변수 이 외에도 다양한 하이퍼 파라미터가 존재하고 가장 좋은 성능을.. 머신러닝과 딥러닝/ML 개념정리 2022. 11. 3.

• [TIL] 20221102 (수) 나는 오늘 무엇을 배웠는가? 1. 멋쟁이 사자처럼 AIS 7기 수업(파이썬, 오늘코드 박조은 강사님) 수강 전처리: 정규화, 이상치(제거 혹은 대체), 결측치(제거 혹은 대체), 인코딩 ✨ 데이터 셋의 유일값 확인 및 기타처리 train 데이터 셋 유일값 확인 set(train["변수"].unique()) - set(test["변수"].unique()) test 데이터 셋의 유일값 확인 set(test["변수"].unique()) - set(train["변수"].unique()) Q. 유일값 비교 후 train과 test 데이터 셋 중 한쪽에만 변수가 있는 경우 A. 기타로 처리해주는 것이 좋다. 기타로 예외처리를 할 때는 예외처리할 값을 처리하는 방식 보다는 남길 값들을 제외한 값들을 예외처리하는 것이.. 복습 및 회고/TIL 2022. 11. 2.

• [TIL] 20221101(화) 나는 오늘 무엇을 했는가? 1. 멋쟁이 사자처럼 AI스쿨 7기 수업(파이썬, 박조은 강사님) 수강 캐글 경진대회 참가하기 - competitions -> filters -> getting started로 시작할 것을 추천 - 파일 다운로드 받고 제출하는 방법 전처리 - 정규화 - 이상치 - 대체 - 인코딩(원핫인코딩, 바이너리 인코딩 등) 2. 천리길 스터디 과제 나는 오늘 무엇을 느꼈는가? 1. 학습용, 시험용 데이터 셋 구축할 때 변수명이 가끔씩 헷갈린다. 2. 반복되는 내용을 배우고 있어서 점점 이해를 하는 것 같다가도, 가끔씩 헷가리는 부분이 있는 것 같다. 3. 천리길 과제하면서 좀 많이 배운 것 같다.. 유익했던 시간이었다. 총 공부시간 11시간 09분 35초 - Codelion AIS 7: .. 복습 및 회고/TIL 2022. 11. 1.

• [TIL] 20221031(월) 나는 오늘 무엇을 배웠는가? 1. 멋쟁이 사자처럼 AI스쿨 7기 수업(파이썬, 박조은 강사님) 수강 - 회귀모델 성과평가지표, train_test_split, 하이퍼 파라미터 튜닝 2. 천리길 과제 나는 오늘 무엇을 느꼈는가? 1. 머신러닝 복습 철저히 해야겠다. 2. 왜이렇게 피곤할까.... 그래도 해내야한다 파이팅 총 공부시간 8시간 55분 36초 - AIS 7기 수업: 8시간 (09~18) - 그 외: 55분 36초 복습 및 회고/TIL 2022. 10. 31.

• [ML] 7. train/test 데이터 나누기, train_test_split 멋쟁이 사자처럼 AI 스쿨 7기 오늘코드 박조은 강사님의 수업자료 및 수업내용을 바탕으로 포스팅하였습니다. 1. 인덱스로 직접 나누기 1) 비율로 데이터 나누기 int(df.shpae[0] * 비율) 2) train, test 쪼개기 train = 데이터프레임[:int(df.shpae[0] * 비율)] test = 데이터프레임[int(df.shpae[0] * 비율):] 3) feature_names와 label_name 생성 feature_names: 학습과 예측에 사용할 컬럼 지정 label_name: 정답이자 예측해야 할 컬럼 지정 4) 학습, 예측 데이터 셋 생성 X_train: 기출문제 y_train: 기출문제 정답 X_test: 실전문제 y_test: 실전문제 정답 2. train_test_sp.. 머신러닝과 딥러닝/ML 개념정리 2022. 10. 31.

• [ML] 6. 회귀모델 성능평가지표, 분류모델 성능평가지표 멋쟁이 사자처럼 AI스쿨 7기 박조은 강사님의 수업내용 및 자료를 바탕으로 포스팅하였습니다. 1. MAE(Mean Absolute Error) (예측값 - 실제값)의 절대값에 대한 평균 2. MAPE(Mean Absolute Percentage Error) (실제값 - 예측값 / 실제값)의 절대값에 대한 평균 3. MSE(Mean Squared Error) (실제값 - 예측값)의 제곱의 평균 MAE와 비슷해 보이나 제곱을 통해 음수를 양수로 변환함 분산과 유사한 공식 4. RMSE(Root Mean Squared Error) MSE의 제곱근 표준편차와 유사한 공식 5. R^2 결정계수 1- (관측 값과 예측 값 차의 제곱합) / (관측 값과 측정값 전체 평균의 제곱 합) ✏️ MAE, MAPE, MSE,.. 머신러닝과 딥러닝/ML 개념정리 2022. 10. 31.

• [TIL] 20221030(일) 나는 오늘 무엇을 했는가? 1. 판다스 과제(타이타닉 EDA 연습) 2. 웹스크래핑 복습 - 주의사항, 기본개념, html 이해, requests 나는 오늘 무엇을 느꼈는가? 1. 오늘 많이 했어야 했는데, 많이 못해서 좀 속상하다... 총 공부시간 2시간 13분 27초 복습 및 회고/TIL 2022. 10. 30.

• [Python] 9. 웹스크래핑 (3) - read_html(), trange, time.sleep() 1. read_html pandas에는 html을 불러올 수 있는 read_html 함수가 있다. url = "url" table = pd.read_html(url) table[0] read_html을 사용하면 매우 편하지만, table 태그가 있어야만 가져올 수 있고 table 태그에 가져오고자 하는 내용이 있음에도 접근 권한 등의 설정으로 가져오지 못하는 경우가 있다. 이런 경우에는 requests를 사용하여 가져오면 된다. requests는 다른 게시글로 자세하게 설명하도록 하겠다. 2. trange from tqdm import trange for문을 활용하여 웹 스크래핑을 할 경우 range 대신 trange를 사용하면 진행상황을 막대로 볼 수 있다. (그러나, range 대신이기 때문에 반복문.. Python/개념정리 2022. 10. 30.

• [Python] 7. 웹스크래핑(1) - 기본개념, 주의사항 1. 웹스크래핑과 웹크롤링 정보를 수집하기 위한 목적을 가진 두 방법론 1) 웹 크롤링(web crawling) - 자동화 봇(웹 크롤러)이 웹을 돌아다니면서 정보를 수집하는 것이다. - 크롤러란 조직적, 자동화된 방법으로 월드와이드 웹을 탐색하는 컴퓨터 프로그램이다. - 크롤링은 크롤러가 하는 작업을 부르는 말로, 여러 인터넷 사이트의 페이지(문서, html 등)를 수집해서 분류하는 것이다. - 대체로 찾아낸 데이터를 저장한 후 쉽게 찾을 수 있게 인덱싱하며, 인터넷 상의 사이트를 인덱싱하는 목적을 가지고 있다. 2) 웹 스크래핑(web scraping) - 원하는 특정한 정보를 웹에서 추출하는 것이다. - HTTP를 통해 웹 사이트의 내용을 긁어다 원하는 형태로 가공하는 것으로 크롤링도 스크래핑에 포.. Python/개념정리 2022. 10. 30.

• [TIL] 20221029(토) 오늘 나는 무엇을 했는가? 1. ADsP 35회 시험 응시 2. 심평원 배포자료 공부(3단원 AI분석모형, 80P ~ 100P) - 최근접이웃 - 의사결정나부 - 랜덤포레스트 - 앙상블 3. 인공지능 세미나 시청 - 신백균 님 "정형 데이터를 다루는 머신러닝 문제해결 패턴" https://www.youtube.com/watch?v=b98H87BIrbo&t=140s 오늘 나는 무엇을 느꼈는가? 1. ADsP를 준비하면서 인공지능에 대해 본격적으로 배우기 전에 관련 내용을 먼저 공부해볼 수 있어서 좋았다. 2. 프로젝트와 자격증 준비로 미뤄뒀던 일을 하나씩 해치워보자! ※ 앞으로 해야할 일 미니프로젝트1, 2 정리 미드프로젝트 회고 및 스트림릿 실습 예습과제, 복습과제 천리길 스터디 과제 타블로 정리 총 공.. 복습 및 회고/TIL 2022. 10. 29.

• [TIL] 20221028(금) 나는 오늘 무엇을 했는가? 1. 멋쟁이 사자처럼 AI스쿨 7기 수업(타블로 special lecture) 수강 - 타블로 기본 사용방법 및 시각화 2. ADsP 자격증 공부 - 1~3과목 이론 재정리 - 기출문제 6회분 풀이 및 오답 나는 오늘 무엇을 느꼈는가? - 타블로는 굉장히 똑똑한 프로그램인 것 같다!! 지대로 배워두면 유용할 것 같다. - ADsP.. 합격할 수 있을까? 총 공부시간 15시간 11분 23초 - AIS: 8시간(09~18) - 그 외: 7시간 11분 23초 복습 및 회고/TIL 2022. 10. 28.

• [TIL] 20221027(목) 1. 나는 오늘 무엇을 했는가? - 멋쟁이사자처럼 AI스쿨 7기 수업 수강(인싸이트 데이) 오전: 으쌰으쌰팀 복습 / 주제: 머신러닝 - 회귀 오후: seaborn 복습, lmplot, scatterplot - 현업자 특장 - ADsP 공부하기 2과목, 3과목 이론 공부, 3.5 기출문제 풀기 2. 나는 오늘 무엇을 느꼈는가? - plot이 아직도 헷갈린다. 어떤 환경에서 어떤 plot을 그리는지 등등.. - 열심히 해서 plot의 왕이되자...! - seaborn 보다는 plotly가 좋은 것 같다. (이유: 더 예뻐서, 예쁘면 장땡이지 않을까?) - ADsP 큰일 난 것 같다.... ㅜㅜ 3. 총 공부시간 12시간 52분 37초 - AIS 7기 수업: 8시간(09~18) - 그 외: 4시간 52분 37초 복습 및 회고/TIL 2022. 10. 27.