전체 글198 [AI 부트캠프] DAY 57 - 머신러닝 프로젝트 1 [오늘의 일지] 머신러닝 프로젝트 - 조편성, 주제선정, 대회 파악하기, 데이터 파악하기, 베이스라인 [상세 내용] 머신러닝 프로젝트 조편성 - 조편성은 기존 프로젝트에서는 선호도를 조사해서 랜덤 하게 편성되는 구조를 가지고 있었는데 이번에는 사전에 마음이 맞는 사람끼리 조를 미리 구성해도 된다고 공지를 해줬습니다. 저는 처음에는 그냥 새로운 사람들과 그냥 해보자는 생각이었는데 마침 감사하게도 전에 EDA 프로젝트를 같이했던 조원분께서 먼저 이번에도 같이 해보자고 권해주셔서 두 명이서 같이 하게 되었습니다. 지난 프로젝트 때 좋은 경험을 했기 때문에 이번 조편성도 기분 좋게 출발할 수 있었던 거 같습니다. 주제선정 - 주제는 총 6개가 있었습니다. 캐글 대회 3개와 데이콘 대회 3였는데 캐글에서는 현재 .. 2023. 10. 12. [AI 부트캠프] DAY 56 - 머신러닝 11 [오늘의 일지] 머신러닝 실시간 강의 - 예측 모델 개발 및 적용(성능 평가), 머신러닝 프로젝트 OT [상세 내용] ML PJT Workflow 예측 모델 개발 및 적용 성능 평가 대표적인 분류 모델 평가 지표 - 기준을 predicted로 잡고 판단을 기준으로 positive와 negative를 설정하고 실제와 비교하여 true와 false를 결정한다. 아래의 표에 대한 자세한 설명은 지난 학습일지에 자세하게 나와 있습니다. [AI 부트캠프] DAY 47 - 머신러닝 2 [오늘의 일지] 머신러닝 녹화 강의 - 머신러닝을 위한 개념 수업 (Classification) [상세 내용] 머신러닝을 위한 개념 Classification - Classification(분류)은 머신 러닝 및 통계 분석의 하위 분.. 2023. 10. 11. [AI 부트캠프] DAY 55 - 머신러닝 10 [오늘의 일지] 머신러닝 실시간 강의 - 예측 모델 개발 및 적용 [상세 내용] ML PJT Workflow 예측 모델 개발 및 적용 예측 모델 개발 과정 규칙 → 통계 → ML → DL 모델 학습 및 평가 주어진 데이터로 모델을 학습시키는 것은 지정한 성능 평가 지표를 향상시키는 과정입니다. 데이터를 학습 데이터와 검증 및 테스트 데이터로 나누는 과정이 필요합니다. 정량적 기준을 설정하고, 달성할 때까지 모델을 학습시키고 성능을 개선합니다. 목표한 성능에 도달한 모델을 실제 서비스에 적용합니다. 모델 성능 개선 전략 Main Skills for Data Scientist Hyper-parameter tuning Grid Search vs Random Search - Random Search를 사용하면 .. 2023. 10. 7. [AI 부트캠프] DAY 54 - 머신러닝 9 [오늘의 일지] 머신러닝 실시간 강의 - 데이터 분석 문제 정의 (Boosting 마무리), 데이터 수집 및 정제, 탐색적 데이터 분석, 피처 엔지니어링 [상세 내용] 데이터 분석 문제 정의 CatBoost (CAT) kaggle 같은 실전 데이터 분석 대회에 서 가장 많이 사용하는 모델 GBDT가 Categorical feature에 대해서 학습이 잘돼도록 설계되어 있습니다. 오랜 연구로 default parameter 설계가 잘되어있어, parameter tuning이 쉽습니다. GPU 사용 최적화가 잘 되어있습니다. Hyper-parameter Tuning (feature 중에 50% 이상이 categorical 일 때) Parameter Tuning (for performance) one_hot_.. 2023. 10. 6. [AI 부트캠프] DAY 53 - 머신러닝 8 [오늘의 일지] 머신러닝 실시간 강의 - 데이터 분석 문제 정의 (클러스터링(Clustering), Boosting) [상세 내용] 데이터 분석 문제 정의 클러스터링(Clustering) 정의 - 클러스터링은 비슷한 데이터를 같은 그룹에 묶고, 비슷하지 않은 데이터를 다른 그룹으로 분리하여 결국 데이터를 서로 비슷한 특성을 가진 그룹끼리 모이게 하는 데이터 분석 기술입니다. K-Means Clustering - K-Means Clustering은 가장 직관적이고 이해하기 쉬운 클러스터링 방법으로 'K-평균 알고리즘'으로 불리며, 데이터를 평균(mean)을 기준으로 묶어주는 방법으로 알려져 있습니다. 이 알고리즘은 엄청나게 빠른 속도로 수행되며, 결과가 반드시 나오는 것이 보장되어 있어 데이터 클러스터링의.. 2023. 10. 5. [AI 부트캠프] DAY 52 - 머신러닝 7 [오늘의 일지] 머신러닝 실시간 강의 - 데이터 분석 문제 정의 (회귀 실습 마무리, 분류(Classification)) [상세 내용] 데이터 분석 문제 정의 회귀 실습 마무리 (test 데이터 가공해서 lreg.predict로 출력하기) ## test 데이터를 x_test로 가공해서 lreg.predict(X_test)가 에러가 나지 않고 출력이 되게끔 만들기 # 1. is_Cabin # 2. FamilySize # 3. column drop # 4. age column 채우기 # 5. dropna ?! # 6. Sex -> Ordinal, Embarked -> One-Hot # test.info() x_test = test.copy() # deep copy x_test['is_Cabin'] = x_t.. 2023. 9. 28. [AI 부트캠프] DAY 51 - 머신러닝 6 [오늘의 일지] 머신러닝 실시간 강의 - 머신러닝 정의 (Training), 데이터 분석 문제 정의 (회귀(Regression)) [상세 내용] 머신러닝 정의 Training - 어제 마무리하지 못했던 Training부터 정리를 시작하겠습니다. 일반적으로 Training은 모델을 학습시키는 과정이라고 말할 수 있습니다. 보통 test와 training을 위해서 데이터를 분리시킨다고 한다면 training의 비율을 70~80프로를 가져가면서 학습을 시킵니다. 그런데 이렇게 어떠한 검증 없이 학습을 시키고 성능을 test 한다면 생각했던 결과를 얻지 못하는 상황을 겪을 수 있게 됩니다. 예를 들면 많은 비율의 데이터를 가지면서 학습을 통해 좋은 결과를 얻은 training에 비해서 바로 상대적으로 적은 데이.. 2023. 9. 27. [AI 부트캠프] DAY 50 - 머신러닝 5 [오늘의 일지] 머신러닝 실시간 강의 - ML PJT Workflow, 머신러닝의 정의 [상세 내용] ML PJT Workflow - 이번 머신러닝 수업은 프로젝트를 위함이기에 아래의 큰 틀을 가지고 있습니다. 머신러닝 시작하면서 느낀점 - 오늘은 머신러닝 실시간 수업이 시작되는 날이었습니다. 지난주 머신러닝 수업 시작 후로 생각해 봤는데 수업을 들으면서 정작 머신러닝 자체의 정의를 한 번도 제대로 정리하고 넘어간 적이 없었던 거 같습니다. 그래서 오늘 수업은 뭔가 근본적으로 머신러닝이라는 것에 대해서 제대로 알고 시작한다는 점에서 의미가 있었던 거 같습니다. 역사 - 역사적인 부분에서 시작한다면 머신러닝의 첫 등장은 대략적으로는 1950년대인 거 같은데 찾아본 사이트들마다 조금씩 다른 이야기를 하고 있.. 2023. 9. 26. [AI 부트캠프] DAY 49 - 머신러닝 4 [오늘의 일지] 머신러닝 녹화 강의 - 머신러닝을 위한 개념 수업 (Dimensionality Reduction, Anomaly Detection) [상세 내용] 머신러닝을 위한 개념 Dimensionality Reduction - Dimensionality reduction (차원 축소)은 데이터의 특성 (차원) 수를 줄이는 기술을 가리킵니다. 이 기술은 데이터 공간의 차원을 감소시켜 데이터를 더 효율적으로 다루고 시각화하거나, 머신 러닝 및 데이터 분석 작업을 단순화하는 데 사용됩니다. 이를 통해 데이터의 복잡성을 줄이고 중요한 정보를 보존하려고 합니다. Curse of dimensionality - Curse of dimensionality(차원의 저주)는 고차원 데이터 공간에서 발생하는 다양한 문.. 2023. 9. 23. [AI 부트캠프] DAY 48 - 머신러닝 3 [오늘의 일지] 머신러닝 녹화 강의 - 머신러닝을 위한 개념 수업 (eXplainable Method, Clustering) [상세 내용] 머신러닝을 위한 개념 eXplainable Method - "eXplainable Method"은 보통 "XAI" 또는 "Explainable Artificial Intelligence"의 줄임말로 사용되며, 인공 지능 모델이나 시스템의 작동 방식을 해석하고 설명하는 데 사용되는 방법을 가리킵니다. 이것은 주로 머신 러닝 모델 및 딥 러닝 네트워크와 같은 복잡한 AI 시스템에서 중요한 개념입니다. XAI 기술은 블랙박스로 알려진 머신 러닝 모델의 한계를 극복하려는 노력의 일환으로 발전하고 있으며, 이는 의료 진단, 금융 예측, 자율 주행 자동차, 법률 등 다양한 응용.. 2023. 9. 22. 이전 1 ··· 7 8 9 10 11 12 13 ··· 20 다음 반응형
