[IBM AI course #1] Machine Learning with Python 데이터 사이언티스트 (data scientist)Data Storyteller 역할업무서술 분석(Descriptive analytics): 시간의 흐름에 따라 사건의 특징을 묘사하는 데 사용, EDA(탐색적 데이터 분석)를 통해 데이터를 시각화하고 통계적으로 해석, 클러스터링으로 고객을 세그먼트화예측 분석(Predictive analytics): 향후의 사건을 전망 또는 예측하는 데 사용, 회귀(Regression), 분류(Classification)데이터주로 구조화된 데이터(표 형태) → 수백 ~ 수십만 개이상치 제거, 테이블 병합, 특성 생성 등 작업 포함머신러닝 모델을 학습시키는 데 사용모델다양한 ML 알고리즘 ..

[IBM AI course #1] Machine Learning with Python머신러닝이란 무엇인가머신러닝(Machine Learning, ML)은 인공지능(AI)의 한 분야로,데이터로부터 스스로 학습하여 판단을 내리는 알고리즘 기반의 기술이다.기존에는 사람이 직접 규칙을 정의해야 했지만, 머신러닝은 데이터를 통해 패턴을 학습하고 스스로 의사결정을 수행한다.머신러닝은 다음과 같은 다양한 학습 방식을 포함한다지도학습(supervised learning): 레이블이 있는 데이터로 학습하여 새로운 데이터를 예측함비지도학습(unsupervised learning): 레이블 없이 데이터 내 숨은 패턴을 발견함준지도학습(semi-supervised learning): 일부 레이블만 가진 데이터를 활용해 점진적..

IBM AI Engineering PC 🔗 https://www.coursera.org/professional-certificates/ai-engineer Machine Learning with Python 🔗 https://www.coursera.org/learn/machine-learning-with-python/ IBM Professional Certificate(PC) 란?IBM AI Engineering PCIBM Data Science PC IBM AI Engineering PC여기서 IBM AI Engineering PC란?데이터 과학자, 머신러닝 엔지니어, 소프트웨어 엔지니어를 위한 AI 기술 교육Python, SciPy, Keras, PyTorch, TensorFlow를 활용해 모..

이미지에 대한 URL이 JSON에 포함되어 있을 때, 멀티모달 모델을 훈련시키기 위해서는 JSON 데이터와 해당 이미지를 함께 학습에 사용할 수 있어야 한다.따라서 JSON 내의 이미지 URL을 활용해 실제 이미지를 다운로드하는 작업이 필요하다.사용한 데이터셋은 Amazon Review Data이다.(https://cseweb.ucsd.edu/~jmcauley/datasets/amazon_v2/) 해당 데이터셋의 리뷰 포맷은 아래와 같다.{ "image": ["https://images-na.ssl-images-amazon.com/images/I/71eG75FTJJL._SY88.jpg"], "overall": 5.0, "vote": "2", "verified": True, "reviewTime": "01..

빅데이터 분석 기사 실기 준비하면서 정리한 내용 공부한 내용 정리하는데 참고용, 시험 전날, 시험 보러 가는 길, 시험 시작 전 확인하면 좋을 것 같다. 공부할 때에는 눈으로 하지 말고, 머리로 외운다 생각하지 말고, 실제로 문제를 풀어보며 키보드를 치는 손가락으로 외운다고 생각하며 공부하는 게 좋다. ( help, dir 사용 방법 익히는 것은 필수 ) 패키지############ # 데이터 프레임 import pandas as pd ############ # 수학 계산 import numpy as np ############ # 전처리 (x_train, x_test 다 해야 함) from sklearn.preprocessing import LabelEncoder from sklearn.preproce..

Reference - , 데싸라면▪빨간색 물고기▪자투리코드, 시대고시기획 시대교육 SciPy 패키지를 이용한 통계분석 https://docs.scipy.org/doc/scipy/reference/stats.html Statistical functions (scipy.stats) — SciPy v1.10.1 Manual Statistical functions (scipy.stats) This module contains a large number of probability distributions, summary and frequency statistics, correlation functions and statistical tests, masked statistics, kernel density esti..

Reference - , 데싸라면▪빨간색 물고기▪자투리코드, 시대고시기획 시대교육 SciPy 패키지를 이용한 통계분석 https://docs.scipy.org/doc/scipy/reference/stats.html Statistical functions (scipy.stats) — SciPy v1.10.1 Manual Statistical functions (scipy.stats) This module contains a large number of probability distributions, summary and frequency statistics, correlation functions and statistical tests, masked statistics, kernel density esti..

Reference - , 데싸라면▪빨간색 물고기▪자투리코드, 시대고시기획 시대교육 Scaling 메서드 scikit-learn의 perprocessing https://scikit-learn.org/stable/modules/preprocessing.html 6.3. Preprocessing data The sklearn.preprocessing package provides several common utility functions and transformer classes to change raw feature vectors into a representation that is more suitable for the downstream esti... scikit-learn.org 데이터 스케일링 방법..

Reference - DataManim (https://www.datamanim.com/dataset/99_pandas/pandasMain.html#) DataSet 국가별 5세이하 사망비율 통계 : https://www.kaggle.com/utkarshxy/who-worldhealth-statistics-2020-complete 데이터 변형 Dataurl = ‘https://raw.githubusercontent.com/Datamanim/pandas/main/mergeTEst.csv%E2%80%99 Question In [ ]: import pandas as pd df = pd.read_csv('https://raw.githubusercontent.com/Datamanim/pandas/main/merg..

Reference - DataManim (https://www.datamanim.com/dataset/99_pandas/pandasMain.html#) DataSet 국가별 5세이하 사망비율 통계 : https://www.kaggle.com/utkarshxy/who-worldhealth-statistics-2020-complete Dataurl = ‘https://raw.githubusercontent.com/Datamanim/pandas/main/under5MortalityRate.csv%E2%80%99 Question In [ ]: import pandas as pd df = pd.read_csv('https://raw.githubusercontent.com/Datamanim/pandas/main/u..