[Coursera/IBM course #1] Tools for Machine Learning

[IBM AI course #1] Machine Learning with Python

머신러닝 도구란?

머신러닝 도구는 복잡한 작업을 단순화하고, 전처리부터 모델 구현까지 파이프라인 전반을 지원한다.

머신러닝 언어는 모델 구축과 데이터 패턴 해석에 사용되며, Python, R, Julia, Scala, Java, JavaScript 등이 있다.

또한 데이터 처리, 시각화, 머신러닝, 딥러닝, 컴퓨터 비전, NLP, 생성형 AI 등 다양한 분야별 도구들이 활용된다.

 

주요 언어

언어	특징
Python	풍부한 라이브러리와 쉬운 문법으로 가장 널리 사용됨
R	통계 분석 중심, 데이터 탐색에 강함

 

도구의 종류에는 데이터 처리 및 분석, 데이터 시각화, 머신러닝, 딥러닝, 컴퓨터 비전, 자연어 처리(NLP), 생성형 인공지능(AI) 등이 있다.

 

데이터 처리 및 분석

도구	설명
PostgreSQL	SQL 기반 오픈소스 관계형 데이터베이스
Hadoop	대용량 디스크 기반 분산 저장/배치 처리 시스템
Spark	메모리 기반 실시간 빅데이터 처리 프레임워크
Apache Kafka	실시간 분산 스트리밍 및 분석용 플랫폼
Pandas	구조화 데이터 탐색·정제용 Python 라이브러리
NumPy	고속 수치 연산, GPU 기반 연산 지원

 

데이터 시각화

도구	특징
Matplotlib	다양한 커스터마이징이 가능한 시각화 기반 라이브러리
Seaborn	통계 시각화에 특화, Matplotlib 기반
ggplot2	R용 시각화 패키지, 레이어 방식
Tableau	대시보드 기반 BI(비즈니스 인텔리전스) 도구

 

머신러닝

도구	역할
NumPy	다차원 배열 연산, 수치 계산, 기본적인 기계학습 지원
Pandas	데이터 분석, 시각화, 정리, 데이터 준비
SciPy	NumPy를 기반으로 구축됨. 최적화, 회귀, 수치 해석 등 과학 연산용
Scikit-learn	분류, 회귀, 군집화, 차원축소 등 Classic ML 알고리즘 제공. NumPy, SciPy, Matplotlib 기반으로 구축

 

딥러닝

도구	역할
TensorFlow	대규모 수치 연산/딥러닝용 오픈소스 라이브러리
Keras	딥러닝 모델 설계를 간편하게 해주는 라이브러리
Theano	배열 기반 수식 최적화 및 평가
PyTorch	유연한 구조의 딥러닝 프레임워크, 실험에 적합

 

컴퓨터 비전

Object Detection, Image Classification, Facial Recognition, Image Segmentation…

도구	역할
OpenCV	객체 탐지, 이미지 분류, AR 등 실시간 영상 처리
Scikit-Image	필터링, 세분화, 특징 추출 등 이미지 처리 (Scipy 기반 구축, Pandas 호환)
TorchVision	이미지 로딩, 전처리, 사전학습 모델 제공 (PyTorch 기반)

 

자연어 처리(NLP)

도구	기능
NLTK	토큰화, 어간 추출 등 텍스트 처리 기능 종합 제공
TextBlob	품사 태깅, 명사구 추출, 감성 분석, 번역 등을 지원하는 간편한 라이브러리
Stanza	스탠포드 NLP 그룹에서 개발. 품사 태깅, 의존 구문 분석 등 다양한 NLP 작업을 위한 정확한 사전 학습 모델 제공

 

생성형 AI

도구	기능
Hugging Face Transformers	텍스트 생성, 번역, 감정 분석 등 Transformer 기반 NLP
ChatGPT	대화형 AI, 텍스트 생성, 챗봇 개발 등
DALL·E	텍스트 설명으로부터 이미지 생성
PyTorch	GAN, Transformer 등 딥러닝 기반 생성 모델을 유연하게 설계·학습·실험할 수 있는 프레임워크