파이썬의 머신러닝 기초: Scikit-Learn

Scikit-Learn은 파이썬에서 머신러닝을 구현하기 위해 가장 널리 사용되는 라이브러리 중 하나입니다. 이 라이브러리는 다양한 머신러닝 알고리즘을 쉽게 사용할 수 있도록 인터페이스를 제공하며, 데이터 전처리, 모델 훈련, 평가 및 예측과 같은 작업을 간단히 수행할 수 있게 도와줍니다. 이번 글에서는 Scikit-Learn을 사용하여 머신러닝의 기초 개념을 배우고, 간단한 예제를 통해 이를 실습해보겠습니다.

1. 머신러닝의 기본 개념

머신러닝은 데이터를 사용하여 모델을 학습시키고, 학습된 모델을 통해 새로운 데이터를 예측하거나 분류하는 기술입니다. 머신러닝은 주로 다음과 같은 종류로 나눌 수 있습니다:

• 지도 학습(Supervised Learning): 레이블이 있는 데이터를 사용하여 모델을 학습시키는 방법. 예: 회귀, 분류.
• 비지도 학습(Unsupervised Learning): 레이블이 없는 데이터를 사용하여 모델을 학습시키는 방법. 예: 클러스터링.
• 강화 학습(Reinforcement Learning): 에이전트가 환경과 상호작용하면서 보상을 최대화하도록 학습하는 방법.

2. Scikit-Learn의 설치

Scikit-Learn은 일반적으로 파이썬과 함께 설치되지만, 설치되지 않은 경우 pip 명령어를 사용하여 설치할 수 있습니다.

pip install scikit-learn

3. Scikit-Learn을 사용한 기본 워크플로우

Scikit-Learn을 사용하여 머신러닝 모델을 구축하는 기본적인 워크플로우는 다음과 같습니다:

1. 데이터셋 준비: 데이터를 로드하고, 훈련 데이터와 테스트 데이터로 나눕니다.
2. 데이터 전처리: 데이터를 정규화하거나, 결측값을 처리하고, 필요하다면 특성 공학(Feature Engineering)을 수행합니다.
3. 모델 선택 및 학습: 적절한 머신러닝 알고리즘을 선택하고, 모델을 훈련 데이터로 학습시킵니다.
4. 모델 평가: 테스트 데이터를 사용하여 모델의 성능을 평가합니다.
5. 모델 예측: 새로운 데이터를 사용하여 예측을 수행합니다.

3.1. 데이터셋 준비

먼저, Scikit-Learn에 내장된 Iris 데이터셋을 사용하여 데이터를 로드하고 훈련 데이터와 테스트 데이터로 나눕니다.

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 데이터 로드
iris = load_iris()
X = iris.data  # 특성 데이터
y = iris.target  # 레이블 데이터

# 훈련 데이터와 테스트 데이터로 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

3.2. 데이터 전처리

Scikit-Learn의 StandardScaler를 사용하여 데이터 정규화를 수행할 수 있습니다. 정규화는 모델 학습의 성능을 높이는 데 도움이 됩니다.

from sklearn.preprocessing import StandardScaler

# 데이터 정규화
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

3.3. 모델 선택 및 학습

LogisticRegression 모델을 사용하여 데이터를 학습시킵니다. Scikit-Learn은 다양한 모델을 제공하며, 필요에 따라 다른 알고리즘을 사용할 수 있습니다.

from sklearn.linear_model import LogisticRegression

# 모델 선택 및 학습
model = LogisticRegression()
model.fit(X_train, y_train)

3.4. 모델 평가

훈련된 모델을 사용하여 테스트 데이터에 대한 예측을 수행하고, 정확도를 평가합니다.

from sklearn.metrics import accuracy_score

# 테스트 데이터에 대한 예측
y_pred = model.predict(X_test)

# 모델 평가
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy * 100:.2f}%")  # 출력: Accuracy: 100.00%

3.5. 모델 예측

새로운 데이터에 대한 예측을 수행할 수 있습니다.

# 새로운 데이터에 대한 예측
new_data = [[5.1, 3.5, 1.4, 0.2]]
new_data_scaled = scaler.transform(new_data)
prediction = model.predict(new_data_scaled)
print(f"Predicted class: {iris.target_names[prediction][0]}")  # 출력: Predicted class: setosa

4. Scikit-Learn의 주요 기능

Scikit-Learn은 매우 다양한 기능을 제공하며, 머신러닝 워크플로우의 여러 부분에서 사용할 수 있습니다.

4.1. 모델 선택

Scikit-Learn은 다양한 머신러닝 모델을 제공하며, 분류(Classification), 회귀(Regression), 클러스터링(Clustering) 등 다양한 문제를 해결할 수 있는 알고리즘을 포함합니다. 대표적인 모델로는 다음이 있습니다:

• 분류(Classification): LogisticRegression, DecisionTreeClassifier, RandomForestClassifier, SVC(Support Vector Classifier)
• 회귀(Regression): LinearRegression, Ridge, Lasso
• 클러스터링(Clustering): KMeans, DBSCAN

4.2. 데이터 전처리

데이터 전처리를 위한 다양한 기능을 제공합니다. 예를 들어, 정규화, 스케일링, 결측값 처리, 범주형 데이터 인코딩 등이 가능합니다.

• 정규화: StandardScaler, MinMaxScaler
• 인코딩: LabelEncoder, OneHotEncoder

4.3. 모델 평가 및 성능 측정

Scikit-Learn은 모델의 성능을 평가하기 위한 다양한 메트릭과 교차 검증 방법을 제공합니다.

• 평가 메트릭: accuracy_score, precision_score, recall_score, f1_score
• 교차 검증: cross_val_score, GridSearchCV, RandomizedSearchCV

4.4. 파이프라인(Pipeline)

Scikit-Learn의 파이프라인을 사용하면 데이터 전처리와 모델 학습을 하나의 워크플로우로 결합할 수 있습니다. 이는 코드의 가독성을 높이고, 모델의 재사용성을 향상시킵니다.

from sklearn.pipeline import Pipeline

pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('classifier', LogisticRegression())
])

pipeline.fit(X_train, y_train)
y_pred = pipeline.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy with pipeline: {accuracy * 100:.2f}%")

5. Scikit-Learn을 활용한 프로젝트 아이디어

Scikit-Learn을 사용하여 다양한 머신러닝 프로젝트를 시도해볼 수 있습니다. 다음은 몇 가지 프로젝트 아이디어입니다:

• 스팸 이메일 분류기: 이메일 데이터를 사용하여 스팸 이메일을 분류하는 모델을 개발합니다.
• 주택 가격 예측: 주택의 특징을 기반으로 주택 가격을 예측하는 회귀 모델을 만듭니다.
• 고객 이탈 예측: 고객의 행동 데이터를 사용하여 이탈 가능성을 예측하는 모델을 개발합니다.
• 이미지 분류: 이미지 데이터를 사용하여 다양한 카테고리로 이미지를 분류하는 모델을 만듭니다.

결론

이번 글에서는 파이썬의 Scikit-Learn 라이브러리를 사용하여 머신러닝의 기초 개념을 배우고, 이를 활용한 간단한 모델을 구현하는 방법을 살펴보았습니다. Scikit-Learn은 다양한 기능을 제공하며, 머신러닝 워크플로우의 여러 부분을 쉽게 처리할 수 있도록 도와줍니다. 실습을 통해 Scikit-Learn의 기본 개념을 익히고, 이를 다양한 머신러닝 프로젝트에 적용해보세요.

---

이 글을 통해 파이썬의 Scikit-Learn 라이브러리를 사용하여 머신러닝의 기초 개념을 이해하고, 이를 활용하여 간단한 모델을 구현하는 방법을 배울 수 있을 것입니다. Scikit-Learn을 활용하여 다양한 머신러닝 문제를 해결해보세요!