جنگل تصادفی در پایتون

جنگل تصادفی(Random Forest)چیست؟

جنگل تصادفییک الگوریتم یادگیری ماشین است که برای طبقه‌بندی(Classification)و رگرسیون(Regression)استفاده می‌شود. این روش بر اساس مجموعه‌ای از درخت‌های تصمیم‌گیری(Decision Trees)عمل می‌کند و با ترکیب نتایج آن‌ها پیش‌بینی دقیقی ارائه می‌دهد. ایده‌ی اصلی این روش افزایش دقت پیش‌بینی و کاهش احتمال بیش‌برازش(Overfitting)است.

1.                ساختار و نحوه کار جنگل تصادفی

1. ایجاد زیرمجموعه‌های تصادفی از داده‌ها(Bootstrap Sampling)
   الگوریتم ابتدا چندین نمونه‌ی تصادفی از داده‌های آموزشی می‌گیرد. این فرآیند که نمونه‌برداری با جایگزینینامیده می‌شود، به الگوریتم اجازه می‌دهد تا درخت‌های مختلف با ورودی‌های متنوع ایجاد کند.
2. ساخت درخت‌های تصمیم‌گیری مستقل
• برای هر زیرمجموعه‌ی داده، یک درخت تصمیم‌گیری ساخته می‌شود.
• در هر گره، به جای بررسی تمام ویژگی‌ها، الگوریتم یک زیرمجموعه‌ی تصادفی از ویژگی‌هارا انتخاب می‌کند تا بهترین شکاف(Split)را پیدا کند.
• این تصادفی بودن در انتخاب داده‌ها و ویژگی‌ها باعث تنوع بین درخت‌ها می‌شود.
3. ترکیب پیش‌بینی‌ها
• در مسائل طبقه‌بندی، جنگل تصادفی از روش رأی‌گیری اکثریت(Majority Voting)استفاده می‌کند (کلاسی که بیشترین رأی را از درخت‌ها گرفته باشد).
• در مسائل رگرسیون، میانگین پیش‌بینی‌های تمام درخت‌ها محاسبه می‌شود.

2.                مزایای جنگل تصادفی

1. کاهش بیش‌برازش:
   به دلیل استفاده از چندین درخت و میانگین‌گیری، احتمال بیش‌برازش کاهش می‌یابد.
2. مقاوم در برابر نویز:
   جنگل تصادفی تأثیر نویز موجود در داده را کاهش می‌دهد، زیرا نویز بر یک درخت خاص اثر می‌گذارد، اما کل مدل را تحت تأثیر قرار نمی‌دهد.
3. کارایی بالا برای داده‌های بزرگ:
   جنگل تصادفی می‌تواند به طور مؤثر با مجموعه‌های داده‌ی بزرگ و پیچیده کار کند.
4. توانایی کار با ویژگی‌های غیرخطی و تعاملات پیچیده:
   درخت‌های تصمیم‌گیری می‌توانند روابط غیرخطی و پیچیده بین متغیرها را کشف کنند.

3.                معایب جنگل تصادفی

1. مصرف منابع بالا:
   ایجاد و اجرای چندین درخت به حافظه و زمان بیشتری نیاز دارد.
2. کاهش تفسیربودن(Interpretability):
   در مقایسه با درخت‌های تصمیم‌گیری منفرد، جنگل تصادفی دشوارتر تفسیر می‌شود.
3. حساسیت به داده‌های نامتعادل:
   اگر کلاس‌های خروجی به‌طور نابرابر توزیع شده باشند، ممکن است الگوریتم به سمت کلاس غالب تمایل داشته باشد.

4.                کاربردهای جنگل تصادفی

1. طبقه‌بندی بیماری‌ها در پزشکی
2. پیش‌بینی قیمت در بازارهای مالی
3. تشخیص تقلب در تراکنش‌های بانکی
4. تحلیل رفتار مشتریان در بازاریابی

در ادامه، یک مثال فرضی با استفاده از جنگل تصادفی برای طبقه‌بندی داده‌های ساختگی در پایتون آورده شده است. در این مثال، هدف تشخیص این است که آیا یک داده به کلاس "1" یا "0" تعلق دارد.

کد مثال فرضی: جنگل تصادفی برای طبقه‌بندی

# وارد کردن کتابخانه‌های مورد نیاز
import numpy as np
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, classification_report

# تولید داده‌های فرضی
# فرض کنید 1000 نمونه و 5 ویژگی داریم
np.random.seed(42)
X = np.random.rand(1000, 5)  # داده‌های ورودی
y = np.random.choice([0, 1], size=1000)  # برچسب‌های کلاس (0 یا 1)

# تقسیم داده‌ها به مجموعه‌های آموزشی و آزمایشی
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# ساخت مدل جنگل تصادفی
model = RandomForestClassifier(n_estimators=100, random_state=42)

# آموزش مدل با داده‌های آموزشی
model.fit(X_train, y_train)

# پیش‌بینی کلاس‌ها با داده‌های آزمایشی
y_pred = model.predict(X_test)

# ارزیابی مدل
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy * 100:.2f}%")

# گزارش طبقه‌بندی
print("\nClassification Report:")
print(classification_report(y_test, y_pred))

# بررسی ویژگی‌های مهم (Feature Importances)
importances = model.feature_importances_
print("\nFeature Importances:")
for i, importance in enumerate(importances):
    print(f"Feature {i + 1}: {importance:.2f}")

توضیحات کد

Accuracy: 48.33%

Classification Report:
              precision    recall  f1-score   support

           0       0.49      0.44      0.46       152
           1       0.48      0.53      0.50       148

    accuracy                           0.48       300
   macro avg       0.48      0.48      0.48       300
weighted avg       0.48      0.48      0.48       300


Feature Importances:
Feature 1: 0.21
Feature 2: 0.19
Feature 3: 0.19
Feature 4: 0.20
Feature 5: 0.20