Перейти к содержанию

Искусственный интеллект. Машинное обучение — книга №2 серии «Искусственный интеллект»

Автор:

5,0 230+ оценок читателей Рунета
Категория
книги о компьютерах
Год издания
Издательство
Автор
Возрастное ограничение
12+
Обновлено
25.09.2026

Аннотация

Исследуйте мир машинного обучения с этой книгой, предназначенной для тех, кто стремится погрузиться в фундаментальные принципы и передовые методы этой динамично развивающейся области. От введения в основные концепции до глубокого погружения в продвинутые техники и приложения, каждая глава представляет собой комплексное исследование, подкрепленное практическими примерами и советами. Будучи ориентиром как для начинающих, так и для опытных практиков, данная книга поможет вам освоить ключевые навыки, необходимые для эффективного применения методов машинного обучения в реальных задачах.

Читать «Искусственный интеллект. Машинное обучение» — Джейд Картер онлайн

Страница 6 из 15

Представим ситуацию, где мы хотим классифицировать изображения рукописных цифр на датасете MNIST. Наша цель состоит в том, чтобы разработать модель, которая автоматически определяет, какая цифра (от 0 до 9) изображена на изображении.

Описание задачи:

– Дано: датасет MNIST, содержащий изображения рукописных цифр размером 28x28 пикселей.

– Задача: классифицировать каждое изображение на одну из 10 категорий (цифры от 0 до 9).

Описание процесса решения методом SVM:

1. Загрузка данных: сначала мы загружаем датасет MNIST, который содержит как обучающие, так и тестовые изображения.

2. Подготовка данных: мы преобразуем изображения в векторы признаков, чтобы использовать их в SVM. Также нормализуем значения пикселей, чтобы они находились в диапазоне от 0 до 1.

3. Обучение модели: затем мы обучаем SVM на обучающем наборе данных. В качестве ядерной функции можем использовать, например, радиальное базисное функциональное ядро (RBF).

4. Оценка модели: после обучения модели мы оцениваем ее производительность на тестовом наборе данных, используя метрики, такие как точность классификации.

Пример кода решения на Python с использованием библиотеки scikit-learn:

```python

# Импорт библиотек

from sklearn import datasets

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

from sklearn.svm import SVC

from sklearn.metrics import accuracy_score

# Загрузка датасета MNIST

digits = datasets.load_digits()

# Разделение данных на обучающий и тестовый наборы

X_train, X_test, y_train, y_test = train_test_split(digits.data, digits.target, test_size=0.2, random_state=42)

# Нормализация данных

sc = StandardScaler()

X_train = sc.fit_transform(X_train)

X_test = sc.transform(X_test)

# Инициализация SVM

svm_classifier = SVC(kernel='rbf', random_state=42)

# Обучение модели

svm_classifier.fit(X_train, y_train)

# Предсказание классов на тестовом наборе данных

y_pred = svm_classifier.predict(X_test)

# Оценка точности классификации

accuracy = accuracy_score(y_test, y_pred)

print("Accuracy:", accuracy)

```

Это пример кода, который загружает датасет MNIST, обучает SVM на обучающем наборе данных, предсказывает классы для тестового набора данных и оценивает точность классификации.

Деревья решений и их ансамбли (случайный лес, градиентный бустинг):

Деревья решений представляют собой модели машинного обучения, которые в процессе построения разделяют пространство признаков на основе серии вопросов о значениях этих признаков. Каждый узел дерева задает определенное условие для разделения данных на подгруппы, а листовые узлы содержат предсказания для конечного класса или значения.

Преимущество деревьев решений заключается в их интерпретируемости и простоте понимания. Они способны работать с категориальными и числовыми данными, и не требуют масштабирования признаков, что делает их привлекательными для разнообразных задач. Однако, они могут страдать от переобучения, особенно на сложных и объемных наборах данных, где могут создаваться слишком сложные структуры.

Для смягчения проблемы переобучения и улучшения обобщающей способности деревьев решений используются ансамблированные методы, такие как случайный лес и градиентный бустинг. Случайный лес объединяет несколько деревьев решений и усредняет их предсказания, что позволяет получить более стабильные результаты. С другой стороны, градиентный бустинг обучает последовательность деревьев, каждое из которых исправляет ошибки предыдущего, что приводит к улучшению качества модели. Эти методы имеют большую обобщающую способность и стабильность по сравнению с отдельными деревьями решений, но их сложнее интерпретировать из-за их составной структуры и взаимосвязей между отдельными моделями.

Пример 1

Задача:

Представим, что у нас есть набор данных, содержащий информацию о клиентах банка, включая их возраст, доход, семейное положение и другие характеристики. Наша задача состоит в том, чтобы на основе этих данных предсказать, совершит ли клиент депозит в банке или нет.

Ход решения:

1. Загрузка данных: Сначала мы загрузим данные о клиентах банка, чтобы начать анализ.

2. Предварительный анализ данных: Проведем предварительный анализ данных, чтобы понять структуру набора данных, распределение признаков и наличие пропущенных значений.

3. Подготовка данных: Выполним предварительную обработку данных, такую как кодирование категориальных признаков, заполнение пропущенных значений и масштабирование признаков.

4. Разделение данных: Разделим данные на обучающий и тестовый наборы. Обучающий набор будет использоваться для обучения модели, а тестовый – для ее оценки.

5. Обучение модели: Обучим модель на обучающем наборе данных, используя метод SVM.

6. Оценка модели: Оценим качество модели на тестовом наборе данных, используя метрики, такие как точность, полнота и F1-мера.

Пример кода:

```python

# Импорт библиотек

import pandas as pd

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

from sklearn.svm import SVC

from sklearn.metrics import accuracy_score, classification_report

from sklearn.datasets import load_bank_dataset

# Загрузка данных о клиентах банка

data = load_bank_dataset()

X = data.drop(columns=['deposit'])

y = data['deposit']

# Предварительный анализ данных

print(X.head())

print(X.info())

# Подготовка данных

X = pd.get_dummies(X)

X.fillna(X.mean(), inplace=True)

scaler = StandardScaler()

X_scaled = scaler.fit_transform(X)

# Разделение данных на обучающий и тестовый наборы

X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42)

# Обучение модели SVM

svm_classifier = SVC(kernel='rbf', random_state=42)

svm_classifier.fit(X_train, y_train)

# Оценка модели

y_pred = svm_classifier.predict(X_test)

accuracy = accuracy_score(y_test, y_pred)

print("Accuracy:", accuracy)

print(classification_report(y_test, y_pred))

```

Это пример кода, который загружает данные о клиентах банка, обрабатывает их, разделяет на обучающий и тестовый наборы, обучает модель SVM и оценивает ее производительность на тестовом наборе данных.

2. Задачи регрессии

Задачи регрессии направлены на прогнозирование непрерывных значений целевой переменной на основе входных данных. Некоторые популярные методы решения задач регрессии включают в себя:

– Линейная регрессия

– Регрессия на основе деревьев (например, случайный лес)

– Градиентный бустинг

Рассмотрим их подробнее.

Линейная регрессия

Линейная регрессия – это классический метод в машинном обучении, который применяется для анализа и предсказания взаимосвязи между одной или несколькими независимыми переменными и зависимой переменной. Одним из ключевых предположений линейной регрессии является линейная зависимость между признаками и целевой переменной. Цель состоит в том, чтобы найти оптимальные параметры модели (коэффициенты), которые минимизируют сумму квадратов разностей между фактическими значениями зависимой переменной и предсказанными значениями, полученными с использованием линейной функции.

Преимущества линейной регрессии заключаются в ее простоте и интерпретируемости. Этот метод хорошо подходит для понимания влияния каждого признака на целевую переменную и выявления силы и направления этих взаимосвязей. Однако линейная регрессия также имеет свои ограничения, например, она предполагает линейность и постоянство отношений между переменными, что может быть неприменимо в случае сложных нелинейных зависимостей.

Выбор функции потерь и метода оптимизации в линейной регрессии играет важную роль в успешном построении модели. Функция потерь определяет, как будут оцениваться различия между фактическими и предсказанными значениями. Одной из наиболее распространенных функций потерь является среднеквадратичная ошибка (Mean Squared Error, MSE), которая минимизирует сумму квадратов разностей между фактическими и предсказанными значениями. Другие функции потерь также могут использоваться в зависимости от конкретной задачи, например, абсолютное отклонение (Mean Absolute Error, MAE) или квантильная регрессия.

Метод наименьших квадратов (OLS) – это классический метод оптимизации, применяемый в линейной регрессии. Он ищет оптимальные значения параметров модели, минимизируя сумму квадратов разностей между фактическими и предсказанными значениями целевой переменной. Однако OLS имеет аналитическое решение только для простых линейных моделей. При использовании сложных моделей или больших объемов данных метод наименьших квадратов может столкнуться с проблемами вычислительной сложности или переобучения.

Метод градиентного спуска – это итерационный метод оптимизации, который эффективно применяется в случае сложных моделей и больших объемов данных. Он основан на идее минимизации функции потерь, используя градиент функции потерь по отношению к параметрам модели. Градиентный спуск обновляет параметры модели на каждой итерации, двигаясь в направлении, противоположном градиенту функции потерь, с тем чтобы достичь минимума. Этот процесс повторяется до тех пор, пока не будет достигнуто удовлетворительное значение функции потерь или пока не будут выполнены другие критерии останова.

Выбор между методом наименьших квадратов и методом градиентного спуска зависит от конкретной задачи, сложности модели и объема данных. Для простых моделей и небольших наборов данных метод наименьших квадратов может быть предпочтительным из-за своей простоты и аналитического решения. Однако для сложных моделей и больших объемов данных градиентный спуск представляет собой более эффективный подход, позволяющий обучить модель даже при наличии ограниченных ресурсов.

Применение линейной регрессии распространено во многих областях из-за ее простоты и хорошей интерпретируемости результатов. В экономике и финансах она используется для анализа факторов, влияющих на финансовые показатели. В медицине она помогает предсказывать заболевания или оценивать воздействие лечения. В исследованиях социальных наук она используется для анализа влияния различных факторов на социальные явления.

Пример 1

Рассмотрим пример задачи прогнозирования цен на недвижимость с использованием линейной регрессии и метода градиентного спуска.

Описание задачи: