Джейд Картер "120 практических задач"

from sklearn.preprocessing import LabelEncoder

from sklearn.feature_extraction.text import TfidfVectorizer

import numpy as np

# Пример данных (данные нужно подставить под ваши)

texts = ["Этот фильм очень хорош!", "Я не люблю этот продукт", "Нейтральный отзыв здесь"]

labels = ["позитивный", "негативный", "нейтральный"]

# Преобразование меток в числовой формат

label_encoder = LabelEncoder()

labels_encoded = label_encoder.fit_transform(labels)

# Векторизация текстовых данных

vectorizer = TfidfVectorizer(max_features=1000)

X = vectorizer.fit_transform(texts).toarray()

y = np.array(labels_encoded)

# Разделение данных на обучающую и тестовую выборки

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Параметры модели и обучения

max_words = 1000 # максимальное количество слов в словаре

embedding_dim = 100 # размерность векторов слов

lstm_units = 64 # количество нейронов в LSTM слое

# Создание модели

model = Sequential()

# Векторное представление слов (Embedding)

model.add(Embedding(max_words, embedding_dim, input_length=X.shape[1]))

# LSTM слой

model.add(LSTM(lstm_units))

# Полносвязный слой

model.add(Dense(1, activation='sigmoid'))

# Компиляция модели

model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

# Вывод архитектуры модели

model.summary()

# Обучение модели

model.fit(X_train, y_train, epochs=10, batch_size=32, validation_data=(X_test, y_test))

```

Пояснение архитектуры и процесса:

1. Векторное представление слов (Embedding): Embedding слой преобразует каждое слово в вектор фиксированной длины (`embedding_dim`). Это позволяет модели учитывать семантические отношения между словами в контексте анализа тональности.

2. LSTM слой: LSTM слой обрабатывает последовательность слов, учитывая их контекст и последовательность в тексте. Он помогает модели улавливать долгосрочные зависимости и контекст при анализе текстовых данных.

3. Полносвязный слой: Выходной слой с активацией `sigmoid` используется для задачи бинарной классификации (для определения позитивной или негативной тональности).

4. Компиляция и обучение модели: Модель компилируется с оптимизатором `adam` и функцией потерь `binary_crossentropy`, подходящей для бинарной классификации. В качестве метрики используется `accuracy` для оценки точности классификации.

Преимущества использования LSTM для анализа тональности отзывов

– Учёт контекста: LSTM учитывают контекст и последовательность слов, что особенно полезно для задач анализа тональности текстов, где важно не только наличие отдельных слов, но и их последовательность.

– Обработка переменной длины ввода: LSTM могут обрабатывать тексты разной длины, что делает их удобными для работы с различными типами и объемами текстовых данных.

– Высокая производительность: LSTM часто демонстрируют высокую точность при задачах анализа тональности благодаря способности к улавливанию сложных зависимостей в текстах.

Таким образом, построение нейронной сети на основе LSTM для анализа тональности отзывов представляет собой эффективный подход к задаче классификации текстовых данных с эмоциональной окраской, который можно доработать и оптимизировать в зависимости от конкретных требований и характеристик доступных данных.

26. Построение модели для обнаружения лиц в видео

– Задача: Обнаружение и отслеживание лиц в видео.

Для обнаружения и отслеживания лиц в видео можно использовать глубокие нейронные сети, специально настроенные для работы с видеоданными. Одним из эффективных подходов является использование комбинации детектора лиц на основе сверточных нейронных сетей (CNN) с последующим алгоритмом отслеживания движущихся объектов (например, алгоритмом опорных векторов или методом опорных точек). Давайте рассмотрим основные шаги и архитектуру модели для такой задачи.

Построение модели для обнаружения лиц в видео

1. Детектор лиц на основе CNN

Для начала нам нужно построить модель для обнаружения лиц в кадрах видео. Мы можем использовать предварительно обученную модель, такую как Single Shot MultiBox Detector (SSD) или You Only Look Once (YOLO), которые показывают хорошую производительность в реальном времени.

Пример архитектуры модели SSD для обнаружения лиц:

```python

import tensorflow as tf

from tensorflow.keras.applications import MobileNetV2

from tensorflow.keras.layers import Conv2D, Reshape

from tensorflow.keras.models import Model

# Загрузка предварительно обученной модели MobileNetV2 без полносвязных слоев

base_model = MobileNetV2(input_shape=(224, 224, 3), include_top=False, weights='imagenet')

# Замораживаем веса предварительно обученной модели

base_model.trainable = False

# Добавляем дополнительные слои для детекции лиц

x = base_model.output

x = Conv2D(256, (3, 3), activation='relu', padding='same')(x)

x = Conv2D(128, (3, 3), activation='relu', padding='same')(x)

predictions = Conv2D(4, (3, 3), activation='sigmoid', name='face_detection')(x) # 4 координаты bounding box'а

# Компилируем модель

model = Model(inputs=base_model.input, outputs=predictions)

# Вывод архитектуры модели

model.summary()

```

2. Отслеживание лиц в видео

После обнаружения лиц на каждом кадре видео необходимо отслеживать эти лица в последующих кадрах. Для этого можно использовать алгоритмы отслеживания объектов, такие как Kalman Filter или SORT (Simple Online and Realtime Tracking). В данном примере рассмотрим использование SORT для отслеживания лиц.

Пример использования SORT для отслеживания лиц:

```python

from sort import Sort # pip install sort

tracker = Sort()

# Пример получения bounding box'ов из модели детекции лиц

frames = [] # список кадров видео

# Для каждого кадра:

# Получаем bounding box'ы с помощью модели детекции лиц

# Передаём bounding box'ы в SORT для отслеживания

detections = model.predict(frame)

tracked_objects = tracker.update(detections)

# Отрисовываем tracked_objects на кадре видео

```

Пояснение архитектуры и процесса:

1. Детектор лиц на основе CNN: В примере используется MobileNetV2 как базовая модель без полносвязных слоев. Мы добавляем несколько свёрточных слоёв для улучшения точности детекции лиц. Финальный слой используется для предсказания bounding box'ов лиц на изображении.

2. Отслеживание лиц в видео: После детекции лиц на каждом кадре видео используется алгоритм отслеживания SORT для непрерывного отслеживания этих лиц на последующих кадрах. SORT осуществляет ассоциацию и отслеживание объектов на основе истории и предсказаний.

Преимущества использования такой модели

– Высокая точность детекции: Использование глубоких свёрточных сетей позволяет добиться высокой точности при детекции лиц в видео.

– Работа в реальном времени: Модели типа SSD или YOLO позволяют обрабатывать кадры видео в реальном времени, что важно для задач видеонаблюдения и аналитики.

– Непрерывное отслеживание: Алгоритмы отслеживания объектов, такие как SORT, обеспечивают непрерывное отслеживание лиц на протяжении видео, что полезно для задач видеоаналитики.

Таким образом, построение модели для обнаружения и отслеживания лиц в видео с использованием глубоких нейронных сетей и алгоритмов отслеживания представляет собой эффективный подход к решению задачи видеоаналитики и безопасности.

27. Создание нейронной сети для оценки стоимости недвижимости

– Задача: Прогнозирование цен на недвижимость на основе различных факторов.

Для создания нейронной сети для оценки стоимости недвижимости на основе различных факторов, таких как размер дома, количество комнат, расположение и другие характеристики, можно применить подходы глубокого обучения, специально адаптированные для задач регрессии. Давайте рассмотрим основные шаги и пример архитектуры модели.