Эта книга - подробное руководство по новейшим инструментам глубокого обучения с подкреплением и их ограничениям. В ней мы реализуем и проверим на практике методы кросс-энтропии и итерации по ценностям (Q-learning), а также градиенты по стратегиям. Для проведения экспериментов используются различные среды обучения с подкреплением (RL), начиная с классических CartPole и GridWorld и заканчивая эмуляторами Atari и средами непрерывного управления на основе PyBullet и RoboSchool. Множество примеров основано на нестандартных средах, в которых мы разработаем модель окружения с нуля.

В данной книге вы узнаете, какое место занимают методы RL в контексте глубокого обучения, и сможете реализовать сложные модели глубокого обучения. Вы также изучите основы RL, включая марковские процессы принятия решений.

В книге представлены примеры реализации различных методов RL, включая метод кросс-энтропии, DQN, A3C, TRPO, PPO, DDPG, D4PG и другие. Вы узнаете, как работать с дискретными и непрерывными пространствами действий в различных средах.

Вы увидите, как разработать систему, способную обучаться играм Atari с использованием обучения с подкреплением. Также вы научитесь создавать собственную среду, основанную на модели OpenAI Gym, для обучения биржевого агента.

В книге вы реализуете метод AlphaGo Zero для игры в Connect4. Этот метод позволяет достичь высокой игровой стратегии, используя глубокое обучение с подкреплением.

Вы познакомитесь с применением RL в обработке речи и узнаете, как использовать обучение с подкреплением для обучения диалогового бота на фразах из кинофильмов.

Эта книга предназначена для всех, кто интересуется глубоким обучением и его применением в области искусственного интеллекта. Она предоставит вам все необходимые знания и инструменты для изучения и практического применения методов глубокого обучения с подкреплением.