[Документация Yandex Cloud](../index.md) > [Облачная терминология](index.md) > Хранение и обработка данных > Big Data

# Big Data

Big Data — это крупные массивы разнообразной информации и стек специальных технологий для работы с ней. Термин применяется к таким объемам данных, с которыми пользовательский компьютер и офисные программы не справятся. С помощью анализа больших данных бизнес может получить возможность принимать решения по развитию продукта и завоевывать конкурентное преимущество.

Термин Big Data появился еще в прошлом веке, но начал набирать популярность, когда появились первые крупные интернет-сервисы. Компании столкнулись с тем, что пользователи загружают на сайты колоссальные объемы неструктурированного контента.

Это заставило разработчиков придумывать новые типы хранилищ данных, поскольку стандартных уже не хватало. Первой платформой, которая взяла на себя работу с такими объемами данных, стала [Hadoop](https://ru.wikipedia.org/wiki/Hadoop). К настоящему времени она обладает мощным стеком инструментов.

## Особенности больших данных {#features}

Термин «большие данные» слышал почти каждый, но часто он употребляется ошибочно. Существует шесть основных критериев или шесть «V», которые помогут определить, что перед вами Big Data:

1. Volume (объем) — информации должно поступать более 150 Гб в сутки.
1. Velocity (скорость) — для работы с массивами информации в режиме реального времени требуются повышенные вычислительные мощности.
1. Variety (разнообразие) — поступающая информация имеет разные форматы или степень структурированности. Например, контент социальных сетей может сильно различаться даже в пределах одной страницы.
1. Veracity (достоверность) — источникам данных можно доверять, а результат их обработки обладает достоверностью, достаточной для принятия решений.
1. Variability (вариативность) — поток данных изменчив, на него может влиять даже время суток или погода. Например, в час пик приходит больше данных от таксистов.
1. Value (ценность) — данные могут иметь разное значение для компании. Например, сделки с крупными покупателями имеют большее значение, чем с мелкими.

**Примеры типов данных**

Большие данные | Обычные данные
---------------|------------------
Записи всех звонков сотрудников крупного колл-центра. | Бухгалтерские отчеты компании в Excel.
Поисковые запросы, переходы по ссылкам, движения и нажатия мыши всех пользователей Яндекса. | ФИО и возраст всех пользователей сервиса Яндекс Лавка.
Сведения о перемещениях таксистов, трафик и спрос на поездки. | Расписание маршрутов всего общественного транспорта области.
Информация о покупках клиентов банка и снятии ими наличных в терминалах и отделениях. | Список клиентов с просроченными задолженностями.

Еще одна особенность больших данных заключается в их распределенной структуре — для сбора и анализа информации одновременно используется множество инструментов. Получается что-то наподобие воронок, которые пропускают информацию из разных источников, попутно обрабатывая ее. В умелых руках это дает ряд преимуществ:

* Расширяемость — платформы для работы с Big Data можно горизонтально масштабировать до тех пор, пока хватает вычислительных мощностей.
* [Отказоустойчивость](../architecture/fault-tolerance.md) — сбой в одном потоке не нарушает работу других.
* Локализация — информация обрабатывается на тех же серверах, где она находится, что минимизирует затраты на транспортировку.

## Работа с Big Data {#work}

До начала создания базы данных нужно определить, какие технологии планируется использовать для сбора, хранения, обработки и анализа информации. Чтобы лучше понимать эти процессы, рассмотрим этапы работы с Big Data:

* **Сбор**

    Все начинается с интеграции технологий сбора информации, определения ее источников и необходимой обработки. Это могут быть действия пользователей сайта, отчеты о продажах, статистические, медицинские и любые другие данные, которые ценны для компании. К процессу также подключаются специалисты по Data Cleaning, которые настраивают фильтры для будущего анализа.

* **Хранение**

    Для таких объемов информации недостаточно будет даже нескольких компьютеров, поэтому компании прибегают к услугам облачных провайдеров и задействуют распределенные вычислительные мощности. Примеры технологий, которые используются для хранения:

    * [Data Warehouse](https://yandex.cloud/ru-kz/blog/posts/2022/06/data-warehouse) — единое корпоративное хранилище с обработанной и структурированной информацией. Хранилище упрощает анализ полученных данных, но требует структурированности.
    * [Data Vault](datavault.md) — одна из моделей хранилища Data Warehouse с временными отметками размещения данных, которые позволяют проследить изменение хранимой информации во времени.
    * [Data Lake](datalake.md) — данные в хранилище поступают непрерывно в неструктурированном или, наоборот, структурированном или слабоструктурированном виде. Используется для сбора данных из разных источников в режиме реального времени.
    * [Data Mart](datamart.md) — хранилище данных, предназначенных для повседневного использования. Поступающую информацию необходимо тщательно обрабатывать, но после этого к ней проще регулярно обращаться.

* **Обработка**

    Для обработки крупных объемов информации используется технология [MapReduce](https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html). Массивы распределяется на разных узлах, которые могут параллельно их обрабатывать, даже если на одном узле случилась ошибка. На MapReduce, например, работают кластеры Apache Spark™, Apache Hadoop®.

* **Анализ**

    Заключительным этапом работы является анализ — получение самого ценного из всего хранилища данных. С помощью СУБД, нейросетей и других инструментов массивы информации преобразуются в таблицы, диаграммы, графики и другое. Примеры назначения анализа:

    * Сравнительная аналитика — изучение поведения потребителей и их вовлеченность в режиме реального времени, чтобы сравнить продукт компании с продуктами конкурентов.
    * Аналитика настроений — изучение отзывов клиентов и обсуждений продукта в соцсетях, чтобы выявить слабые стороны продукта и уровень удовлетворенности потребителей.
    * Маркетинговая аналитика — изучение данных о клиентах, чтобы улучшить маркетинговые компании и разработать бизнес-инициативы.

### Специалисты для работы с Big Data {#specialists}

Можно выделить несколько групп специалистов, без которых вряд ли удастся организовать хранилище больших данных:

* Инженеры — создают инфраструктуру для сбора и хранения данных. К ним относятся также разработчики центров обработки данных и сотрудники облачных сервисов.
* Аналитики — помогают находить скрытые закономерности и вырабатывать решения по улучшению продукта. Это не только дата-сайентисты, но и маркетологи, дизайнеры интерфейсов, специалисты по обработке естественного языка и другие.
* Специалисты по нейросетям и машинному обучению — подключают к работе искусственный интеллект, упрощающий анализ массивов информации.

## Применение Big Data {#usage}

Необходимость в хранилище больших сегодня возникает практически у каждой крупной компании. Рассмотрим примеры из разных отраслей, для которых может потребоваться внедрение хранилища больших данных.

* **Телекоммуникации.** Отрасль является абсолютным лидером по использованию Big Data: около 90% телекоммуникационных компаний уже собирают и анализируют большие данные, а остальные планируют начать в будущем. Например, такие онлайн-сервисы, как YouTube, VK и другие не смогли бы существовать без объемных хранилищ данных.

* **Продажи.** Немецкий производитель автомобилей BMW несколько лет назад решил собрать данные о своих продажах, продажах конкурентов, а также отследить, где автомобили этой марки пользуются наибольшим спросом. Анализ и визуализация информации помогли им выявить слабые и сильные места своего бизнеса и внести коррективы в стратегию компании.

* **Маркетинг.** Сложно представить, какое количество потребительских данных непрерывно поступает на серверы гиганта электронной коммерции Amazon. Благодаря анализу больших данных ритейлер в курсе интересов покупателей, а также предлагает собранную информацию другим компаниям, которые тоже используют ее в маркетинге.

* **Банкинг.** Такие банки, как СберБанк, Тинькофф и многие другие с помощью Big Data не только анализируют действия клиентов и предлагают им свои продукты, но и повышают безопасность. Например, биометрические данные клиентов помогают им бороться с мошенниками, а анализ доходов и затрат клиентов — оценивать их кредитоспособность.

* **Транспорт.** Получение больших объемов данных от водителей в режиме реального времени может сильно помочь сервисам такси. Так, Яндекс.Такси отслеживает спрос и количество водителей на территории, что позволяет предлагать клиентам актуальные цены.

* **Подбор персонала.** Рутинную работу по подбору кандидатов в крупных компаниях уже давно выполняют роботы, которые анализируют многочисленные резюме без помощи рекрутеров. Например, компания PepsiCo заполнила 10% своих вакансий с помощью робота. По словам представителей производителя, искусственный рекрутер может провести 1500 интервью за 9 часов, на что у HR-сотрудника ушли бы месяцы.

* **Автомобилестроение**. Наличие хранилища больших данных и умелых специалистов по их анализу иногда может даже спасти жизни. Например, компания Toyota с помощью Big Data выяснила, что большинство аварий происходит из-за того, что водители путают педали. Производитель начал разработку сервиса по определению манеры давления на педаль, который помешает водителю сделать ошибку во время стрессовой ситуации.

## Недостатки Big Data {#disadvantages}

Несмотря на очевидную пользу, пользователи больших данных сталкиваются с рядом трудностей:

* **Сложность.** Чтобы правильно собирать, фильтровать, обрабатывать и анализировать разрозненную и разнообразную информацию, требуется труд множества квалифицированных [специалистов](#specialists), а также вычислительные мощности и инфраструктура.

* **Затраты.** Специалисты по работе с данными очень востребованы, для хранения и обработки требуются серьезные вычислительные мощности, а многие инструменты являются платными.

* **Безопасность.** Чем больше у вас важной информации, тем выше риски, что она попадет не в те руки. Так, если взломать хранилище данных банка, то миллионы его клиентов могут остаться без денег. Чтобы не допустить этого, нужен основательный подход к сохранности данных и квалифицированные специалисты.

## Реализация хранилища Big Data с помощью сервисов Yandex Cloud {#bigdata-yc}

Yandex Cloud предлагает следующие инструменты для работы с большими данными:

Назначение | Сервис | Документация сервиса
-----------|--------|---------------------
Обработка транзакций | [Managed Service for PostgreSQL](https://yandex.cloud/ru-kz/services/managed-postgresql/)<br>[Yandex StoreDoc](https://yandex.cloud/ru-kz/services/storedoc/)<br>[Managed Service for MySQL®](https://yandex.cloud/ru-kz/services/managed-mysql/) | [Документация Managed Service for PostgreSQL](../managed-postgresql/index.md)<br>[Документация Yandex StoreDoc](../storedoc/index.md)<br>[Документация Managed Service for MySQL®](../managed-mysql/index.md)
Запросы и отчеты | [Yandex Data Processing](https://yandex.cloud/ru-kz/services/data-proc)<br>[Yandex MPP Analytics for PostgreSQL](https://yandex.cloud/ru-kz/services/managed-greenplum/)<br>[Managed Service for ClickHouse®](https://yandex.cloud/ru-kz/services/managed-clickhouse/) | [Документация Yandex Data Processing](../data-proc/index.md)<br>[Документация Yandex MPP Analytics for PostgreSQL](../managed-greenplum/index.md)<br>[Документация Managed Service for ClickHouse®](../managed-clickhouse/index.md)
New SQL | [Managed Service for YDB](https://yandex.cloud/ru-kz/services/ydb/) | [Документация Managed Service for YDB](../ydb/index.md)
Документоориентированная СУБД | [Yandex StoreDoc](https://yandex.cloud/ru-kz/services/storedoc/) | [Документация Yandex StoreDoc](../storedoc/index.md)
Резидентная СУБД | [Yandex Managed Service for Valkey™](https://yandex.cloud/ru-kz/services/managed-redis/) | [Документация Yandex Managed Service for Valkey™](../managed-valkey/index.md)
БД «ключ — значение» | [Yandex Data Processing](https://yandex.cloud/ru-kz/services/data-proc)<br>[Yandex MPP Analytics for PostgreSQL](https://yandex.cloud/ru-kz/services/managed-greenplum/)<br>[Yandex StoreDoc](https://yandex.cloud/ru-kz/services/storedoc/) | [Документация Yandex Data Processing](../data-proc/index.md)<br>[Документация Yandex MPP Analytics for PostgreSQL](../managed-greenplum/index.md)<br>[Документация Yandex StoreDoc](../storedoc/index.md)
БД временных рядов | [Managed Service for ClickHouse®](https://yandex.cloud/ru-kz/services/managed-clickhouse/) | [Документация Managed Service for ClickHouse®](../managed-clickhouse/index.md)
Потоковая обработка | [Yandex Data Processing](https://yandex.cloud/ru-kz/services/data-proc)<br>[Managed Service for Apache Kafka®](https://yandex.cloud/ru-kz/services/managed-kafka/) | [Документация Yandex Data Processing](../data-proc/index.md)<br>[Документация Managed Service for Apache Kafka®](../managed-kafka/index.md)
Полнотекстовый поиск | [Managed Service for OpenSearch](https://yandex.cloud/ru-kz/services/managed-opensearch/) | [Документация Managed Service for OpenSearch](../managed-opensearch/index.md)
Очередь сообщений | [Message Queue](https://yandex.cloud/ru-kz/services/message-queue/) | [Документация Message Queue](../message-queue/index.md)

### Полезные материалы {#see-also}

* [Бизнес-аналитика и визуализация данных в облаке](https://yandex.cloud/ru-kz/solutions/data-analysis)
* [Рекомендательная система для ритейла и e‑commerce](https://yandex.cloud/ru-kz/solutions/recommendation-system)
* [Data Science в облаке](https://yandex.cloud/ru-kz/solutions/data-science)
* [Корпоративное хранилище данных](https://yandex.cloud/ru-kz/solutions/data-warehouse)
* [Автоматизация колл‑центров в облаке](https://yandex.cloud/ru-kz/solutions/call-center)
* [Анализ потока изменений Debezium](../query/tutorials/debezium.md)

_ClickHouse® является зарегистрированным товарным знаком [ClickHouse, Inc](https://clickhouse.com)._