Что такое аналитика данных?

Одно из определений аналитики данных: «качественные и количественные методы и процессы, используемые для повышения производительности и прибыли бизнеса. Данные извлекаются и классифицируются для выявления и анализа поведенческих данных и моделей, а методы варьируются в зависимости от организационных требований».
Хотя некоторые аналитики данных могут рассматривать большие и сложные данные, также известные как «большие данные», большая часть работы также включает в себя более мелкие данные, такие как внутренние наборы данных и записи компании.
Аналитику данных часто путают с наукой о данных. Аналитика данных больше занимается решением проблем с помощью определенных наборов данных, тогда как наука о данных требует разработки новых моделей и алгоритмов с помощью кодирования и программирования.
Аналитика данных относится к бизнес-аналитике (BI). Тем не менее BI смотрит на интерпретацию прошлых данных, тогда как аналитика также может предсказывать будущее.
Когда аналитика выходит за рамки BI и охватывает такие области, как интеллектуальный анализ данных, машинное обучение, прогнозирование, семантический анализ, анализ настроений, нейронные сети и сопоставление с образцом, ее можно назвать «расширенной аналитикой». Расширенная аналитика является автономной и требует меньше человеческого взаимодействия для интерпретации.

Данные всегда были частью нашей повседневной жизни. С технологическим прогрессом мы просто стали более опытными в сборе и осмыслении этого.
Долгое время правительства использовали переписи для сбора данных для городского планирования и измерения прироста населения. Этот анализ данных занимал годы, чтобы проанализировать, но он был ускорен с созданием машин, которые могли бы читать данные с помощью перфокарт.
Реляционные базы данных были изобретены в 1970-х годах для извлечения информации из баз данных через язык структурированных запросов (SQL). Нереляционные базы данных и NoSQL появились в 1990-х годах, когда появился интернет, и поисковые системы, такие как Google, объединили данные в легко читаемые результаты поисковых запросов.
Примерно в это же время базы данных и хранилища данных породили интеллектуальный анализ данных, который включал получение информации из больших неструктурированных источников данных. В 1997 году исследователи НАСА создали термин «большие данные» для обозначения огромного объема данных, генерируемых суперкомпьютерами.
В 2005 году Google Analytics упростила извлечение полезных данных из онлайн-данных, таких, как время на сайте, число новых и постоянных клиентов, демография аудитории, а также просмотры и посещения веб-страниц. В 2006 году появился Hadoop, который был одним из первых инструментов для обработки больших данных в масштабе.
С выпуском Amazon Redshift и Google BigQuery в течение последних 10 лет аналитика данных перешла в облако, и все отрасли, от здравоохранения до финансовых услуг, начали отдавать предпочтение анализу данных в своей бизнес-стратегии, чтобы оставаться конкурентоспособными.

Каждое назначение аналитики данных отличается, но они часто следуют многоэтапному процессу поиска, проверки, исправления и представления данных для ответа на вопросы. Процедура может выглядеть примерно так:

1. Узнайте, какие типы данных вам нужны, чтобы ответить на конкретные вопросы, и определите цели исследования.

2. Сбор данных, в зависимости от ваших требований. Эти данные могут включать количественный и качественный анализ. Аналитики данных могут собирать эти данные внутри компании с помощью программного обеспечения для управления взаимоотношениями с клиентами (CRM) и планирования ресурсов предприятия (ERP), а также из внешних источников, таких общедоступные данные Google и сторонние сайты. Первичные качественные данные реже используются аналитиками данных, чем количественные данные, но могут включать интервью и личные наблюдения. При сборе данных вы захотите обеспечить согласованность своей методологии (например, задавая всем интервьюируемым одни и те же вопросы).

3. Очистка данных. В исходном наборе данных вы можете найти пропущенные, неполные или повторяющиеся данные, которые могут повлиять на результаты. Вы захотите проверить выбросы и убедиться, что показатели, такие как среднее значение, медиана, режим и диапазон, имеют смысл с учетом контекста. Иногда вам также необходимо преобразовать данные в формат, который читается инструментами анализа данных.

4. Анализ данных с помощью инструментов, выбранных вашей организацией, и проверка статистической значимости результатов.

5. Предоставление результатов. После того как данные собраны и проанализированы, аналитики данных часто должны представить их в удобном для понимания формате. Многие компании разрабатывают внутренние панели мониторинга, которые отслеживают ключевые показатели эффективности с помощью графиков и диаграмм.

Есть несколько различных типов аналитики данных:
1. Описательная аналитика. Этот анализ призван объяснить, что произошло с переменными, такими как доход, продажи, стоимость, демографические данные и т. д. С помощью описательной аналитики организация ищет модели и тенденции. Например, что случилось с продажами женской одежды в июле?

2. Диагностический анализ. Диагностический анализ объясняет «почему» и «как» между определенным набором данных. Например, почему продажи выросли в некоторых торговых точках?

3. Прогнозная аналитика. Как следует из названия, прогнозная аналитика предназначена для прогнозирования будущего и действий, которые необходимо предпринять в зависимости от вероятности поведения переменных.

В зависимости от целей и вариантов использования аналитики данных могут выбирать из множества методов анализа данных для проверки гипотез и закономерностей.

1. Регрессионный анализ. Регрессионный анализ – это статистический метод, который моделирует отношения и корреляции между различными переменными.

2. Факторный анализ. Цель факторного анализа – найти защищаемую структуру, лежащую в основе данных.

3. Когортный анализ. Когортный анализ требует группировки данных по определенным характеристикам.

4. Кластерный анализ. Кластерный анализ гарантирует, что объекты в одной группе больше похожи друг на друга, чем объекты в других группах.

5. Анализ временных рядов. Когда данные могут быть организованы во времени (например, цены на фондовом рынке), анализ временных рядов предсказывает будущее поведение.

6. Анализ текста. При анализе электронных писем, ответов на открытые опросы или сайтов анализ текста включает поиск шаблонов и сводной информации.

Аналитика данных служит нескольким целям в зависимости от отрасли, но это некоторые из наиболее распространенных проблем, которые предприятия решают с помощью аналитики данных.

1. Прогнозирование продаж: на основе роста продаж, исторических результатов и будущих тенденций рынка компании могут прогнозировать будущие показатели продаж с большей точностью.

2. Оптимизация цен: анализ данных помогает компаниям определить ценовую стратегию для различных продуктов и услуг.

3. Предотвращение мошенничества: с помощью более совершенных инструментов анализа больших данных и машинного обучения легче обнаруживать и прогнозировать преступное поведение. Это также относится к страховой, банковской и другим отраслям, связанным с высоким уровнем безопасности.

4. Маркетинговая сегментация, таргетирование и позиционирование. Аналитика данных может показать, ведут ли определенные маркетинговые методы, такие как рекламная кампания или инфографика в социальных сетях, к желаемому ответу. С помощью CRM-систем и демографических данных компании могут получить полное представление о клиентах и лучше понять их покупательское поведение, что может привести к индивидуальным рекомендациям и более индивидуальному охвату.

5. Операционная эффективность: анализируя различные этапы, можно выявить узкие места и предпринять улучшения. Например, добавление дополнительного человека в определенную смену может увеличить скорость производства, а изменение заказов на поставку может привести к увеличению спроса на товары в точках розничной торговли.