Публикации
21 октября 2024
Искусственный интеллект, о котором мы будем говорить в этой статье, представляет собой алгоритмы обработки больших данных, используемые для достижения маркетинговых бизнес-целей и создания нового клиентского опыта. В настоящее время эти алгоритмы работают с узкоспециализированными задачами (т.н. «слабый» искусственный интеллект), поэтому мы сконцентрируемся на основных направлениях развития алгоритмов ИИ, имеющих наибольший бизнес-эффект и нашедших применение на проектах нашей компании.
В начале был маркетинг
Исторически сложилось, что первой областью широкого применения ИИ на больших данных стал как раз маркетинг – это продемонстрировала компания Google на рубеже 2000-х, создав систему хранения Google File System и алгоритмы индексации, на основе которых строились рекомендации рекламы в онлайне. Первоначально большие данные определялись через 3 V: объем данных (Volume), скорость создания новых данных (Velocity) и разнообразие типов данных (Variety). Впоследствии к этому определению добавились Ценность для бизнеса, создаваемая при их обработке алгоритмами ИИ, и Достоверность данных.
Источниками больших данных, помимо очевидных CRM-систем и данных по клиентским транзакциям, стали системы веб-аналитики и мобильной аналитики, к которым позднее присоединились данные из соцсетей и других открытых источников. К ним добавляются и закрытые источники: бюро кредитных историй (БКИ), операторы фискальных данных (ОФД), базы страховой истории (ДиКБМ и БСИ РСА). Центром сборки стал единый профиль клиента, который постепенно стал ключом доступа ко всем прочим связанным данным. Развитие хранения данных о клиенте проходит путь от централизации данных в DWH/DataLake (аналитическом хранилище) к разделению данных по частоте обращения.
На одном из таких проектов, реализованных «Иннодата», сокращенный профиль клиента хранится в in-memory хранилище (Tarantool) для максимальной скорости и безопасности транзакций доступа, веб-аналитика – в колоночном Clickhouse для ускорения обработки, а прочие транзакции – в «холодном» Datalake на Hadoop. Это позволяет как защитить клиентские данные, так и ускорить их обработку, которую не могут обеспечить большие озера данных. Отдельно стоит отметить растущую роль систем управления данными, которые позволяют обеспечить их прозрачность и эффективность применения на уровне компании.
Эволюция обработки клиентских данных
При обработке клиентских данных мы сталкиваемся с дилеммой – клиенты не всегда хотят ими делиться, для передачи и хранения данных требуются разрешения, а эффективность обработки может расти только с ростом объема данных, что не всегда возможно на конкурентном рынке с разделением их хранения. К тому же, часть больших данных может не покидать устройство/ПО клиента (смартфон, браузер). Изначально эта проблема решалась через обмен и передачу данных между их владельцами при предоставлении некого идентификатора (cookie, хэш персональных данных). Однако скорость роста больших данных зачастую превышает возможности компаний по их обработке.
Развитие видится в более широком использовании технологий федеративного машинного обучения (FedML), когда данные не покидают устройство клиента либо базу с персональными данными, а между участниками обмена передаются только результаты обработки локальными алгоритмами ИИ, на основе которых строится глобальная модель клиентского поведения и рекомендаций, которой в итоге пользуются все участники. Например, такой подход можно применить в скоринге клиентов, а также в динамическом ценообразовании и персонализации рекомендаций – нами уже проводятся успешные пилоты в данной сфере. Таким образом происходит децентрализация хранения, повышающая безопасность, и централизация обработки, повышающая эффективность.
Векторы применения ИИ
Итак, мы разобрались с хранением больших данных о клиентах, но пока непонятно – для чего используется их обработка? По нашему опыту, основной вектор применения алгоритмов ИИ, создающий бизнес-ценность для маркетинга, – персонализированные предложения и коммуникации, повышающие эффективность взаимодействия с клиентами.
Их создание начинается с моделей сегментации клиентов, которые первоначально были статическими (используем социально-демографические факторы и разделим всех на группы по предпочтениям продуктов), и постепенно переходят к динамическим моделям. Примером может служить RFM-сегментация (поделим клиентов по частоте, давности и сумме покупок), которая постепенно вытесняется моделями оттока и CLTV-сегментацией (отслеживаем жизненный цикл клиента и сумму его покупок, объединяем в похожие группы).
Далее идет подбор персональных предложений: скидки, cross-sell, up-sell, кастомизация продукта. Здесь алгоритмы ИИ помогают выбрать направление (определить чувствительность к скидке либо предпочтения по cross-sell) и сформировать комплексное предложение (скидка + up-sell) для динамических групп либо даже отдельных клиентов. Это предложение коммуницируется через различные онлайн-каналы – исторически первым был e-mail, также это может быть push в МП либо сообщение в чат-боте. Алгоритмы ИИ используются для определения наиболее эффективного канала, подбора персонального времени отправки и даже составления персонального текста коммуникации. Таким образом, маркетинговая коммуникация становится омниканальной, максимально целевой и удобной для клиента, а также экономически эффективной для компании – это требование часто встречается на проектах, реализуемых экспертами «Иннодата».
Отдельно остановимся на оценке эффекта маркетинговых коммуникаций. Кроме расчета ROMI и основанных на матстатистике A/B-тестов с глобальной контрольной группой, алгоритмы ИИ используются для атрибуции канала продажи на основе больших данных. Это позволяет оценить вклад каждого канала и кампании, а не только последнего в цепочке продажи. Другой способ применения – алгоритмы «многоруких бандитов», позволяющие не дожидаться итогов A/B или сплит-теста, а постепенно переходить на наиболее эффективную коммуникацию по мере набора статистики. И конечно, стоит отметить uplift-модели, позволяющие оценить чистый эффект от коммуникации, определив тех клиентов, которые совершат целевое действие только при ее получении.
Чат-боты и персонализация коммуникаций
Алгоритмы ИИ также используются в чат-ботах и поддержке клиентов в реальном времени. Эволюция чат-ботов часто связывается с эволюцией самого ИИ и прохождением теста Тьюринга, однако это не совсем верно. Из личного опыта, чат-бот для ICQ в середине 2000-х годов был основан на бизнес-правилах и ограниченном наборе реакций, связанных в жесткий алгоритм с большим числом ветвлений. При этом он позволял поддерживать диалоги на заранее заданную тему в течение 2-10 минут, прежде чем пользователь догадывался, что общается с программой. Использование словарей для ключевых слов и действий тогда предоставляло возможность эффективно имитировать общение на естественном языке в пределах словаря и описанных действий.
Однако действительное развитие это направление получило с появлением двух технологий ИИ - распознавания интентов (намерений пользователя) и обучения на истории диалогов. В результате классификация запросов и эффективность ответов стали ограничены только накопленной базой взаимодействия с клиентом. Данное ограничение было частично снято, когда появились чат-боты, использующие общение на естественном языке с помощью больших языковых моделей (LLM) и интеллектуального поиска в базах знаний с генерацией ответа (RAG). При этом возникают другие сложности – большие корпоративные базы знаний содержат тысячи документов, а контекстное окно LLM сейчас ограничено десятками страниц. В итоге на одном из таких проектов мы реализовали предварительную классификацию обращений, комбинируя подходы с распознаванием интентов и поиск среди векторизованных частей документов с помощью LLM. Далее генерация ответа производится только из подборки релевантных запросу документов, помещающихся в контекстное окно LLM.
Наиболее продвинутые чат-боты сейчас сочетают преимущества всех этих технологий, и развитие идет в сторону мультимодальных чат-ботов, которые позволяют легко переключаться с текстового канала на голосовой, получая дополнительную информацию по тону и темпу разговора, а также использовать распознавание полученных изображений в чате и запросы в сторонние системы компании. Это уже позволяет создавать новый клиентский опыт в коммуникации, а не только повышать их эффективность.
Развитие ИИ и новый клиентский опыт
Какие технологии ИИ также претендуют на трансформацию клиентского опыта? Отметим ещё несколько примеров, показавших эффект на практике.
- Геотаргетинг и геоаналитика – обезличенные данные о перемещениях групп клиентов, имеющиеся у телеком-операторов, позволяют не только строить описательную аналитику (насколько эффективно будет открыть офлайн-магазин в конкретной локации), но и персонализировать предложения на основе гео-трека и групп look-alike.
- Системы «голос клиента» (Voice-of-Customer) – собирают открытые данные из соцсетей и мессенджеров по тематикам, связывают их с профилем клиента в базе компании, позволяют оперативно обрабатывать обращения и реакции из соцсетей, а также разрабатывать новые продукты на основе отзывов и предпочтений.
- Распознавание эмоций по голосу – позволяет повысить эффективность голосовых чат-ботов, меняя стиль общения под клиента.
- Скоринг по лицу и движениям – позволяет выстраивать эффективные коммуникации даже в офлайне, используя результаты теста BigFive, отсекая девиантное и опасное поведение в офисах компании. Также технология используется в поведенческом онлайн-скоринге.
- Поведенческая аналитика в онлайне – использует персональные треки поведения клиента на сайте и в мобильном приложении (МП), сравнивая их с поведением целевых групп. Это позволяет делать персонализированные предложения, тестировать регулярные изменения на сайте и в МП и даже персонализировать их контент в ходе онлайн-сессии.
Некоторые из примеров могут показаться пугающими, однако эти кейсы пока относятся к зоне развития технологий ИИ. Как мы видим из истории, в результате будут использоваться только наиболее эффективные и безопасные из них. Развитие технологий ИИ для коммуникаций с клиентами не останавливается уже третий десяток лет и часто открывает эту сферу с неожиданных и интересных ракурсов.
Александр Борисов, руководитель направления Data Science компании «Иннодата», для издания «IT-world».