Видно издалека: как изменится работа с большими данными в 2023 году

В 2023 году российские компании будут вынуждены расширять механизмы работы с большими данными ради повышения отраслевой конкурентоспособности.

В эту гонку встроятся не только традиционно зависимые от сбора и обработки данных сферы бизнеса вроде банков и ритейла, но даже самые маленькие торгово-сервисные предприятия, как минимум для того, чтобы иметь возможность продать накопившиеся у них данные более крупным компаниям и компенсировать затраты на хранение таких объемов информации. О том, какие тренды будут в наибольшей степени влиять на работу с большими данными, «Эксперту» рассказали специалисты группы ЛАНИТ: руководитель лаборатории инноваций НОРБИТ Дмитрий Демидов и исполнительный директор CleverData Павел Плешков.

предоставлено пресс-службой

Выход в облако

По данным независимого исследования Global CIO, в 2022 году 62% российских компаний в той или иной степени использовали различные программные решения для работы с большими данными, и большинство — 34% участников опроса — внедрили их в последние три года. Это означает, что в 2023 году бизнес в еще большей степени будет зависеть от использования подобных технологий для хранения и обработки больших массивов информации.

Существенные проблемы возникают из-за того, что при переходе определенного порога объема данных в условные 10 Тб, бизнесу нужно искать новые решения, особенно если речь идет о высокотранзакционных и нагруженных базах данных, отмечает в разговоре с «Экспертом» Дмитрий Демидов из НОРБИТ. В России таких сервисов пока немного, но они постепенно выходят на рынок и находят своих клиентов.

Одним из главных решений для работы с большими данными остаются облачные системы, но даже несмотря на то, что такие технологии уже давно существуют на рынке, многие российские компании все еще испытывают значительные сложности с переходом на подобные механизмы хранения и обработки информации. 

предоставлено пресс-службой

«Получается, что компании вынуждены работать только с российскими провайдерами таких решений. Но при этом, опять же по ощущениям, у провайдеров далеко не все хорошо именно по части железа. И даже если у бизнеса есть какой-то колоссальный спрос на переход в облака, не всегда провайдеры могут чисто технически это все обеспечить», — сказал Дмитрий Демидов в беседе с «Экспертом».

Павел Плешков из CleverData добавляет, что набор страхов перед использованием облаков в корпоративном сегменте дополняется недоверием к инфраструктуре, технологиям и способам обработки информации, которые не принадлежат непосредственно самой компании. Однако все так или иначе постепенно приходят к тому, что держать все процессы только во внутреннем информационном контуре нецелесообразно. Этому способствует в том числе взросление собственных российских сервисов, особенно в части безопасности и отказоустойчивости. Сейчас такие провайдеры ориентируются на требования наиболее зависимых от этих параметров компаний, поэтому лучшие практики становятся доступны даже малому и среднему бизнесу.

«Если какая-нибудь парикмахерская осуществляет запись клиентов через интернет, и ее система не будет работать 20 минут, ничего страшного не произойдет. А если приложение одного из самых популярных банков страны не будет работать 20 минут, это совершенно другой порядок проблемы и, соответственно,  другие требования к надежности. Все это напрямую сказывается на конкурентоспособности, которая очень сильно продвинула технологии российских облачных провайдеров», — объясняет Плешков.

Если у крупных компаний могут возникнуть некоторые сложности с поиском соответствующих их задачам облачных сервисов, малому и среднему бизнесу в целом гораздо проще найти подходящее решение. Эти компании, как правило, более гибкие, а объемы их данных помогают им гораздо быстрее и проще мигрировать на новые продукты, объясняет Дмитрий Демидов из НОРБИТ.

Тем не менее уже сейчас при возникновении необходимости мигрировать на другие сервисы крупный бизнес ставит перед собой задачу не просто «переехать», но и получить от этого новый функционал, с помощью которого можно решать абсолютно другие задачи. Этот тренд, уверен Демидов, говорит о том, что бизнес уже обладает выверенным пониманием того, какого функционала ему не хватает в решениях, которые использовались раньше — российским провайдерам это дает возможность развивать свои инструменты и становиться более конкурентоспособными.

Инфраструктурный компромисс

Оба собеседника «Эксперта» отмечают, что в данный момент на рынке продолжает формироваться спрос на такие технологии хранения и обработки данных, при которых часть вычислений переносится во внешнее облако, а часть остается во внутреннем защищенном контуре. Такие решения называются cloud prem и представляют собой синтез форматов cloud и on-prem, говорит Павел Плешков. Они подходят компаниям, для которых использование только облачных решений противоречит корпоративным правилам безопасности.

«Клиенты хотят максимальной безопасности и полного контроля над тем, что у них происходит. Чаще всего под cloud prem подразумевается возможность разворачивать приложения на мощностях, которые, в свою очередь, выделяются в центре обработки данных и по факту являются точно таким же облаком, только виртуальным и частным. Для клиента этот формат решает проблему недоверия к облачным сервисам», — объясняет Плешков.

По словам Дмитрия Демидова, использование такого формата началось еще со времен начала пандемии, когда сотрудникам и аналитикам необходимо было удаленно работать с данными из внутренних защищенных контуров. Тогда из-за сложностей, связанных с добавлением удаленных подключений к таким сетям, многие компании начали частично переносить отдельные инструменты обработки данных в облако, и стало понятно, что такие сервисы уже на тот момент были хорошо готовы к формату гибридной работы и подключению удаленных сотрудников к внутренним сервисам.

«С точки зрения безопасности важно понимать, что в больших облачных сервисах уровень надежности и безопасности ориентирован на самые высокие требования. А у большинства клиентов, которые хотят или вынуждены идти в сторону отказа от облачных решений, не всегда есть соответствующие команды для сертификации обновления и защиты. Иными словами, шанс получить ущерб от кибератаки выше», — говорит Павел Плешков из CleverData.

Еще одно преимущество облачных сервисов над внутренними контурами в том, что на современных платформах обновление механизмов обеспечения безопасности может происходить даже несколько раз в день в автоматическом режиме, а в случае с решениями on-prem они чаще всего устанавливаются в ручном режиме.

«И это достаточно серьезная угроза безопасности, поскольку пока инженеры не закроют условную дыру, компания и ее инфраструктура либо будут вынуждены надеяться на то, что их никто не атакует, либо полностью выключать цифровой инструмент до момента его отладки. В случае с условным банком это означало бы, например, остановку всех финансовых онлайн-транзакций», — поясняет Плешков.

Решения формата cloud prem позволяют в значительной степени нивелировать такие риски, сохранив при этом компромисс между обработкой и хранением данных во внутреннем и внешнем контуре. Дмитрий Демидов из НОРБИТ уверен, что росту их популярности будет способствовать и то, что внедрение таких решений снижает зависимость компаний от работы высококвалифицированных штатных единиц — в первую очередь архитекторов и системных администраторов. В этом прежде всего заинтересованы растущие компании, которые переходят от разрозненных хранилищ и баз данных на более высокий уровень — в зависимости от числа таких компаний будет расти и популярность cloud prem.

Сервер в кармане

Один из зарождающихся, но уверенно набирающих силу трендов на российском ИТ-рынке — использование технологии распределенных вычислений Web Assembley (WASM). По словам Дмитрия Демидова, пока что это весьма специфический инструмент для российских компаний, развитие которого требует не только понятных и перспективных задач и сфер применения, но и обученных специалистов — их на нашем рынке еще пока нет.

Сама технология позволяет перенести отдельные блоки вычислений с серверных мощностей провайдера на устройство клиента. По словам Демидова, этот механизм может пригодиться банкам, которые раньше ориентировались на взаимодействие с клиентами через приложения, но потеряли возможность размещать их на маркетплейсах — том же AppStore, к примеру. Чтобы вернуть пользователям полные возможности по удаленной работе с банком, он может разработать мощный веб-клиент и отвязаться от необходимости искать обходные пути для дистрибуции мобильных приложений.

Павел Плешков из CleverData уверен, что использование клиентских устройств для выполнения все большей части вычислений со временем наберет популярность в силу ряда причин. Во-первых, это в значительной степени поможет разгрузить серверные мощности и снизит потребность корпоративного сектора в их закупке. С другой стороны, к расширению использования WASM разработчиков подталкивают постоянно растущие мощности самих клиентских устройств — ноутбуков и смартфонов, — потенциал которых на данный момент не используется даже наполовину.

В качестве примера таких программных продуктов Павел Плешков приводит инструмент для работы с графикой Figma, с помощью которого любой пользователь может запустить его в браузере без установки программного обеспечения и получить доступ к инструментарию, не уступающему известным продуктам Adobe. Выпуск такого решения и стал одной из причин для поглощения Figma компанией Adobe. Другой пример — программа для архитекторов, проектировщиков и дизайнеров AutoCad, функционал которой также был перенесен в веб-формат.

Шеринг данных, мультимодальность и массовость

По мнению собеседников «Эксперта», с коммерческой точки зрения главным трендом в работе с большими данными станет их использование не только для внутрикорпоративных нужд: уже сейчас накопленные объемы информации во многих секторах открывают возможности по внешней монетизации непосредственно самих массивов.

«Есть современное выражение «данные — это новая нефть». Сейчас эта нефть, если привести аналогию, лежит под землей и никакой реальной коммерческой пользы бизнесу часто не приносит. Но в то же время затраты на хранение этих данных есть, и они довольно ощутимы», — говорит Дмитрий Демидов из НОРБИТ.

В определенной степени расширению практики шеринга данных внутри секторов, когда компании могут делиться ими для наращивания возможностей по машинному обучению своих систем, противоречит тренд на ужесточение законодательной базы в отношении использования персональных данных пользователей. Тем не менее, уверен Демидов, определенная стандартизация механизмов очистки данных от персональной информации и их агрегирования застрахует такие процедуры от попадания под новые правовые практики.

«Понятно, что такие агрегированные данные не появляются из ниоткуда — изначально они привязаны к пользователям сервисов, так что механизм их очистки от персональных данных, шифровки и невозможность развернуть обратно очень важен для всего рынка в целом, — говорит Дмитрий Демидов. — Если выпустить какие-то отдельные программные продукты для такой обработки, то для многих небольших компаний это откроет прямой путь к монетизации накопленных данных. Как минимум, это позволит им окупить затраты на инфраструктуру для их хранения».

Вместе с тем в индустрии постоянно растут требования к скорости обработки информации, причем если раньше сами данные в целом хранились в формате больших таблиц, то сейчас компании внедряют мультимодальность для получения синергетического эффекта от обработки таблиц, видео- и аудиопотоков и прочих форматов. Все это приводит к значительному росту нагрузки на вычислительные мощности, особенно учитывая тот факт, что раньше просчет определенных задач мог занимать вплоть до суток, а сейчас результаты той же работы должны быть доступны буквально в два клика.

«Сейчас появляются кейсы, когда клиент, заходя на сайт, должен там получить ответ по системе рисков. Например, банк должен решить, можно ли выдать кредит своему клиенту. Он не может ждать сутки, пока какой-то алгоритм обработает этот запрос, все нужно делать в моменте. Спрос на такие опции растет постоянно и в очень значительных масштабах», — говорит Дмитрий Демидов.

Павел Плешков из CleverData, в свою очередь, добавляет, что наиболее заметным трендом непосредственно в работе с самими данными станет востребованность определенных компетенций по применению более сложного софта у людей, которые раньше с ним в принципе не сталкивались. Проще говоря, уже в ближайшее время в требованиях к кандидатам во многих областях в дополнение к стандартным офисным пакетам добавятся инструменты работы с данными.

«Если в целом от офисных сотрудников раньше ожидались базовые скиллы, то вскоре они будут вынуждены освоить новые инструменты для работы с данными хотя бы на минимальном уровне. Тот же маркетинг уже сейчас становится больше связан не с рекламой, а с обработкой данных, и люди без умения пользоваться соответствующим программным обеспечением в этих профессиях просто потеряют конкурентоспособность», — подытожил Павел Плешков.