Современные наукоемкие технологии все чаще работают с так называемыми Большими Данными (Big Data). Рост отдельных сегментов мирового рынка больших данных будет варьироваться при этом от 21,1 % для сервисов до 53,4 % для систем хранения. Высокий темп роста в сегменте систем хранения больших данных связан с особенностями их использования в настоящий момент. А в 2020 году как минимум 40 % всех новых данных в мире будет генерироваться промышленными датчиками/сенсорами. Это огромный массив информации создаст новый рынок обработки данных величиной порядка 1 трлн долларов (на 2015 год этот рынок предсказывается в 120 млрд долларов) [3].
Несмотря на пока не очень активное распространение технологий больших данных в российской практике, уже сейчас имеет смысл изучать рынок систем по сбору, управлению и обработке больших данных – особенно в области, касающейся оценки качества товаров [2]. И в будущем большие данные, собранные в рознице, могут стать неотъемлемым компонентом общего массива неструктурированных или частично структурированных данных, которые лягут в основу прогнозов по развитию производственных предприятий.
Согласно результатам исследования IDC, 41 % западных компаний на сегодняшний день уже испытывает трудности, связанные со стремительным ростом общего объема информации [4]. По всем прогнозам скорость прироста будет все более ускоряться, а это значит, что большие данные требуют новых, более современных подходов к их хранению и управлению.
В 2013 году 64 % крупнейших мировых компаний либо инвестировали, либо планируют инвестировать немалые средства в развертывание технологий в области больших данных для своего бизнеса. Для сравнения: в 2012 году таких компаний было только 58 %. Лидерами инвестирующих в большие данные отраслей, по результатам исследования Gartner, являются телеком, медиа компании, банковский сектор, а также сервисные компании. Востребованность в новых технологиях по работе с большими данными коррелирует со спецификой работы компании. По мнению экспертов, проблематика интенсивного прироста данных, прежде всего, актуальна для медийных компаний, хранящих огромные массивы видео– и аудиоматериалов, а также другого аналогичного «тяжеловесного» информационного контента. Новые методы работы с большими объемами данных особенно востребованы в банковской и страховой сфере, так как в этих областях существует необходимость хранить всю первичную документацию в отсканированной форме [1].
Управление качеством в области Больших Данных должно быть реализовано согласно общим стандартам менеджмента качества и стандартам менеджмента качества для IT технологий. В частности, для хранения и управления большими данными не подходят традиционные реляционные базы данных, где информация расположены в жестко структурированных ячейках. Необходимо использование специализированных баз данных, имеющих пространственную изменяемую архитектуру, специализированных алгоритмов и программного обеспечения.
Для хранения и обработки данных необходимо специальное программное обеспечение и математические модели, учитывающие специфику больших данных и не требующие максимальной точности результатов.
Автоматический сбор статистики в производстве и сфере услуг (учет истории просмотров, времени просмотра веб-страницы, кликов, отзывов о продукте, информации с пунктов гарантийного обслуживания, изменений в структуре продаж) делает задачу стандартизации качества продукции задачей со множеством параметров.
Современные базы данных, благодаря новым технологиям, способны улучшить доступ к данным в эпоху больших данных.