Удк 004.75

Большие данные представляют собой структурированные и неструктурированные данные огромных объёмов и типов представления, эффективная обработка которых требует специализированных методик и программных средств. С появлением новых технологических возможностей анализа огромных массивов данных появилось данное понятие, формализованное в серии научных публикаций конца 2000-х гг., первой из которых считается статья Клиффорда Линча [1].

Бесспорно, огромные массивы информации требуют новейших технологий, позволяющих собирать, анализировать, визуализировать и хранить сложные наборы данных. Во многих научных статьях отмечается, что большие данные сочетают в себе всевозможные виды ИТ-технологий: оперативный поиск, систематический сбор и обработку, статистический анализ, а также вычисления больших массивов данных. Благодаря передовым технологиям, большие данные позволяют определить ранее не исследуемые законы и неизвестные корреляции между разрозненной информацией.

Основные сценарии применения больших данных включают пакетную, потоковую и поисковую обработку. Пакетная обработка отличается накоплением больших объемов данных, которые обрабатываются по запросу от пользователей и преимущественно применяется в интернете вещей , облачных вычислениях и интернете. При пакетной обработке данные, обладающие высокой точностью и низкой плотностью, передаются в блочном режиме. Данные сначала накапливаются и анализируются, достигнув определенного объема. Кроме того, поисковая обработка включает в себя анализ потоковых данных и интерактивную обработку данных. Потоковые данные характеризуются бесперебойным анализом ранее не хранимых в памяти потоков данных, которые обрабатываются практически в режиме реального времени и результаты которых формируются мгновенно. Типичное применение потоковой обработки данных заключается в сборе данных – получение журналов, показаний датчиков и прочее в режиме реального времени.

Интерактивная обработка данных преимущественно применяется в системах обработки информации (OLTP, OLAP, Hive, Pig) и в интернете (поисковая система, электронная почта, средства коммуникации в реальном времени и т.д.). Крупнейшими известными системами управления базами данных для интерактивного анализа являются MySQL, Oracle NoSQL Database, MongoDB, Microsoft SQL Server, HBase.

По своей структуре и логике возникновения большие данные относятся к категории данных, генерируемых действиями людей, в первую очередь, их социально-экономической активностью. Кроме указанных выше областей большие данные также находят широкое применение в транспорте, мобильной связи и интернете, медицине, маркетинге, образовании, HR, финтехе [2]. Общая доля больших данных, возникающих при осуществлении технологических операций (промышленные большие данные, далее - ПБД), существенно меньше генерируемых действиями людей. Источниками таких данных являются, как правило, датчики и сенсоры, расположенные непосредственно на оборудовании. Понятие «ПБД» неразрывно связано с понятиями «Киберфизические системы», представляющие комплексные системы из вычислительных и физических элементов, которые непрерывно получают данные из внешней среды и используют их для дальнейшей оптимизации процессов управления.

Исходя из принципа формирования ПБД на текущем уровне развития и внедрения в мире технологий Индустрии 4.0, возможно сформировать основные свойства оборудования, при эксплуатации которого ПБД могут быть получены и использованы в дальнейшем анализе:

1. дорогостоящее оборудование, продление ресурса безаварийной работы которого экономически целесообразно;
2. мелкосерийное и уникальное оборудование, сбор данных об эксплуатации которого позволяет проводить дальнейшую оптимизацию конструкции;
3. оборудование с длительным сроком эксплуатации, формирующее собственную инфраструктуру по его обслуживанию и поддержке в рабочем состоянии;
4. оборудование, аварии и инциденты на котором могут привести к значительным социальным и экономическим последствиям.

Далее рассмотрим архитектуру хранения больших промышленных данных в топливно-энергетическом комплексе. Компании нефтегазовой отрасли управляют сложными системами и для архивирования корпоративными офисными и бизнес-данными применяют распределенные облачные сервисы, ленточные накопители и дисковые массивы. Например, самый большой объем сейсмических данных накапливается в облачных сервисах, в то время как структурные данные хранятся в традиционном дисковом массиве. Благодаря распределенной системе обработки данных Spark, можно получить стандартизированные данные в режиме реального времени. Например, в нефтяной отрасли это будут исполнительные механизмы и датчики системы SCADA. Далее результаты обработки вносятся в кластер Hadoop для анализа соответствующих больших массивов данных и пакетной обработки. Для хранения маркетинговых данных нефтяных компаний используется распределенное хранение данных, а поведение пользователей объясняется корреляционным анализом из кластера Hadoop. Ценность интеллектуального анализа данных заключается в конечном принятии решений на всех трех этапах – upstream, midstream, downstream.

Топливно-энергетический комплекс вынужден решать вопрос, каким образом производить интеграцию и обмен данными. Для данных целей используются облачные вычисления, гарантирующие как массовое хранение и обмен данными, так и интеграцию различных типов аппаратных и программных ресурсов унифицированным и эффективным способом.

Облачные вычисления повышают эффективность работы в нефтяной промышленности. Стоит отметить активное применение анализа ПБД для оптимизации традиционных технологических операций, например, в разведке (при анализе сейсмических данных и построении цифровой модели месторождения), бурении (при оперативном определении параметров бурения на основе поступающей информации), добыче (с целью повышения нефтеотдачи пласта при обладании более полной информацией о текущих физических свойствах нефтяного коллектора) и переработке нефти и газа [3-10]. В области разведки и добычи объем данных позволяет прогнозировать потенциальные запасы нефти и газа, направлять гидравлический разрыв пласта на нефтяном месторождении и повышать уровень извлекаемости нефти и газа. Нефтяные компании используют облачные сервисы для расширения существующих возможностей и обработки массивов сейсмических данных, генерируемых сверхчувствительными сейсмическими датчиками, что позволяет сократить время для принятия управленческих решений.

Для полноты общего исследования был проведен анализ тематических источников информации. Если обратиться к объему публикаций, посвященных использованию ПБД для решения задач, возникающих при транспортировке жидких и газообразных углеводородов трубопроводным и морским транспортом, можно заметить, что он не превышает 3% от всего объема публикаций, посвященных применению ПБД в нефтяной и газовой промышленности.

Риc. 1. Доли публикаций, посвященных применению ПБД в нефтяной и газовой промышленности по объектам исследований [11]

Несмотря на довольно скромную долю примеров использования ПБД в трубопроводном транспорте углеводородов в сравнении с разведкой и добычей, спектр их применения довольно широк, постоянно расширяется и включает в себя следующие аспекты трубопроводного транспорта углеводородов [12]:

• при использовании метода рассеяния магнитного потока для поиска утечек (MFL - Magnetic Flux Leakage), традиционно применяемого при диагностике резервуаров, для определения величины потери металла нефте- и газопроводов [13, 14];
• при расчете модифицированного коэффициента запаса прочности (SF), учитывающего фактические и накопленные за определенный период времени параметры эксплуатации трубопровода [15];
• для расчета продолжительности межсервисного интервала динамического оборудования (насосы, компрессоры) на основании потоковых данных от расположенных на нем датчиков (предиктивная аналитика), что в рамках широко применяемой за рубежом риск-идеологии управления активами позволяет существенно уменьшить операционные затраты на эксплуатацию [16, 17];
• при оптимизации проектных решений сложных технических систем и анализе модельных ПБД (например, газотранспортных систем) [18];
• при построении систем управления целостностью трубопроводов [19];
• при разработке систем управления промышленной безопасности на объектах нефтегазового профиля на основе анализа исторических и текущих данных об авариях и инцидентах [20-22];
• при разработке новых, основанных на больших данных систем поддержки принятия решений [23, 24];
• при разработке систем распознавания возгораний и планов реагирования на них [25].

Благодаря огромному количеству наземных и подземных датчиков, ГЛОНАСС и GPS-координат, метеорологических служб, сейсморазведки и различного измерительного оборудования, компании топливно-энергетического комплекса получают в режиме реального времени данные для мониторинга оборудования, составления графика работ техобслуживания, а также для управления съемкой, планирования геологоразведочных работ, моделирования пластов, а также других процессов.

Нефтегазовые компании активно применяют методы больших данных для таких целей, как автоматическое распознавание сейсмической активности, моделирование пластов, повышение извлекаемости нефти и газа, а также для точного определения аномальных условий и предотвращения травм сотрудников и повреждения оборудования.

Транспортировка углеводородов характеризуется такими особенностями как большой объем данных, высокая производительность чтения и записи данных, высокая надежность и постоянное расширение массивов хранения данных. Технология больших данных в секторе midstream в основном применяется для сбора и мониторинга данных в системе SCADA,

представляющих собой структурированные, неструктурированные или полуструктурированные типы данных. ПБД, полученные от систем SCADA, буровых головок, различных датчиков состояния трубопровода, передаются практически в режиме реального времени и обрабатываются в потоковом режиме.

Особый интерес представляет использование технологий больших данных в мониторинге состояния магистральных трубопроводов, в частности с помощью БПЛА, а также в мониторинге

состояния внутренней поверхности трубопроводов с помощью специальных внутритрубных приборов. В частности, используется инновационная магнитная измерительная и бортовая аппаратура для работы в составе роботизированного комплекса, который предназначен для обследования магистральных трубопроводов внутри них. С измерительного снаряда данные

поступают на пульт оператора, а далее производится их обработка в режиме реального времени. Таким образом, технология больших данных позволяет в полной мере использовать результаты информационных технологий и оцифровки, развивать службы техобслуживания и ремонта, повысить качество контроля, обеспечивая мониторинг и интеллектуальную диагностику. Отдельного рассмотрения заслуживает использование ПБД при решении задач промышленной безопасности, в первую очередь связанных с деятельностью работника на опасном производственном объекте [26, 27, 28].

Выделим следующие факторы, которыми должен обладать успешный проект по применению ПБД:

1. Проект нацелен на решение конкретной и осознаваемой проблемы с четко определенной ценностью ее решения.
2. Проект сочетает в себе современные методы анализа больших данных с традиционными методами инженерного анализа данных.
3. Проект реализуется мультидисциплинарной командой, состоящей из специалистов по работе с данными и технических специалистов.
4. Проект соответствует основным стратегическим документам, определяющим ИТ-архитектуру компании и работу с данными.
5. Проект способен продемонстрировать техническую реализуемость (proof of concept).
6. Проект использует ПБД по причине действительной необходимости их использования, а не их наличия и возможности работы с ними.
7. Проект представляет свои результаты в актуальной и удобной для использования форме: моделях, графиках, ключевых показателях эффективности, рекомендациях и т.д.

Выводы

На сегодняшний день в ходе анализа и прогнозирования компании топливно-энергетического комплекса исследуют информационные закономерности и находят решения благодаря передовым информационным технологиям. Вышеприведенный анализ показывает, что общие принципы и механизмы генерации ПБД, методы их анализа и интерпретации являются зрелыми элементами управления данными. Исследования ПБД в нефтегазовых компаниях затрагивают по большей части обработку технологических данных, интеллектуальную систему поддержки принятия решений на базе огромного количества возможностей распознавания и обработки данных. Характер публикаций свидетельствует о значительном накопленном опыте использования ПБД для повышения ценности продуктов организаций различного профиля, в ряде случаев, переходящем на уровень рутинных операций, что позволяет рассчитывать на высокий отраслевой уровень технологий работы с ПБД при принятии компаниями решений об использовании промышленных баз данных в своей деятельности. Среди потенциальных выгод от их использования можно перечислить следующие:

• получение необходимой для анализа информации в режиме реального времени;
• рост эффективности и повышение уровня безопасности использования производственных мощностей;
• оптимизация процедур управленческого учета.

Таким образом, применение больших данных в трубопроводном транспорте и в целом в нефтегазовой отрасли является важной составляющей цифровизации отрасли, позволяя делать более эффективными и управляемыми как бизнес-процессы, так и технические процессы эксплуатации, ремонта и технического обслуживания.

Список литературы

• Lynch, C., “Big data: How do your data grow?” Nature 455. 2008. Р. 28–29. URL: https://doi.org/10.1038/455028a
• Aslam Abdullah M., Aseel A., Rithul Roy, Pranav Sunil, “Predictive big data analytics for drilling downhole problems: A review”, Energy Reports, Volume 9, December 2023. P. 5863-5876.
• Yang Zhifeng, Han Fei, Feng Xuehui, Yuan Qi, Cao Zhen, Zhang Yidan, “Cloud Computing and Big Data for Oil and Gas Industry Application in China”, Journal of Computers, Volume 14, Number 4, April 2019.
• H. Hassani and E.S. Silva, “Big data: a big opportunity for the petroleum and petrochemical industry,” OPEC Energy Review, Volume 42, no. 1. 2018. Р. 74-89. doi:10.1111/opec.12118
• Mehdi Mohammadpoor, Farshid Torabi, “Big Data analytics in oil and gas industry: An emerging trend”, Petroleum, Volume 6, Issue 4, December 2020. P. 321-328. URL: https://doi.org/10.1016/j.petlm.2018.11.001
• Syaifullah, K. I., The Use of Big Data in The Oil and Gas Upstream Industry, Indonesian Journal of Energy, 2 (1), February 2019. P. 14-28. URL: https://doi.org/10.33116/ije.v2i1.31
• Vega-gorgojo, Guillermo & Fjellheim, Roar Arne & Roman, Dumitru & Akerkar, Rajendra & Waaler, Arild, “Big Data in the Oil & Gas Upstream Industry - A Case Study on the Norwegian Continental Shelf,” Oil Gas European Magazine, 42(2), June 2016. P. 67-77. URL: https://www.researchgate.net/publication/305416575
• Jas Nitesh Desai, Sivakumar Pandian, Rakesh Kumar Vij, “Big data analytics in upstream oil and gas industries for sustainable exploration and development: A review”, Environmental Technology & Innovation, Volume 21, February 2021, 101186. URL: https://doi.org/10.1016/j.eti.2020.101186.
• S. L. Nimmagadda, T. Reiners, and A. Rudra, “An upstream business data science in a big data perspective,” Procedia Computer Science, vol. 112. 2017. Р. 1881-1890.
• Nguyen, Trung and Ray Gosine, “A Systematic Review of Big Data Analytics for Oil and Gas Industry 4.0,” IEEE Access, March 2020, Р. 61183-61201. DOI: 10.1109/access.2020.2979678
• Robert K. Perrons, Jesse W. Jensen, “Data as an asset: What the oil and gas sector can learn from other industries about “Big Data”, Energy Policy, Volume 81, 2015. P. 117-121. URL: https://doi.org/10.1016/j.enpol.2015.02.020
• Layouni, M., Hamdi M. S., & Tahar S., “Detection and sizing of metalloss defects in oil and gas pipelines using pattern-adapted wavelets and machine learning,” Applied Soft Computing, Volume 52, 2017. P. 247–261. URL: https://doi.org/10.1016/j.asoc.2016.10.040
• Mohamed, A.A., Hamdi, M. S., & Tahar, S., A Machine Learning Approach for Big Data in Oil and Gas Pipelines, August 2015, Conference: 3rd International Conference on Future Internet of Things and Cloud (FiCloud). DOI:10.1109/ficloud.2015.54
• Hewei Zhang, Shaohua Dong, Jiatong Ling, Laibin Zhang, Brenda Cheang, A modified method for the safety factor parameter: The use of big data to improve petroleum pipeline reliability assessment, Reliability Engineering & System Safety, Volume 198, 2020.
• Hussain, Muhammad & Zhang, Tieling, Potential of Big Data Analytics for Energy Pipeline Integrity Management, February, 2023.
• Tarrahi, Mohammadali, and Arash Shadravan. Intelligent HSE Big Data Analytics Platform Promotes Occupational Safety. Paper presented at the SPE Annual Technical Conference and Exhibition, Dubai, UAE, September, 2016.
• Lang Huang, Chao Wu, Bing Wang, Qiumei Ouyang, Big-data-driven safety decision-making: A conceptual framework and its influencing factors, Safety Science, Volume 109, 2018. P. 46-56. URL: https://doi.org/10.1016/j.ssci.2018.05.012
• Lin Xie, Solfrid Håbrekke, Yiliu Liu, Mary Ann Lundteigen, Operational data-driven prediction for failure rates of equipment in safety instrumented systems: A case study from the oil and gas industry, Journal of Loss Prevention in the Process Industries, Volume 60, 2019. P. 96-105. URL: https://doi.org/10.1016/j.jlp.2019.04.004
• Qiumei Ouyang, Chao Wu, Lang Huang, Methodologies, principles and prospects of applying big data in safety science research, Safety Science, Volume 101, 2018. P. 60-71. URL: https://doi.org/10.1016/j.ssci.2017.08.012
• Tan, Kim Hua, et al. Using Big Data to Manage Safety-Related Risk in the Upstream Oil & Gas Industry: A Research Agenda. Energy Exploration & Exploitation, Feb. 2016. SAGE. URL: https://doi.org/10.1177/0144598716630165
• Azzedin F., Ghaleb M. Towards an Architecture for Handling in Oil and Gas Industries: Service-Oriented Approach. International Journal of Advanced Computer Science and Applications, Volume 10 (2), 2019. P. 554-562. URL: https://www.researchgate.net/publication/331475691_Towards an Architecture - for Handling Big Data in Oil and Gas Industries Service-Oriented Approach
• Chen M., Mao S., Zhang Y., Leung V., “Big Data. Related Technologies, Challenges and Future Prospects”, Springer, 2014. P. 89.
• Cowels, D. Oil, gas, and data, O’Reilly Media, Inc., April, 2015. URL: https://www.oreilly.com/ideas/oil-gasdata
• АО «Транснефть – Диаскан» разработало магнитную измерительную систему для внутритрубного обследования технологических трубопроводов // URL: https://ndtspace.ru/novosti/102
• Баширов К. И., Костенко М. С., Дятлов А. М. Опыт использования больших данных в российских нефтяных компаниях // Вестник магистратуры. 2019. №8-2 (95). С. 21-23. URL: https://cyberlenika.ru/article/n/opyt-ispolzovaniya-bolshih-dannyh-v-rossiyskih-neftyanyh-kompaniyah (Дата обращения: 20.02.2024).
• Буян Р. А. Информационные технологии и бизнес-процессы. Роль информационных технологий в управлении структурой бизнес-процессов // Российское предпринимательство. 2009. № 5-1. С. 64-70.
• Курмель Р. С. Анализ больших данных в нефтегазовой промышленности // Проблемы геологии и освоения недр: Труды XXIV Международного симпозиума имени академика М.А. Усова студентов и молодых учёных, посвященного 75-летию Победы в Великой Отечественной войне, Томск, 6–10 апреля 2020 г. Т. 2. – Томск: Национальный исследовательский Томский политехнический университет, 2020. С. 100-102.
• Низамова Г. З., Гайфуллина М. М. Сценарный подход к оценке эффективности инвестиционного проекта строительства магистрального нефтепровода. 2019. DOI: 10.17122/ntj-oil-2019-1-96-107
• Прохоров А.В., Носков И.В. Мониторинг магистральных нефтегазопроводов при помощи беспилотных летательных аппаратов // Вестник Евразийской науки. №6, 2022. Т. 14. URL: https://esj.today/issue-6-2022.html
• Селезнев В.Е. Современные компьютерные тренажеры в трубопроводном транспорте: математические методы моделирования и практическое применение: монография / В.Е Селезнев, В.В. Алешин, С.Н. Прялов. - Москва; Берлин: Директ-Медиа, 2014. – 199 с.
• Чекушина Т.В., Шафеева Г.Х. Инновационные технологии в строительстве и эксплуатации трубопроводного транспорта. №4 (109), апрель, 2023 г. DOI: 10.32743/UniTech.2023.109.4.15293