Методология построения распределенных сетей передачи, обработки и хранения данных: сервисные сети следующего поколения. Монография. Том 2
Александр Чесалов
Работа раскрывает новые и дополняет уже рассмотренные подходы к проектированию региональных распределенных сетей передачи, обработки и хранения данных на основе технологий следующего поколения NGN (Next Generation Network), которые позволяют перейти к следующему шагу – проектированию и созданию «сетей будущего», основанных на современных технологиях искусственного интеллекта и машинного обучения.
Методология построения распределенных сетей передачи, обработки и хранения данных: сервисные сети следующего поколения
Монография. Том 2
Александр Чесалов
Дизайнер обложки Александр Юрьевич Чесалов
Иллюстратор Freepik
Редактор Александр Юрьевич Чесалов
© Александр Чесалов, 2023
© Александр Юрьевич Чесалов, дизайн обложки, 2023
© Freepik, иллюстрации, 2023
ISBN 978-5-0060-2054-2 (т. 2)
ISBN 978-5-0060-1445-9
Создано в интеллектуальной издательской системе Ridero
Посвящение
С глубоким чувством благодарности и уважения книга посвящается человеку, который оказал мне бесценную поддержку в принятии жизненных для меня решений, как при поступлении в Тверской государственный технический университет, так и при поступлении в аспирантуру, что, в свою очередь, определило мой дальнейший путь в области информационных технологий. Свою первую «взрослую» работу в Администрации Тверской области в Информационно – аналитическом управлении аппарата Губернатора Тверской области я получил также по его инициативе.
Чтобы понять и оценить тот бесценный вклад, который сделал этот человек в мою судьбу, мне понадобилось двадцать лет. И я рад тому факту, что это понимание ко мне пришло своевременно.
Книга посвящается моему учителю, научному руководителю, заведующему кафедрой «Информационные системы» с 1994 года Тверского государственного технического университета, заслуженному работнику высшей школы Российской Федерации, доктору технических наук, профессору Борису Васильевичу Палюху.
Предисловие
Александр Юрьевич Чесалов.
Член экспертной группы по вопросам цифровизации деятельности Уполномоченного по правам человека в Российской Федерации,
Член Экспертного совета при Комитете Государственной Думы по науке и высшему образованию по вопросам развития информационных технологий в сфере образования и науки.
Разработчик программы Центра искусственного интеллекта МГТУ им. Н. Э. Баумана, программы «Искусственный интеллект» и «Глубокая аналитика» проекта «Приоритет 2030» МГТУ им. Н. Э. Баумана в 2021—2022 годах.
Сертифицированный специалист: IBM Professional certificate foundations of AI, IBM Professional certificate Essential Technologies for Business и др.
Добрый день, дорогие друзья и коллеги!
Представляю вам свою научно-исследовательскую работу на тему «Методология построения распределенных сетей передачи, обработки и хранения данных: сети следующего поколения. Монография. Том 2».
В 2003 году в Тверском государственном техническом университете я защитил кандидатскую диссертацию по теме «Анализ и выбор рациональной структуры региональных распределенных сетей передачи, обработки и хранения данных», специальность 05.13.01 – Системный анализ, управление и обработка информации (в промышленности). На сегодняшний день – это специальность 2.3.1. «Системный анализ, управление и обработка информации, статистика».
В честь двадцатилетия с момента написания своей первой научной работы я принял решение опубликовать накопившийся у меня за последние годы значительный объем материалов, который будет издан в двух книгах:
Том 1. Раскрывает классические подходы к проектированию распределенных сетевых структур на основе разработанной методики анализа функционирования и выбора рациональной структуры региональной сети передачи, обработки и хранения данных в условиях использования разнородных и низкоскоростных каналов связи с целью повышения производительности, а как следствие, ее эффективности функционирования. Основная работа по данному направлению выполнялась в период с 2000 по 2003 годы.
Том 2. Значительно дополняет содержанием том первый и раскрывает новые подходы к проектированию региональных распределенных сетей передачи, обработки и хранения данных на основе технологий следующего поколения – NGN (Next Generation Network), которые, в последствии, позволили перейти к «сетям будущего» (см. стандарты и рекомендации Международного союза электросвязи), функционирующих на основе технологий машинного обучения и искусственного интеллекта. Основная работа по данному направлению выполнялась в период с 2009 по 2011 годы.
На первый взгляд читателю может показаться, что информация в обоих книгах значительно устарела, а подходы и результаты нельзя применить в современной практике. Я и сам так долго думал до того момента, пока в 2021 году меня не пригласили в МГТУ им. Н. Э. Баумана принять участие в создании Центра сильного и прикладного искусственного интеллекта.
Оглядываясь на свою практическую работу за последние двадцать лет я понял, что мои наработки пригодились мне в жизни не один раз.
Результаты научно-исследовательских работ и общие подходы к проектированию сетевых инфраструктур передачи, обработки и хранения данных, которые изложены в данной книге, мною были апробированы на практике неоднократно в разные периоды времени и в разных проектах.
К значимым результатам, основанных на моей работе, можно отнести следующие:
2003 год
Предложенный в работе методологический подход к определению загрузки и производительности сервера центра обработки информации, совместные работы, выполненные в соавторстве с д. т. н. Б.В. Палюхом и к. т. н. С.Л. Федченко, а также разработанная на его основе программа оценки соответствия производительности многопроцессорных ЭВМ числу решаемых задач были реализованы в проекте, выполненным ФГУП «Государственный испытательный центр программных средств и вычислительной техники» (город Тверь) для Центробанка Российской Федерации.
В дополнение к этому результаты работы были использованы в:
– Администрации Тверской области, при проектировании региональной вычислительной сети обработки социально-экономической информации и при реализации проекта целевой программы информатизации – «Создание опорных пунктов информатизации в районных (городских) администрациях и муниципальных образованьях и отработка функционирования системы взаимодействия на базе внедрения электронного документооборота».
– Компании «ЛУКойл-Арктик-Танкер» при разработке сетевого проекта построения распределенной системы электронного документооборота компании на базе СУБД Lotus Domino R5.
2005 год
В период с 2005 до 2008 годы в компании «Сетевые системы» под моим непосредственным руководством проводились научно-исследовательские и опытно-конструкторские разработки (НИОКР) в области информационных технологий и сетевой безопасности.
Одним из основных результатов НИОКР стало создание встраиваемой сетевой операционной системы «PyrOS» для устройств сетевой безопасности: аппаратных файрволлов (firewall), систем обнаружения и предотвращения вторжений (Intrusion Detection Systems – IDS и Intrusion Prevention System, IPS) управляемых коммутаторов и других.
Операционная система «PyrOS» ничего общего не имела с клонированием Linux. Наш опыт в создании собственной системы базировался на знаниях FreeBSD и QNX. Первый прототип был создан на основе FreeBSD и промышленного сервера Advantech FWA-3140. В последующем ядро, драйвера и код были полностью переработаны. Был создан свой перечень управляющих команд и командный интерпретатор.
В последствии данная разработка была высоко оценена на международной выставке CeBIT 2007, как техническое решение, специалистами компаний Intel, Cisco и тогда еще никому не известной компании Huawei.
Подробнее об этой разработке можно узнать из моей книги «Разработка встраиваемой сетевой операционной системы PyrOS»[1 - Чесалов А. Ю. Разработка встраиваемой сетевой операционной системы PyrOS / А. Ю. Чесалов. – 1-е изд. – Москва: Ridero, 2023. – 220 с. – URL: https://ridero.ru/books/razrabotka_vstraivaemoi_setevoi_operacionnoi_sistemy_pyros/ (https://ridero.ru/link/avCPvfZA1v3qP904CHgpb) (дата обращения: 31.05.2023). – Текст: электронный.].
2011 год
Написана диссертация на соискание ученой степени доктора технических наук на тему: «Методология определения операционных характеристик и рациональной структуры региональных распределенных сервисных сетей передачи, обработки и хранения данных». Специальность 05.13.10 – Управление в социальных и экономических системах.
Работа посвящена развитию технологий сетей Next Generation Network (NGN) и применения их для построения региональных распределенных сетей.
Диссертация защищена в Межотраслевом центре эргономических исследований и разработок в военной технике (Тверское отделение (40-я лаборатория) НИИ авиационного оборудования) – филиала Центрального научно-исследовательского института экономики и конверсии (ЦНИЭК).
В том же году в компании «МТС» внедрена, разработанная нами система централизованного хранения, обработки и защиты конфиденциальной информации, расположенной в распределенных центрах обработки информации компании, на удаленных автоматизированных рабочих местах и терминалах – «Atlansys Atlansys Enterprise Security System» (https://atlansys.tech/atlansysess/). Система была установлена на 12 000 рабочих местах.[2 - Свидетельство об официальной регистрации программы для ЭВМ №2008613871. Atlansys Enterprise Security System / С. В. Луньков, А. Ю. Чесалов. – 14.08.2008 г. – М.: Роспатент, 2008.]
2021 год
1. Написана Программа центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана по теме: «Создание платформы машинного обучения для автоматизации интеллектуальных сетей передачи, обработки и хранения гетерогенных данных на основе технологий доверенного искусственного интеллекта». По направлению: «Межотраслевые технологии искусственного интеллекта и искусственный интеллект для иных приоритетных отраслей экономики и социальной сферы».
Основная цель программы Центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана – создание специализированного программного комплекса – платформы машинного обучения для автоматизации обеспечения бесперебойной работы и улучшения качества услуг интеллектуальных сетей передачи, обработки и хранения гетерогенных данных (включая поддержку работы с широкополосными сетями передачи данных, сетями Wi-Fi, сети IoT и д.р.) на основе технологий доверенного искусственного интеллекта, а также:
– работу в распределенных облачных инфраструктурах для решения широкого круга межотраслевых задач индустриальных партнеров;
– создание и тестирование новых алгоритмов обучения нейронных сетей, которые могут применяться в широком спектре кросс-отраслевых прикладных решений;
– сделать существенных шаг для последующих исследованиях в направлении Сильного искусственного интеллекта.
Очень важным аспектом работы данной платформы является реализация задачи поддержания наиболее эффективной нагрузки на сеть по критерию производительности в условиях интенсивной маршрутизации обмена сообщениями. На основании исходных данных платформа может моделировать и прогнозировать поведение сети, информируя оператора о причинах сбоев или снижения эффективности работы сети, или помогая делать прогнозы по улучшению обслуживания сети, а также решать задачи по ее оптимизации.
Созданная «умная» платформа сможет также применяться крупными производственными компаниями при переводе производственных и технологических процессов на уровень «Индустрия 4.0» и промышленного Интернета вещей, для решения задач автоматизации обмена данными о процессах и автоматической реконфигурации без непосредственного участия человека.
Применение машинного обучения и искусственного интеллекта для решения подобных задач автоматизации и оптимизации сетевых параметров интеллектуальных сетей в ближайшем будущем позволит нам перейти к созданию новых сетевых систем – сетей будущего, которые способны автоматически решать сложные оптимизационные задачи и строить самостоятельно алгоритмы построения и развития сетей, что немаловажно, они смогут выполнять оптимизационные задачи быстрее и качественнее человека, что в будущем будет возможно с появлением сильного искусственного, который позволит создавать самоорганизующиеся сети передачи данных, объединяющие в себе сотовые сети, широкополосные сети, сети Wi-Fi, сети Интернета вещей, сети промышленного Интернета и другие сети специального назначения,[3 - ITU-T Y.3170. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Requirements for machine learning-based quality of service assurance for the IMT-2020 network: дата введ. 2018—09. ITU-T, 2018. 18 с.],[4 - ITU-T Y.3172. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Architectural framework for machine learning in future networks including IMT-2020: дата введ. 2019—06. ITU-T, 2019. 34 с.],[5 - ITU-T Y.3174. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Framework for data handling to enable machine learning in future networks including IMT-2020: дата введ. 2020—02. ITU-T, 2020. 36 с.],[6 - ITU-T Y.3175. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Functional architecture of machine learning-based quality of service assurance for the IMT-2020 network: дата введ. 2020—04. ITU-T, 2020. 20 с.],[7 - ITU-T Y.3177. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Architectural framework for artificial intelligence-based network automation for resource and fault management in future networks including IMT-2020: дата введ. 2020—04. ITU-T, 2020. 24 с.],[8 - ITU-T Y.3179. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Architectural framework for machine learning model serving in future networks including IMT-2020: дата введ. 2020—04. ITU-T, 2020. 44 с.],[9 - ITU-T Y.3531. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Cloud computing – Functional requirements for machine learning as a service: дата введ. 2020—09. ITU-T, 2020. 40 с.],[10 - ITU-T Y.4470. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Internet of things and smart cities and communities – Frameworks, architectures and protocols. Reference architecture of artificial intelligence service exposure for smart sustainable cities: дата введ. 2020—08. ITU-T, 2020. 32 с.].
Также совместно компанией «ЭР-Телеком Холдинг» – индустриальным партнером Центра разработано Техническое задание, которое позволит решить следующие основные задачи на базе создаваемой платформы:
1. Разработка подсистемы улучшения эффективной нагрузки и контроля качества эксплуатации интеллектуальной сети (инфокоммуникационной сети и сервисов).
2. Разработка подсистемы предиктивной аналитики для поддержки системы-принятия решений по эксплуатации сети.
3. Разработка подсистемы сбора и глубокого анализа данных сети IoT, с целью формирования специализированных баз данных, для дальнейшего создания, внедрения и предоставления платных сервисов клиентам (заказчикам, потребителям услуг).
Работа по написанию Программы центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана выполнена в рамках конкурса проведенного в 2021 году Аналитическим Центром при Правительстве России по отбору получателей поддержки исследовательских центров в сфере искусственного интеллекта, в том числе в области «сильного» искусственного интеллекта, систем доверенного искусственного интеллекта и этических аспектов применения искусственного интеллекта. Программа высоко оценена независимыми экспертами.
Об этом проекте и его результатах я подробно рассказываю в книге «Как создать Центр искусственного интеллекта за 100 дней».[11 - Чесалов А. Ю. Как создать Центр искусственного интеллекта за 100 дней / А. Ю. Чесалов. – 1-е изд. – Москва: Ridero, 2021. – 314 с. – URL: https://ridero.ru/books/kak_sozdat_centr_iskusstvennogo_intellekta_za_100_dnei/ (https://ridero.ru/link/TaDyck3sja1ZIv5l-K6KI) (дата обращения: 21.05.2023). – Текст: электронный.]
