Методология построения распределенных сетей передачи, обработки и хранения данных: анализ и выбор рациональной структуры. Том 1
Александр Юрьевич Чесалов
Том 1. Раскрывает классические подходы к проектированию распределенных сетевых структур на основе представленной методики анализа функционирования и выбора рациональной структуры региональной сети передачи, обработки и хранения данных в условиях использования разнородных и низкоскоростных каналов связи с целью повышения производительности, а как следствие, ее эффективности функционирования. В результате проведенных исследований сформирована алгоритмическая и методологическая основа.
Методология построения распределенных сетей передачи, обработки и хранения данных: анализ и выбор рациональной структуры
Том 1
Александр Юрьевич Чесалов
Дизайнер обложки Александр Юрьевич Чесалов
Редактор Александр Юрьевич Чесалов
Иллюстратор Freepik
© Александр Юрьевич Чесалов, 2023
© Александр Юрьевич Чесалов, дизайн обложки, 2023
© Freepik, иллюстрации, 2023
ISBN 978-5-0060-1444-2 (т. 1)
ISBN 978-5-0060-1445-9
Создано в интеллектуальной издательской системе Ridero
Посвящение
С глубоким чувством благодарности и уважения книга посвящается моему учителю, научному руководителю, заведующему кафедрой «Информационные системы» (с 1994 года и по настоящее время) Тверского государственного технического университета, заслуженному работнику высшей школы Российской Федерации, доктору технических наук, профессору Борису Васильевичу Палюху.
Предисловие
Александр Юрьевич Чесалов
Доктор технических наук, Член-Корреспондент РАЕН,
Разработчик программы Центра искусственного интеллекта МГТУ им. Н. Э. Баумана, программы «Искусственный интеллект» и «Глубокая аналитика» проекта «Приоритет 2030» МГТУ им. Н. Э. Баумана в 2021—2022 годах.
Сертифицированный специалист: IBM Professional certificate foundations of AI, IBM Professional certificate Essential Technologies for Business и др.
Добрый день, дорогие друзья и коллеги!
Представляю вам свою научно-исследовательскую работу на тему «Методология построения распределенных сетей передачи, обработки и хранения данных: анализ и выбор рациональной структуры. Том 1».
В 2003 году в Тверском государственном техническом университете я защитил кандидатскую диссертацию по теме «Анализ и выбор рациональной структуры региональных распределенных сетей передачи, обработки и хранения данных», специальность 05.13.01 – Системный анализ, управление и обработка информации (в промышленности). На сегодняшний день – это специальность 2.3.1. «Системный анализ, управление и обработка информации, статистика». Отзывы и акты на работу представлены в Приложении.
В честь двадцатилетия с момента написания своей первой научной работы я принял решение опубликовать накопившийся объем материалов в трех томах:
Том 1. Раскрывает классические подходы к проектированию распределенных сетевых структур на основе разработанной методики анализа функционирования и выбора рациональной структуры региональной сети передачи, обработки и хранения данных в условиях использования разнородных и низкоскоростных каналов связи с целью повышения производительности, а как следствие, ее эффективности функционирования. Основная работа над данным томом выполнялась в период с 2000 по 2003 годы.
Том 2. Раскрывает подходы к проектированию региональных распределенных сетей передачи, обработки и хранения данных на основе технологий следующего поколения – NGN (Next Generation Network), которые, в последствии, позволили перейти к «сетям будущего» (см. стандарты и рекомендации Международного союза электросвязи, серии Y), функционирующих на основе технологий искусственного интеллекта. Основная работа над данным томом выполнялась в период с 2009 по 2011 годы.
Том 3. Расскажет о подходах к созданию и проектированию интеллектуальных и самоорганизующихся сетей, а также методах анализа и обработки информации в них на основе технологий машинного обучения и искусственного интеллекта. Работа над третьим томом начата в 2023 году.
На первый взгляд читателю может показаться, что информация в первом томе значительно устарела, а подходы и результаты нельзя применить в современной практике. Я и сам так думал до того момента, пока в 2021 году меня не пригласили в МГТУ им. Н. Э. Баумана принять участие в создании Центра сильного и прикладного искусственного интеллекта.
Оглядываясь на свою практическую работу за последние двадцать лет я понял, что мои наработки пригодились мне в жизни не один раз.
Результаты научно-исследовательских работ и общие подходы к проектированию сетевых инфраструктур передачи, обработки и хранения данных, которые изложены в данной книге, мною были апробированы на практике неоднократно в разные периоды времени и в разных проектах.
К значимым результатам, основанных на моей работе, можно отнести следующие:
2005 год
В период с 2005 до 2008 годы в компании «Сетевые системы» под моим непосредственным руководством проводились научно-исследовательские и опытно-конструкторские разработки (НИОКР) в области информационных технологий и сетевой безопасности.
Одним из основных результатов НИОКР стало создание встраиваемой сетевой операционной системы для устройств сетевой безопасности: аппаратных файрволлов (firewall), систем обнаружения и предотвращения вторжений (Intrusion Detection Systems – IDS и Intrusion Prevention System, IPS) управляемых коммутаторов и других.
Операционная система ничего общего не имела с клонированием Linux. Наш опыт в создании собственной системы базировался на знаниях FreeBSD и QNX. Первый прототип был создан на основе FreeBSD и промышленного сервера Advantech FWA-3140. В последующем ядро, драйвера и код были полностью переработаны. Был создан свой перечень управляющих команд и командный интерпретатор.
В последствии данная разработка была высоко оценена на международной выставке CeBIT 2007, как техническое решение, специалистами компаний Intel, Cisco и тогда еще никому не известной компании Huawei.
Подробнее об этой разработке можно узнать из моей книги «Разработка встраиваемой сетевой операционной системы PyrOS»[1 - Чесалов А. Ю. Разработка встраиваемой сетевой операционной системы PyrOS / А. Ю. Чесалов. – 1-е изд. – Москва: Ridero, 2023. – 220 с. – URL: https://ridero.ru/books/razrabotka_vstraivaemoi_setevoi_operacionnoi_sistemy_pyros/ (https://ridero.ru/link/avCPvfZA1v3qP904CHgpb) (дата обращения: 31.05.2023). – Текст: электронный.].
2011 год
Диссертация на соискание ученой степени доктора технических наук на тему: «Методология определения операционных характеристик и рациональной структуры региональных распределенных сервисных сетей передачи, обработки и хранения данных». Специальность 05.13.10 – Управление в социальных и экономических системах.
Работа посвящена развитию технологий сетей Next Generation Network (NGN) и применения их для построения региональных распределенных сетей.
Диссертация защищена в Межотраслевом центре эргономических исследований и разработок в военной технике (Тверское отделение (40-я лаборатория) НИИ авиационного оборудования) – филиала Центрального научно-исследовательского института экономики и конверсии (ЦНИЭК).
2021 год
1. Написана Программа центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана по теме: «Создание платформы машинного обучения для автоматизации интеллектуальных сетей передачи, обработки и хранения гетерогенных данных на основе технологий доверенного искусственного интеллекта». По направлению: «Межотраслевые технологии искусственного интеллекта и искусственный интеллект для иных приоритетных отраслей экономики и социальной сферы».
Основная цель программы Центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана – создание специализированного программного комплекса – платформы машинного обучения для автоматизации обеспечения бесперебойной работы и улучшения качества услуг интеллектуальных сетей передачи, обработки и хранения гетерогенных данных (включая поддержку работы с широкополосными сетями передачи данных, сетями Wi-Fi, сети IoT и д.р.) на основе технологий доверенного искусственного интеллекта, а также:
– работу в распределенных облачных инфраструктурах для решения широкого круга межотраслевых задач индустриальных партнеров;
– создание и тестирование новых алгоритмов обучения нейронных сетей, которые могут применяться в широком спектре кросс-отраслевых прикладных решений;
– сделать существенных шаг для последующих исследованиях в направлении Сильного искусственного интеллекта.
Очень важным аспектом работы данной платформы является реализация задачи поддержания наиболее эффективной нагрузки на сеть по критерию производительности в условиях интенсивной маршрутизации обмена сообщениями. На основании исходных данных платформа может моделировать и прогнозировать поведение сети, информируя оператора о причинах сбоев или снижения эффективности работы сети, или помогая делать прогнозы по улучшению обслуживания сети, а также решать задачи по ее оптимизации.
Созданная «умная» платформа сможет также применяться крупными производственными компаниями при переводе производственных и технологических процессов на уровень «Индустрия 4.0» и промышленного Интернета вещей, для решения задач автоматизации обмена данными о процессах и автоматической реконфигурации без непосредственного участия человека.
Применение машинного обучения и искусственного интеллекта для решения подобных задач автоматизации и оптимизации сетевых параметров интеллектуальных сетей в ближайшем будущем позволит нам перейти к созданию новых сетевых систем – сетей будущего, которые способны автоматически решать сложные оптимизационные задачи и строить самостоятельно алгоритмы построения и развития сетей, что немаловажно, они смогут выполнять оптимизационные задачи быстрее и качественнее человека, что в будущем будет возможно с появлением сильного искусственного, который позволит создавать самоорганизующиеся сети передачи данных, объединяющие в себе сотовые сети, широкополосные сети, сети Wi-Fi, сети Интернета вещей, сети промышленного Интернета и другие сети специального назначения,[2 - ITU-T Y.3170. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Requirements for machine learning-based quality of service assurance for the IMT-2020 network: дата введ. 2018—09. ITU-T, 2018. 18 с.],[3 - ITU-T Y.3172. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Architectural framework for machine learning in future networks including IMT-2020: дата введ. 2019—06. ITU-T, 2019. 34 с.],[4 - ITU-T Y.3174. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Framework for data handling to enable machine learning in future networks including IMT-2020: дата введ. 2020—02. ITU-T, 2020. 36 с.],[5 - ITU-T Y.3175. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Functional architecture of machine learning-based quality of service assurance for the IMT-2020 network: дата введ. 2020—04. ITU-T, 2020. 20 с.],[6 - ITU-T Y.3177. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Architectural framework for artificial intelligence-based network automation for resource and fault management in future networks including IMT-2020: дата введ. 2020—04. ITU-T, 2020. 24 с.],[7 - ITU-T Y.3179. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Architectural framework for machine learning model serving in future networks including IMT-2020: дата введ. 2020—04. ITU-T, 2020. 44 с.],[8 - ITU-T Y.3531. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Future networks. Cloud computing – Functional requirements for machine learning as a service: дата введ. 2020—09. ITU-T, 2020. 40 с.],[9 - ITU-T Y.4470. SERIES Y: GLOBAL INFORMATION INFRASTRUCTURE, INTERNET PROTOCOL ASPECTS, NEXT-GENERATION NETWORKS, INTERNET OF THINGS AND SMART CITIES. Internet of things and smart cities and communities – Frameworks, architectures and protocols. Reference architecture of artificial intelligence service exposure for smart sustainable cities: дата введ. 2020—08. ITU-T, 2020. 32 с.].
Также совместно компанией «ЭР-Телеком Холдинг» – индустриальным партнером Центра разработано Техническое задание, которое позволит решить следующие основные задачи на базе создаваемой платформы:
1. Разработка подсистемы улучшения эффективной нагрузки и контроля качества эксплуатации интеллектуальной сети (инфокоммуникационной сети и сервисов).
2. Разработка подсистемы предиктивной аналитики для поддержки системы-принятия решений по эксплуатации сети.
3. Разработка подсистемы сбора и глубокого анализа данных сети IoT, с целью формирования специализированных баз данных, для дальнейшего создания, внедрения и предоставления платных сервисов клиентам (заказчикам, потребителям услуг).
Работа по написанию Программы центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана выполнена в рамках конкурса проведенного в 2021 году Аналитическим Центром при Правительстве России по отбору получателей поддержки исследовательских центров в сфере искусственного интеллекта, в том числе в области «сильного» искусственного интеллекта, систем доверенного искусственного интеллекта и этических аспектов применения искусственного интеллекта. Программа высоко оценена независимыми экспертами.
Об этом проекте и его результатах я подробно рассказываю в книге «Как создать Центр искусственного интеллекта за 100 дней».[10 - Чесалов А. Ю. Как создать Центр искусственного интеллекта за 100 дней / А. Ю. Чесалов. – 1-е изд. – Москва: Ridero, 2021. – 314 с. – URL: https://ridero.ru/books/kak_sozdat_centr_iskusstvennogo_intellekta_za_100_dnei/ (https://ridero.ru/link/TaDyck3sja1ZIv5l-K6KI) (дата обращения: 21.05.2023). – Текст: электронный.]
2. Подготовлен Отчет о научно-исследовательской работе МГТУ им. Н. Э. Баумана за 2021 год по теме: «Разработка методологии построения интеллектуальных сетей, определение их структуры и архитектуры, параметров функционирования с целью повышения производительности работы системы и пропускной способности каналов передачи данных с учетом возможности использования технологий машинного обучения и искусственного интеллекта». Шифр: «ПРИОР/СН/НУ/сп5/6».
Работа выполнена в рамках конкурса «Приоритет-2030»: «Искусственный интеллект как сервис», проведённого Министерством науки и высшего образования Российской Федерации.
Как вы можете отметить для себя, первая научно-исследовательская работа 2003 года (которая вошла в первый том) прошла красной нитью через многие из моих дальнейших проектов в области информационных технологий и я надеюсь она сможет быть полезной и вам.
Эта книга, как и мои многие другие, является исключительно личным опытом и проектом автора, а также абсолютно свободным к распространению документом. Вы можете использовать эту книгу и представленную в ней информацию по-своему усмотрению, но ссылка на нее обязательна.
Приятного Вам чтения и продуктивной работы!
