Разработка цифрового рабочего места пользователей суперкомпьютерных центров коллективного пользования

датацентричный
университет

В рамках проекта «Датацентричный университет» программы «Приоритет 2030» НГТУ НЭТИ активно работает над созданием принципиально новых сервисов, базирующихся на подходах к управлению данными с использованием цифровых технологий. Одним из них является разработка цифрового рабочего места пользователей суперкомпьютерных ЦКП.

Проект рассчитан на ученых и инженеров, которым необходимо разрабатывать собственные алгоритмы и программы для решения задач анализа данных и моделирования, проводить множественные вычислительные эксперименты на суперкомпьютерах.

→ Медиафайлы проекта

руководитель проекта, директор Центра информатизации НГТУ НЭТИ Олег Аврунев.

«Высокотехнологичные инженерные разработки и научные исследования сегодня невозможно представить без использования компьютеров для анализа данных и моделирования. Для решения сложных задач обычных персональных компьютеров недостаточно, поэтому исследователи часто обращаются к суперкомпьютерным центрам и облачным провайдерам. Организация расчетов на таких ресурсах сложна для непрофильных специалистов»

Проект решает несколько важных задач для борьбы с этими сложностями:

—01—

Упрощает прохождение процедуры регистрации пользователей для предоставления доступа к высокопроизводительным вычислительным системам

—02—

Автоматизирует управление вычислениями, скрывая сложные детали организации вычислений на этих системах от пользователей

—03—

Позволяет накапливать и повторно использовать схемы решения задач в различных прикладных областях, например, кристаллографии и микросейсмике

подробнее о разработке

Разрабатываемый командой НГТУ НЭТИ инструмент призван помочь исследовательским коллективам систематически накапливать и обмениваться междисциплинарными знаниями, что важно не только для вузов, но и для региона и страны в целом. Проект состоит из двух частей: сопровождение исследователей на этапе получения доступа к вычислительным ресурсам и помощь в организации сложных расчетов.

Проект НГТУ НЭТИ предполагает создание единого сервисного окна для пользователей, которым обычно приходится самостоятельно взаимодействовать с держателями высокопроизводительных вычислительных ресурсов. В этом окне пользователи получают информацию о многих доступных вычислительных системах и могут единообразно запросить доступ к ним, имея поддержку университета в разрешении всех вопросов.

В части автоматизации расчетов проект ориентирован на тех исследователей, которым приходится разрабатывать собственные алгоритмы и программы анализа данных и алгоритмов, объединять известные решения в комплексы, проводить множественные вычислительные эксперименты на различных суперкомпьютерах. Коллектив проекта создает методику и инструментарий для систематической организации такой работы, автоматизирует рутину, связанную с организацией компьютерных экспериментов.

веб-приложение

Пользователь задает сценарии в виде графа, выражающего зависимости между вычислительными операциями, указывает программы, которые должны быть запущены для реализации каждой из операций. Такие описания задач систематически накапливаются в базе пользователя и могут быть повторно использованы при создании схем решения новых задач.

Игорь Черных, канд. физ.-мат. наук, руководитель ЦКП «Сибирский суперкомпьютерный центр», заведующий лабораторией суперкомпьютерного моделирования ИВМиМГ СО РАН:

«Мы работаем с командой проекта «Цифровое рабочее место пользователей суперкомпьютерных ЦКП», чтобы сделать доступнее высокопроизводительную вычислительную технику для исследователей и инженеров НГТУ. Теперь вместо того, чтобы писать нам в индивидуальном порядке, сотрудники и студенты университета могут в привычной для себя информационной системе НГТУ подать заявку на доступ к нашим суперкомпьютерам, оформить отчеты, обновить данные. Информационная система вуза предоставляет пользователям необходимые формы и автоматически вносит имеющиеся в базе данных сведения. Это также облегчает и нашу работу: обмен информацией с НГТУ идет в строго согласованном виде. Вторая часть проекта посвящена разработке фреймворка, который обеспечивает автоматическую отправку вычислительных задач с компьютера пользователя на суперкомпьютеры. Это существенно сокращает рутину, связанную с переносом вычислений с персонального компьютера на высокопроизводительную вычислительную технику и с одной системы на другую, что также часто востребовано пользователями».

команда проекта

Коллектив проекта состоит из преподавателей и научных сотрудников с опытом управления разработкой и сопровождением разномасштабных информационных систем, фронтенд- и бэкенд-разработчиков, специалистов по параллельному программированию, распределенным вычислениям и машинному обучению.

Максим Александрович Городничев

ИВМиМГ, лаборатория синтеза параллельных программ, Архитектура ИС, формализация процессов работы с данными пользователей ИС

Михаил Викторович Орлов

Инженер-программист 2 категории,
Реализация системы маршрутизации документов

Ксения Николаевна Лях

Руководитель группы,
Развитие портала открытых данных НГТУ НЭТИ

Ксения Александровна Шнайдер

Инженер-программист,
Реализация сервисов обработки данных

Вадим Александрович Шахрай

Проектирование и разработка клиентской части информационной системы

Святослав Константинович Мельников

Backend-программирование

Михаил Ишутин

Разработка фреймворка удаленного параллелльного выполнения

Владимир Бурлаков

Разработка фреймворка удаленного параллелльного выполнения

Новосибирский государственный
технический университет НЭТИ.
Проект реализован Управлением информационной политики НГТУ НЭТИ

+7 (383) 346 36 22

nauka@corp.nstu.ru

Министерство науки и высшего образования Российской
Федерации. Федеральное государственное бюджетное
образовательное учреждение высшего образования
«Новосибирский государственный технический университет»

руководитель проекта, директор Центра
информатизации НГТУ НЭТИ Олег Аврунев:

Проект решает несколько важных задач для борьбы с этими сложностями:

01

02

03

позволяет накапливать и повторно использовать схемы решения задач в различных прикладных областях, например, кристаллографии и микросейсмике

подробнее о разработке

Разрабатываемый командой НГТУ НЭТИ инструмент призван помочь исследовательским коллективам систематически накапливать и обмениваться междисциплинарными знаниями, что важно не только для вузов, но и для региона и страны в целом. Проект состоит из двух частей: сопровождение исследователей на этапе получения доступа к вычислительным ресурсам и помощь в организации сложных расчетов. Проект НГТУ НЭТИ предполагает создание единого сервисного окна для пользователей, которым обычно приходится самостоятельно взаимодействовать с держателями высокопроизводительных вычислительных ресурсов. В этом окне пользователи получают информацию о многих доступных вычислительных системах и могут единообразно запросить доступ к ним, имея поддержку университета в разрешении всех вопросов.

В части автоматизации расчетов проект ориентирован на тех исследователей, которым приходится разрабатывать собственные алгоритмы и программы анализа данных и алгоритмов, объединять известные решения в комплексы, проводить множественные вычислительные эксперименты на различных суперкомпьютерах. Коллектив проекта создает методику и инструментарий для систематической организации такой работы, автоматизирует рутину, связанную с организацией компьютерных экспериментов.

веб-
приложение

На данном этапе реализации проекта разработано веб-приложение для формирования заявок на доступ к высокопроизводительным вычислительным системам. Также разработан фреймворк, который позволяет единым образом ставить расчетные задачи и на персональном компьютере, и на суперкомпьютерах, при этом обеспечивается автоматическая передача файлов, настройка программного окружения, реализация комплексных сценариев расчетов, параллельное выполнение независимых подзадач. Пользователь задает сценарии в виде графа, выражающего зависимости между вычислительными операциями, указывает программы, которые должны быть запущены для реализации каждой из операций. Такие описания задач систематически накапливаются в базе пользователя и могут быть повторно использованы при создании схем решения новых задач.

Команда проекта НГТУ НЭТИ работает над внедрением первой версии инструментария с первыми пользователями — исследователями в области микросейсмики и кристаллографии. В дальнейшем разработчики планируют создание сервиса, который обеспечит взаимодействие исследователей в организации вычислительных экспериментов, позволит на основе накопленных схем решения задач конструировать оптимальные схемы для конкретных обстоятельств.

Игорь Черных, канд. физ.-мат. наук, руководитель ЦКП «Сибирский суперкомпьютерный центр», заведующий лабораторией суперкомпьютерного моделирования ИВМиМГ СО РАН:

команда проекта