576 ГБ видеопамяти: R&D.Pro расширила собственную ИИ-инфраструктуру
Зачем R&D.Pro собственные вычислительные мощности
Для нас серверная инфраструктура — не отдельный эксперимент с железом. Это часть технологической базы, на которой мы разрабатываем и тестируем ИСКРА и другие решения R&D.Pro.
Шесть GPU и 576 ГБ видеопамяти расширяют возможности для локального запуска ИИ-моделей, экспериментов с более крупными конфигурациями и тестирования корпоративных сценариев под реальной вычислительной нагрузкой.
Чем больше задач бизнеса мы переносим на ИИ, тем важнее понимать не только то, какую модель использовать, но и где она работает, какие ресурсы ей доступны и насколько эта инфраструктура находится под нашим контролем.
Поэтому развитие ИСКРА для нас идёт одновременно в двух направлениях: программном и инфраструктурном.
Шесть GPU и 576 ГБ видеопамяти расширяют возможности для локального запуска ИИ-моделей, экспериментов с более крупными конфигурациями и тестирования корпоративных сценариев под реальной вычислительной нагрузкой.
Чем больше задач бизнеса мы переносим на ИИ, тем важнее понимать не только то, какую модель использовать, но и где она работает, какие ресурсы ей доступны и насколько эта инфраструктура находится под нашим контролем.
Поэтому развитие ИСКРА для нас идёт одновременно в двух направлениях: программном и инфраструктурном.
Шесть GPU — это ещё питание и охлаждение
Каждая карта может потреблять до 600 Вт в пике. Только шесть GPU — это до 3,6 кВт, поэтому после сборки мы отдельно проверяли работу всей системы под максимальной нагрузкой.
Сервер несколько раз запускали на синтетических тестах продолжительностью по пять минут. При общей пиковой нагрузке энергопотребление системы доходило до 4,8 кВт.
При установке пришлось доработать и жидкостное охлаждение. Штатная трубка после расширения конфигурации оказалась натянута, поэтому её переобжали, а в контур добавили охлаждающую жидкость.
После сборки и проверки сервер прошёл тесты под полной нагрузкой.
Сервер несколько раз запускали на синтетических тестах продолжительностью по пять минут. При общей пиковой нагрузке энергопотребление системы доходило до 4,8 кВт.
При установке пришлось доработать и жидкостное охлаждение. Штатная трубка после расширения конфигурации оказалась натянута, поэтому её переобжали, а в контур добавили охлаждающую жидкость.
После сборки и проверки сервер прошёл тесты под полной нагрузкой.
Апгрейд серверной инфраструктуры R&D.Pro: с двух до шести GPU
Мы увеличили количество GPU в одном из наших вычислительных серверов с двух до шести.
Каждая установленная карта располагает 96 ГБ видеопамяти. Теперь суммарно сервер получил 576 ГБ VRAM.
Дополнительная видеопамять и вычислительная мощность нужны нам для работы с большими ИИ-моделями, тестирования разных конфигураций и дальнейшего развития ИСКРА на собственной инфраструктуре.
Апгрейд оказался заметно сложнее обычной установки дополнительных компонентов. Изначально конфигурация сервера рассчитывалась на четыре GPU. Шесть карт потребовали практически всего доступного запаса по электропитанию.
Теперь сам вычислительный сервер занимает отдельный большой источник бесперебойного питания (ИБП), от которого раньше работал весь серверный шкаф. Остальное оборудование перевели на второй ИБП.
Каждая установленная карта располагает 96 ГБ видеопамяти. Теперь суммарно сервер получил 576 ГБ VRAM.
Дополнительная видеопамять и вычислительная мощность нужны нам для работы с большими ИИ-моделями, тестирования разных конфигураций и дальнейшего развития ИСКРА на собственной инфраструктуре.
Апгрейд оказался заметно сложнее обычной установки дополнительных компонентов. Изначально конфигурация сервера рассчитывалась на четыре GPU. Шесть карт потребовали практически всего доступного запаса по электропитанию.
Теперь сам вычислительный сервер занимает отдельный большой источник бесперебойного питания (ИБП), от которого раньше работал весь серверный шкаф. Остальное оборудование перевели на второй ИБП.
Чем глубже искусственный интеллект (ИИ) входит в работу компании, тем важнее становится вопрос инфраструктуры. Корпоративный И И работает уже не только с отдельными запросами сотрудников, но и с внутренними документами, базами знаний и рабочими процессами.
Для таких сценариев возможность запускать ИИ-модели на собственной вычислительной инфраструктуре даёт бизнесу больше контроля над данными, конфигурацией моделей и доступными вычислительными ресурсами.
Именно по такому принципу мы развиваем ИСКРА. Основные ИИ-модели системы могут работать на собственных GPU-серверах, поэтому развитие ИСКРА напрямую связано с развитием нашей вычислительной инфраструктуры.
Для таких сценариев возможность запускать ИИ-модели на собственной вычислительной инфраструктуре даёт бизнесу больше контроля над данными, конфигурацией моделей и доступными вычислительными ресурсами.
Именно по такому принципу мы развиваем ИСКРА. Основные ИИ-модели системы могут работать на собственных GPU-серверах, поэтому развитие ИСКРА напрямую связано с развитием нашей вычислительной инфраструктуры.