Как рассчитать мощность дата-центра для AI-проекта

Мощность дата-центра для AI-проекта рассчитывают не по количеству GPU, а по максимальной мощности всей IT-конфигурации. Сначала складывают потребление GPU-серверов, систем хранения, сетевого и вспомогательного оборудования. Затем полученную IT-нагрузку умножают на проектный PUE. После этого отдельно проверяют запас под масштабирование, резервирование инженерных систем и допустимую мощность на стойку.

Базовый расчет выглядит так:

Расчетное потребление объекта = IT-нагрузка × PUE

Например, если весь AI-кластер потребляет 1 МВт, а проектный PUE дата-центра равен 1,25, расчетное потребление объекта составит:

1 МВт × 1,25 = 1,25 МВт

Но выбирать площадку ровно на 1,25 МВт нельзя, если проект будет расширяться или инфраструктура должна работать по резервной схеме. Поэтому для практического расчета нужно определить не одно, а несколько значений: текущую IT-нагрузку, целевую нагрузку после масштабирования, расчетное энергопотребление всего объекта и инженерную мощность, необходимую для выбранной схемы отказоустойчивости.

Главный принцип можно сформулировать так: для AI-проекта мощность дата-центра рассчитывают по максимальной мощности всей IT-инфраструктуры с последующим учетом PUE, запланированного роста, резервирования и плотности нагрузки на стойку.

Строительство дата-центров Promminer — проектирование и строительство промышленных дата-центров под ключ с расчетом энергоснабжения, инженерной инфраструктурой, монтажом оборудования и вводом объекта в эксплуатацию.

Из чего складывается мощность AI-кластера

Первый этап — определить IT-нагрузку. В нее входит не только потребление GPU.

Формула:

P_IT = P_servers + P_storage + P_network + P_service

где:

• P_servers — вычислительные серверы;

• P_storage — системы хранения;

• P_network — сетевое оборудование;

• P_service — управляющие и вспомогательные серверы.

Для окончательного расчета лучше использовать максимальную мощность готового сервера из спецификации производителя, а не складывать TDP установленных GPU. В одном сервере кроме ускорителей работают CPU, память, накопители, сетевые адаптеры, вентиляторы и другие компоненты.

Предположим, проект включает:

• 100 GPU-серверов по 10 кВт;

• storage — 50 кВт;

• сеть — 35 кВт;

• вспомогательные системы — 15 кВт.

Получаем:

100 × 10 + 50 + 35 + 15 = 1100 кВт

IT-нагрузка кластера составляет 1,1 МВт.

Это еще не мощность всего дата-центра. Значение показывает, сколько в максимальном режиме потребляет непосредственно IT-оборудование.

Как перейти от IT-нагрузки к мощности дата-центра

Для этого используется PUE — отношение полного энергопотребления дата-центра к энергопотреблению IT-оборудования.

Если IT-нагрузка равна 1,1 МВт, а проектный PUE составляет 1,25:

1,1 × 1,25 = 1,375 МВт

Около 1,38 МВт потребуется всему объекту при такой IT-нагрузке.

Разница между IT-мощностью и полной мощностью уходит на охлаждение, преобразование и распределение электроэнергии и другие инженерные системы. Поэтому PUE должен быть не условным значением из интернета, а параметром конкретной площадки или инженерного проекта.

Полный расчет удобно свести в одну таблицу:

Такая схема дает базовую цифру, от которой уже можно выбирать площадку и проектировать инженерную инфраструктуру.

Почему нельзя ограничиваться общей мощностью в мегаваттах

Для AI-дата-центра важна не только суммарная мощность, но и плотность нагрузки на стойку.

Например, кластер на 1 МВт можно разместить:

• в 100 стойках по 10 кВт;

• в 25 стойках по 40 кВт.

Общая IT-нагрузка одинакова, но требования к распределению питания и охлаждению принципиально различаются.

Если в одной стойке устанавливаются четыре GPU-сервера по 10 кВт, IT-нагрузка стойки составит:

4 × 10 = 40 кВт

Значит, площадка должна не просто иметь достаточное количество мегаватт, а уметь стабильно подать и отвести тепло от 40 кВт в конкретной стойке.

Поэтому до размещения кластера нужно проверить:

• доступную IT-мощность всего зала или площадки;

• допустимую мощность одной стойки;

• тип охлаждения при такой плотности;

• возможность сохранить эту плотность после расширения проекта.

Дата-центр может иметь свободную общую мощность, но не подходить для AI-проекта из-за ограничения в кВт на стойку.

Как учитывать рост проекта и резервирование

Расчетное энергопотребление и установленная инженерная мощность — разные показатели.

Допустим:

1,5 МВт IT × PUE 1,25 = 1,875 МВт

Это расчетное потребление объекта при текущей конфигурации. Но если через год кластер должен вырасти до 2,2 МВт IT, ориентироваться при выборе площадки только на 1,875 МВт нельзя.

Правильнее сразу считать как минимум три сценария:

Для масштабируемого AI-проекта площадку лучше оценивать по целевой конфигурации, если она уже известна. Иначе может возникнуть ситуация, когда физически место для новых серверов есть, но добавить их нельзя из-за нехватки электропитания или охлаждения.

Резервирование также не стоит считать простым добавлением универсальных 10–20%. Схемы N, N+1 и другие варианты отказоустойчивости влияют прежде всего на установленную мощность инженерных систем. Конкретный резерв определяется архитектурой электроснабжения и охлаждения.

Практический вывод: процент запаса не должен быть произвольным — его нужно привязывать к реальному плану масштабирования и принятой схеме резервирования.

Пример полного расчета AI-дата-центра

Предположим, проект должен разместить:

• 200 GPU-серверов по 10 кВт;

• storage — 120 кВт;

• сеть — 80 кВт;

• управляющее и вспомогательное оборудование — 50 кВт.

Сначала считаем IT-мощность:

200 × 10 + 120 + 80 + 50 = 2250 кВт

Получаем:

2,25 МВт IT

При проектном PUE 1,25:

2,25 × 1,25 = 2,8125 МВт

Расчетное потребление всего дата-центра при полной нагрузке составит около 2,81 МВт.

Теперь предположим, что проект планируется расширить до 300 серверов. После расширения:

• GPU-серверы — 3 МВт;

• storage — 170 кВт;

• сеть — 110 кВт;

• вспомогательное оборудование — 70 кВт.

Целевая IT-нагрузка:

3000 + 170 + 110 + 70 = 3350 кВт

При PUE 1,25:

3,35 × 1,25 = 4,1875 МВт

Значит, первоначальному кластеру достаточно примерно 2,81 МВт расчетного потребления, но для уже запланированной второй очереди объект должен иметь возможность масштабироваться примерно до 4,19 МВт расчетной нагрузки. Требуемая установленная инженерная мощность может быть выше и определяется отдельно с учетом резервирования.

После этого остается проверить стойки. Если одна стойка содержит четыре сервера по 10 кВт, ее IT-нагрузка составит 40 кВт. Следовательно, площадка должна одновременно поддерживать около 4,19 МВт на уровне объекта и необходимую плотность питания и охлаждения на уровне отдельных стоек.

Алгоритм расчета мощности дата-центра для AI-проекта

Для предварительного расчета достаточно шести шагов:

1. Определите максимальную мощность всех GPU-серверов. Используйте спецификацию целого сервера, а не только TDP GPU.

2. Добавьте storage, сеть и служебное оборудование. Получится общая IT-нагрузка.

3. Умножьте IT-нагрузку на проектный PUE. Это даст расчетное потребление всего объекта.

4. Повторите расчет для целевой конфигурации. Если расширение уже запланировано, площадку нужно проверять под будущую нагрузку.

5. Проверьте мощность каждой стойки. Общего количества мегаватт недостаточно, если площадка не поддерживает нужную плотность.

6. Отдельно учтите резервирование инженерных систем. Не заменяйте его произвольным процентом запаса.

Не стоит рассчитывать дата-центр только по количеству GPU, мощности ускорителей или общему количеству доступных мегаватт. Все три подхода могут дать заниженную или практически бесполезную оценку.

Для большинства AI-проектов правильная модель расчета такая: сначала определить полную IT-нагрузку, затем умножить ее на PUE, рассчитать целевую нагрузку после масштабирования и проверить требования по мощности одной стойки и резервированию. Именно эта последовательность позволяет понять, сколько мощности действительно должен обеспечить дата-центр и сможет ли площадка поддерживать проект после его роста.