Резервирование n 1 что это: Схемы резервирования инженерных систем ЦОД

Схемы резервирования инженерных систем ЦОД

Теория вероятностей: резервирование и время безотказной работы ЦОД

Данная статья — первая в своём роде и посвящена применению теории вероятностей для сравнения различных схем резервирования оборудования в ЦОД, вычислению достигаемого времени безотказной работы, а также финансовым рискам.

Известно, что каждое оборудование имеет такие характеристики, как ресурс, время безотказной работы и средняя длительность простоя за год использования. Также заметим, что уровни надежности ЦОД (Tier), являясь одной из основных характеристик ЦОД, зависят от времени простоя за год. Это неспроста: именно от длительности простоя зависит успешность бизнеса компании и её непредвиденные убытки.

Итак, при построении ЦОД вкладывают деньги для реализации той или иной схемы резервирования с целью сократить время простоя и, следовательно, сократить и убытки от простоев. Всегда ли оправдываются эти вложения? Всё зависит от схемы резервирования. Именно по этому критерию будет разделен последующий материал.

Схема резервирования отсутствует: N

В данном случае ни одна система не  резервируется (Tier I) и  простой каждой единицы оборудования означает простой всего ЦОД. Общий простой ЦОД за год составляет 28.8ч (Коэффициент отказоустойчивости 99,671%). Эта схема была характерна для ЦОД 60-70х годов прошлого века и полностью изжила себя к настоящему моменту по причине предельной убыточности: сегодня убытки компании от пары часов простоя если и не превышают стоимость дополнительной (резервной) единицы оборудования, то как минимум равны ей.

Схема резервирования N+1

Схема резервирования N+1 наиболее распространена на сегодняшний день. Согласно ей, к N рабочим единицам добавляется одна резервная. Здесь всегда важно правильно определить значение N. Рассмотрим этот аспект, условно приняв, что штатный простой одной единицы оборудования составляет S0 часов в год (вероятность отказа равна P0=S/(24ч/дн*365дн)=S/8760).

Очевидно, если N=0, то время простоя в год S(N=0)=S0, а вероятность отказа P(N=0)=S/8760= P0.

Если N=1, то вероятность отказа соответствует случаю, когда одновременно не работают обе единицы оборудования. P(N=1)=P1=P0*P0, S(N=1)=S1=P0*P0*8760.

При N≥2 система неработоспособна, если одновременно отключилось не менее двух любых единиц оборудования. Таким образом, в случае N=2 должны отключиться (1 и 2), (2 и 3), (1 и 3) единицы оборудования (вероятность каждого события равна P1=P0*P0) при условии работоспособности третьей единицы (вероятность 1-P0) или все три (1, 2 и 3) вместе (вероятность равна P0*P0*P0). Получаем следующую вероятность отказа системы: P2=3*P0*P0*(1-P0)+P0*P0*P0.

Для N=3 имеем три случая отказа:

• вышли из строя любые две единицы оборудования (шесть вариантов с вероятностью P1=P0*P0 каждый) при условии работоспособности оставшихся двух единиц (вероятность (1-P0)*(1-P0)),
• вышли из строя  любые три единицы оборудования (четыре варианта вероятностью P0*P0*P0 каждый) при условии работоспособности оставшейся единицы (вероятность 1-P0),
• вышли из строя все четыре единицы оборудования (вероятность P0*P0*P0*P0).

Итоговая вероятность P3=6*P0*P0*(1-P0)*(1-P0)+4*P0*P0*P0*(1-P0)+ P0*P0*P0*P0.

Существует и общая формула для любого N, состоящая из N слагаемых. Однако, заметим, что, ввиду малости P0, первое слагаемое наиболее велико, а остальные практически не дают вклада в итоговую вероятность. Таким образом, немного потеряв в точности можно сократить число слагаемых до одного — первого. Тогда:

P1=P0*P0,

P2=3*P0*P0*(1-P0),

P3=6*P0*P0*(1-P0)*(1-P0),

…………

P(N)≈С(N+1,2)*P0^2*(1-P0)^(N-1), где B(2,N+1) — количество вариантов выборки 2 элементов из N+1 (на языке комбинаторики: сочетание из N+1 по 2), С(N+1,2) = (N+1)! / (2!·(N+1-2)!) = (N+1)! / (2·(N-1)!) = N*(N+1)/2.(N-1)/2; S(N)=P(N)*8760.

Рассмотрим применение полученных формул на примере.

Вывод: Вероятность отказа и время простоя на порядок ниже при использовании схемы резервирования N+1, чем при отсутствии резерва вовсе. Однако, вероятность отказа и время простоя растет с ростом N, т.е. с ростом общего числа элементов в системе. Тем самым выполняется принцип “чем сложнее система, тем она менее надежна”. Интересно, что в этом примере вероятность отказа при N=14 сравняется с конфигурацией без резерва.

Данные, приведенные в примере, характерны, например, для ИБП. Если учесть, что простой системы бесперебойного питания означает отсутствие питания как такового, а, значит, и простой всего ЦОД. По данным Berkeley Internet Week 2000 Contingency Planning Research, приблизительные потери, которые могут быть вызваны простоем продолжительностью в 1ч на предприятиях различных типов в США составляют (таблица 2):

Поэтому разница между конфигурациями 1+1 и 3+1 для компании по бронированию билетов может обойтись в __________$45 000.

Схема резервирования 2N

Согласно схеме резервирования 2N каждый элемент системы дублируется аналогичным.

Вероятность отказа ИБП и российские электросети

Большинство ИТ-оборудования, устанавливаемого в ЦОД требует высокого качества питания. Именно такое электропитание призваны обеспечить источники бесперебойного питания. При расчете рисков, связанных с обесточиванием ЦОД, огромное значение имеет доступность ИБП. В интернете можно найти следующие данные по доступности ИБП при различных конфигурациях системы бесперебойного питания (таблица 3 (Журнал сетевых решений “LAN”, №10 за 2008г.)):

Как видно, доступность системы весьма велика, а время простоя для случая “1+1″ составит всего 0.2 секунды в год. Означает ли это, что Заказчик может рассчитывать на простой ЦОД в течение 200 миллисекунд в год?

Конечно, ответ “нет”! Но он скрыт в словах “с байпасом” во второй колонке таблицы. Оказывается, что в течение 0.2с ЦОД будет просто без питания, а всё остальное время он хоть грязное питание из сети (по линии байпаса), но получит. Обратимся к первоисточнику: что нам обещают предоставить электросети?

Согласно ГОСТ 13109-87 п.6.2, качество электрической энергии не должно выходить за рамки допустимого диапазона в течение 95% времени (438 часов в год). А длительность подачи электроэнергии пониженного качества не должна превысить 90 часов за год.

Таким образом, порядка 90 часов в год ЦОД будет запитан низкокачественной электроэнергией, что по сути можно приравнять к его простою (если ещё не выходу из строя некоторого (наиболее чувствительного и, как правило, наиболее дорогого) серверного оборудования). Следовательно, вместо доступности 99.99999932% получаем доступность 99.99999932%*95%=94.999999354%≈95%.

Вывод: в течение 438 часов ежегодно ЦОД будет лишен требуемого качества электропитания, а убытки компании по резервированию отелей, согласно таблице 2, составят $17.5 млн.

Автор: Хомутский Юрий / alldc.ru

резервирование инженерных систем / Блог компании Группа Компаний ХОСТ / Хабр

После того как обеспечены надежные стены и крыша над головой для ЦОД (статья

), следующим шагом на пути обеспечения его отказоустойчивости должно стать резервирование инженерных систем. Строя дата-центры более 10 лет, мы убедились, что не все заказчики в полной мере осознают важность дублирования основных коммуникаций. Космические корабли и те падают, а оборудование в ЦОД в идеале должно работать 365 дней в году и 24 часа в сутки. Любая вышедшая из строя или нуждающаяся в профилактике деталь должна быть заменена без остановки работы всех критичных сервисов.

Как справедливо отметили наши читатели, далеко не всем компаниям нужен надежный ЦОД. Для некоторых его бесперебойная работа не предмет переживаний, а многие предпочтут хранить свои данные в публичном облаке. Данный паблик предназначен в большей степени для тех, кто по тем или иным соображениям безопасности или проходимости каналов связи сделал свой выбор в пользу собственного дата-центра и работы сервисов с уровнем доступности не менее трех девяток (простоя не более 1,6 часов в год).

Отказоустойчивость и резервирование: что говорит мировой опыт?

Согласно стандартам Uptime Institute выделяют четыре уровня отказоустойчивости инфраструктуры ЦОДа:

Использование классификации Tier подразумевает, что все инженерные системы и компоненты ЦОД, вплоть до запаса топлива для дизель-генератора, воспринимаются как единое целое. Наличие хотя бы одного нерезервированного компонента приводит к снижению уровня отказоустойчивости и увеличению возможных часов простоя ЦОД. Количество таких компонентов, а также статистика по плановым и внеплановым отказам дата-центров в год влияют на допустимое время простоя. Например, для ЦОД уровня Tier I характерно внеплановое отключение 1,2 раза в год. Плюс, из-за отсутствия резервных систем дата-центр не будет работать еще два раза по двенадцать часов во время планового обслуживания. В итоге суммарное время простоя будет рассчитываться как: 12+12+4х1,2=28,8 часов.

Для расчета уровня отказоустойчивости в процентах нужно: ((t работы — t простоя )×100%)/ t работы, где
t работы – максимальное количество часов работы ЦОД в год (24 часа в сутки 365 дней в году).
t простоя – это время планового простоя ЦОД в год.

Классифицируя способы резервирования, принято выделять следующие схемы: N+1, 2N и 2(N+1). Применение схем N+1 и N+2 по сравнению с 2N дают значительную экономию бюджета и при неплохом уровне отказоустойчивости (разом все элементы системы вряд ли выйдут из строя). Однако, нужно помнить, что с ростом числа рабочих единиц (N), согласно теории вероятности, доступность системы ухудшается. В ситуации большого количества элементов (большого N, например, источников бесперебойного питания) уместнее использовать схему 2N, когда каждый компонент системы полностью задублирован. Это позволит в разы увеличить отказоустойчивость и снизить время простоя. В то же время, ни N+1, ни 2N не резервируют систему в целом, а потому не исключают опасность аварии на участке между зарезервированными элементами системы. Поэтому Tier IV рекомендует использовать 2 независимые схемы, каждая из которой полностью задублирована, 2(N+1).

Неиссякаемая энергия

Основой надежной работы ЦОД является электроснабжение: бесперебойное (источники бесперебойного питания – ИБП) и гарантированное (дизель-генераторные установки – ДГУ). В момент исчезновения напряжения городской сети ИБП должны поддержать питание оборудования до полного запуска ДГУ, который сможет обеспечить электроэнергией весь ЦОД.

Для того чтобы ЦОД не встал в отсутствии электроснабжения, крайне важно, во-первых, зарезервировать ИБП, а, во-вторых, проводить регулярные сервисные работы.

К каким рискам может привести наличие только одного ИБП – в целом понятно. В лучшем случае мы не сможем провести тестирование источника, в худшем – получим простой ЦОД. Но порой даже наличие нескольких ИБП не дает свободу действий. Так в одной организации источников в ЦОДе было два, но каждый питал только свою группу серверов, а не служил резервом друг для друга. При проведении технического обслуживания у сервис-инженера прихватило спину. Падая, он каким-то образом умудрился обесточить выход ИБП. И, по закону подлости, выключившийся в разгар рабочего дня источник обесточил группу серверов с наиболее критичными приложениями.

«Боевой» запуск дизель-генератора (ПБ) – проверка возможности запуска дизель-генератора в автоматическом режиме при пропадании внешней сети. Производится с помощью имитации полного отключения внешнего питания ЦОД. Время от отключения питания до запуска дизель-генератора серверное оборудование работает от батарей ИБП (обычно 1-3 минуты).

Запуск дизель-генератора под нагрузкой (ПН) – проверка способности дизель-генератора поддерживать питание подключенного к нему оборудования. Производится ручным переключением нагрузки на генератор (с помощью панели управления) после его запуска и выхода на нормальную работу. На время переключения АВР серверное оборудование работает от батарей ИБП (около 0,3-1 сек.). Кстати, для переключения нагрузки на ДГУ лучше использовать мотор-приводы, они хоть и работают медленнее, но срок службы и надежность у них выше.

Для предотвращения нежелательных простоев нужны регулярные комплексные сервисные работы. В одном из ЦОД проверки проводились только в отношении ДГУ. ИБП исправно показывал 10 минут автономии, но его никто не обслуживал. Возраст батарей к тому времени перевалил за 5 лет, и во время одного из боевых запусков они смогли проработать лишь 29 секунд. В то время как ДГУ завелась и смогла принять на себя нагрузку спустя только 33 секунды. Ко всему прочему, все оборудование было запитано от одного ИБП (от второго было решено отказаться еще на этапе реализации из-за бюджетных ограничений). В итоге – падение ЦОД. Полное восстановление всех вычислительных систем заняло около 12 часов.

Основные ошибки:
• Отказ на стадии реализации от второго ИБП. Трудные времена закончились, но второй ИБП так и не был приобретен.
• Отсутствие комплексного обслуживания всех инженерных систем ЦОД. При регулярном сервисном обслуживании ИБП об их неудовлетворительном состоянии стало бы известно заранее.
• Отсутствие регламентов планового обслуживания ЦОД и хаос при его эксплуатации.

Пути миграции тока

Ваши ИБП зарезервированы и вы регулярно их обслуживаете? Молодцы, но не вздумайте на этом останавливаться! Зарезервируйте еще и кабельные линии электроснабжения ЦОД, и установите 2 АВР, которые полностью резервируют друг друга. В идеале, они должны быть подключены к разным независимым электрощитам. В крайнем случае можно протянуть две линии и от одной щитовой, чтобы не получилось ситуации, как у одного из наших заказчиков.

При внедрении системы диспетчеризации в небольшой, но значимый ЦОД необходимо было поставить трансформаторы тока на основной ввод. Проблема была в том, что ввод был только один, а обесточить дата-центр было нельзя. После всех подготовительных работ питание было отключено. Пока оборудование ЦОД работало от батарей, монтажники трудились не покладая рук, а инженер, вытирая пот со лба, считал минуты на дисплее ИБП.

Основные ошибки:
• Система диспетчеризации была незаслуженно забыта при проектировании.
• Линия питания ЦОД не была зарезервирована.

Стало жарко

Система «чиллер-фанкойл» – система кондиционирования воздуха, в которой теплоносителем между центральной холодильной машиной (чиллером) и локальными теплообменниками (фанкойлами) служит охлажденная жидкость, циркулирующая под относительно низким давлением – обыкновенная вода (в тропическом климате) или водный раствор этиленгликоля (в умеренном и холодном климате).

Не стоит забывать и о резервировании систем кондиционирования. За последние два месяца довелось увидеть два проекта охлаждения ЦОД с использованием системы чиллер-фанкойл без резервирования трассы между чиллерами и сухими охладителями. Использование данного решения в реальной жизни с высокой долей вероятности приводит к простою ЦОД. В случае замены теплоносителя (что не редкость), только резервная трасса может сохранить работоспособность системы охлаждения, а значит и всего дата-центра.

Еще очень важный момент – разделение внешнего и внутреннего контуров охлаждения. Так в одном проекте на кровле седьмого этажа предлагалось установить два двухтонных чиллера, бак аккумулятор холода, мощную подкачивающую насосную станцию. Подача и обратка длиной двести метров была запланирована напрямую с крыши до блоков охлаждения в ЦОД, который находился в цоколе. В итоге, при даже небольшом прорыве трубы или неплотных соединениях внутренних блоков охлаждения все десять тонн этиленгликоля под давлением могли затопить ЦОД и электрощитовую заказчика.

Не забывайте о резервировании не только вычислительного оборудования, но и основных инженерных систем, и пусть ваш ЦОД работает вечно!

Что такое параллельное резервирование, масштабирование

Параллельное резервирование, масштабирование системы.

Parallel Redundancy –англ.
Parallel Capacity –англ.

Параллельное резервирование, масштабирование системы – технические решения для повышение надежности (аппаратное резервирование) или для увеличение суммарной выходной мощности системы (масштабирование).

Оно предусматривает параллельное соединение двух или нескольких одноранговых (одинаковых по мощности) ИБП по входу и выходу. Работоспособность такой системы обеспечивается специальной схемой фазовой синхронизации выходных напряжения и деления нагрузки

Примеры обозначения параллельных систем:

• «1+1» – система из двух ИБП со 100% резервированием.
• «3+1» – система из четырех модулей, один из которых (любой) является резервным (33% резервирование).
• «N+2» – система, состоящая из (N+2) модулей, два из которых (любые) являются избыточными.

При аппаратном резервировании в системе «N+X» нагрузка равномерно распределяется между всеми модулями, а в случае выхода из строя одного или нескольких из них (от 1 до X включительно) нагрузка перераспределяется между исправными устройствами. Если количество вышедших из строя ИБП равно X и в работе осталось минимальное количество исправных блоков N, то последующий выход из строя еще одного модуля приведет к отключению системы бесперебойного питания. В соответствии с данной логикой, для системы «N+X» мощность нагрузки не должна превышать номинальную мощность ИБП x N.

При масштабировании, все ИБП параллельной системы работают как единое устройство. А выход из строя любого блока приводит к полному отключению всей системы. Обозначение «N+X» при масштабировании не используется.

Параллельное резервирование и масштабирование применяется в основном с ИБП большой мощности при построении систем бесперебойного питания (СБП) для защиты особо ответственных объектов. Масштабирование является единственным способ защиты нагрузки сверхбольшой мощности (например, 4 MVA) при максимальной мощности 1 MVA выпускаемых одномодульных ИБП (см. N-Power Evo 1000 КВА). В случаях, если, конечно, не допускается сегментирование (дробление) нагрузки.

ИБП средней мощности (например, Mega-Vision, Pro-Vision Black) подключаются по упрощенной схеме «1+X», что также даёт возможность получить параллельные системы «N+1», «N+X», но при условии автоматического определения ИБП величины нагрузки*.

* Автоматическое определение ИБП величины нагрузки для системы «N+X» означает, что при выходе из строя X блоков и при оставшихся в работе N, в случае последующих проблем с еще одним модулем ИБП – безусловного автоматического отключения системы НЕ БУДЕТ (если потребляемая мощность нагрузки находится в допустимых пределах). Отключение может произойти в будущем только в случае возможной перегрузки.

В схеме с параллельным резервированием допускается применение как отдельных аккумуляторов для каждого ИБП, так и общего комплекта батарей. ИБП серий Mega-Vision (6-20 kVA), Pro-Vision Black (6-20 kVA), Power-Vision Black 3/3 и N-Power Evo компании N-Power могут быть объединены в параллельную систему.

Надёжность параллельной системы N+X имеющей единый батарейный кабинет возрастает, так как в батарейном режиме в случае выхода из строя X ИБП все батареи остаются в работе. В этих же условиях в схеме с раздельными батарейными кабинетами – все батарейные кабинеты всех X ИБП отключаются и их ёмкость теряется для системы.

ИБП N-Power также могут поддерживать логику работы с автоматическим определением нагрузки.

Последовательное резервирование (Serial Redundancy)

Схема «Резервирование Hot-standby / Serial Redundancy»

Большинство промышленных ИБП имеют два входа — главный (вход выпрямителя, rectifier input, main input) и резервный (вход байпаса, Bypass input).

Все ИБП имеющие два входа могут использоваться в системе с последовательным резервированием. Примеры ИБП поддерживающих схему включения «Serial Redundancy»: Power-Vision Black THD 3/1, Power-Vision 3F, Safe-Power Evo, Power-Vision Black MP 3/3, Power-Vision HF, Power-Vision W и др.

Схему с последовательным резервированием также называют «Serial Redundancy», «Hot-standby redundancy» или «Резервирование Hot-standby»

Cистема «Последовательное резервирование Hot-standby» показана ниже на рис. 1.

Цель последовательного резервирования — повышение надежности системы электроснабжения критичного оборудования путем последовательного соединения ИБП. Так же растёт время автономии по сравнению с одиночным ИБП.

Стандартная система с последовательным резервированием состоит из одного основного (ведущего/ master) модуля ИБП и одного резервного (ведомого/slave) модуля ИБП (для нестандартных систем количество как основных так и резервных модулей больше). Основной модуль работает на нагрузку. Резервный модуль используется в качестве резервного источника питания для входа Байпас основного модуля системы.

При пропадании питания на входе, оба ИБП переходят в автономный режим работы, нагрузка потребляет энергию батарейного комплекта основного ИБП. Если к моменту его разряда питание не восстановится, произойдет автоматический переход основного ИБП в Байпас, т. е. в итоге нагрузка будет питаться от резервного блока ИБП (нагрузка потребляет энергию батарейного комплекта резервного ИБП).

Можно считать, что эта система является частным случаем системы с избыточным резервированием N+1(N+X) так как имеет следующую логику работы: если велинчина нагрузки не превышает нагрузочную способность N блоков ИБП, то поломка* одного любого (и более до X) ИБП не приведёт к отключению нагрузки, и оставшийся исправный ИБП (или N блоков ИБП) продолжит питать нагрузку.

Возможность системы продолжить питание нагрузки при поломке одного из модулей (с учётом своевременного ремонта вышедшего из строя ИБП) резко повышает надёжность системы так как вероятность одновременной поломки обоих ИБП ничтожно мала.

Отличие по логике от стандартной параллельной системы (N+1)N+X (parallel redundant) заключается в поочерёдном, а не синхронном исчерпании энергии батарей (при использовании единого батарейного кабинета этого отличия нет), а также в отсутствии распределения нагрузки между блоками ИБП. Применение данной схемы особенно эффективно для On-Line ИБП имеющих нулевое время переключения Байпас<->Инвертор, таких как Power-Vision Black 3/1(1/1). Если же используются ИБП с ненулеым временем прехода Байпас<->Инвертор, то, тот факт, что время переключения не равно нулю -является серьёзным отличием (ухудшением) по сравнению с системой с параллельным резервированием (в параллельных системах, для большинства типов OnLine ИБП, время переключения между блоками равно нулю).

Принцип работы схемы «Резервирование Hot-standby»

Нормальный режим работы (входная сеть в норме):

Рис. 2 показывает нормальный поток энергии когда входная сеть в норме. Поток энергии поступает на основной ИБП и с него на нагрузку. Резервный ИБП работает в холостом режиме. Если на основном ИБП произойдёт авария, он перейдёт в байпас и нагрузка будет запитана от резервного ИБП как показано на рис.3:

Если сеть не в норме или отсутствует, то оба ИБП перейдут в батарейный режим . Поток энергии поступает из батарей основного ИБП на нагрузку. Резервный ИБП работает в холостом режиме. Если на основном ИБП разрядются батареи или произойдёт авария, он перейдёт в байпас и нагрузка будет запитана от резервного ИБП который будет питать нагрузку до разряда батарей. Если сеть восстановится, то система переходит в нормальный режим работы.

* это справедливо для случая если авария ведущего (основного/Master) ИБП — любая авария любого блока (инвертор, ЗУ и др.) при которой остаётся исправной линия Байпас. Для классического случая системы с избыточным резервированием N+1(N+X) этого ограничения нет.

По этой причине MTBF системы Hot Standby меньше чем MTBF системы Parallel Redundant.

Отличия системы бесперебойного питания с последовательным резервированием «Hot-Standby» от системы с параллельным резервированием «N+X».

Ниже приведён пример сравнения 2х систем:

• Система #1: 10кВА(9кВт) +10кВА(9кВт) паралл. резерв. N+1 (с отдельными бат. блоками)

• Система #2: 10кВА(9кВт) +10кВА(9кВт) послед. резервирование (с отдельными бат блоками)

Ниже рассмотрен пример когда пользователь выбрал систему #2 (10кВА(9кВт) +10кВА(9кВт) с последовательным резервированием (с отдельными бат блоками))

вместо системы #1 (10кВА(9кВт) +10кВА(9кВт) с паралл. резерв. N+1 (с отдельными бат. блоками)):

1 если нагрузка равна 9…18кВт, то система#1 будет нормально работать как единый ИБП мощностью 20кВА/18кВт

в то время как #2 работать не может т.к. её макс. нагрузочная способность равна 0…10кВА(0…9кВт). Это справедливо когда ИБП системы #1 поддерживают как избыточное так и силовое (power redundant parallel operation) резервинование.

2 если нагрузка равна 0-9 кВт то разница в логике приведена ниже:

-в системе #1 равномерно делится нагрузка между ибп то-есть износ равный, а в системе#2 износ поочередный -сначала ибп-master затем ибп-slave

-в системе #1 равномерно делится нагрузка между сборками акб (в бат. режиме) то-есть износ равный а в системе#2 износ поочередный -сначала работает акб ибп-master затем уже акб ибп-slave

-в системе#1 mtbf(наработка на отказ) выше (при условии своевременного ремонта любого ибп при возм. аварии)

потому что, при поломке любого ибп, оставшийся исправный ибп продолжает питать(защищать) нагрузку, в то время как

в системе#2 при тяжёлой аварии в master-ибп (поломка блока Байпаса), нагрузка обесточится даже при условии что slave-ибп и его акб исправны.

— Недостатки Hot Standby по сравнению с N+X parallel:

• ресурс ибп и акб исчерпывается неравномерно

• если авария главного ибп тяжелая, так что повреждена его линия Электронного Байпаса то нагрузка обесточится (в таком же случае в N+X системе нагрузка не обесточится, но продолжит питаться от оставшегося второго исправного ибп)

• power redundant невозможно (power redundant — это мощностное резервирование, то-есть когда система из 2х ибп способна питать нагрузку мощность которой равна сумме мощностей обоих ибп системы)

• в большинстве случаев единый батарейный кабинет невозможен (не рекомендован) хотя возможны исключения (В параллельных системах более часты случаи когда производитель допускает/рекомендует использовать единый батарейный кабинет для всей параллельной системы. Преимущество единого бат. кабинета заключается в том, что, при поломке одного из ИБП часть АКБ (то-есть их энергия) не теряются для системы несмотря на потерю ИБП, в то время как в параллельной системе где каждый ИБП имеет свой бат. кабинет — с потерей(при аварии) ИБП теряются и его АКБ.)

• время переключения между блоками может быть не равно нулю если в ТХ ИБП указано что время перехода на Байпас не равно нулю -итог: провал на нагрузке длительностью обычно 2-6мс, что обычно некртично для нагрузок имеющих импульсные блоки питания (компьютеры, сетевые устройства, телевизоры, светодиодные лампы и т.п. ).

• MTBF (наработка на отказ) хуже

+ Преимущества Hot Standby по сравнению с N+X parallel:

• нет коммуникационных (электропровода или оптика) кабелей между ИБП системы- меньше связей -меньше риск их повреждений -выше надёжность (общий mtbf хуже, но для условий где повышена опасность повреждения коммуникаций -mtbf выше). Таким образом есть 2 независимых блока ИБП соединённых только силовыми кабелями и не обменивающихся никакими сигналами -надёжность повышенная в тяжёлых условиях. Точных подтверждений и стандартов не имеется, но имеются факты приобретения таких систем военными связистами, что предположительно связано именно с повышенной надёжностью и как следствие, возможно, наличием спецтребований именно на такую схему резервирования.

• ремонтопригодность системы высокая так как блоки ИБП могут быть заменены даже на ИБП другой марки.

• В параллельной N+X системе это невозможно: при необходимости замены одного из ИБП требуется такой же ИБП с аналогичными прошивкой и платой параллельной работы что может быть затруднено по двум) причинам:
  — ИБП даже одного года выпуска могут иметь разные прошивки и не работать в параллель
  -на момент когда потребуется сменить один из ибп, например через 8 лет, невозможно будет приобрести парный ибп с такой же прошивкой, по той причине, что он мог быть снят с производства и техподдержка по прошивкам прекращена, то же касается и комплектации запчастями]

• дешевле, кроме случаев когда опция «N+X параллель» включена по умолчанию в стандартную поставку ИБП, что бывает далеко не всегда

• можно строить системы с числом ИБП более 3 и комбинированные системы содержащие и послед. и паралл. резервированные подсистемы

• при общей простоте схемы, есть возможность строить схемы с питанием от 2х независимых фидеров в том числе несинхронизированных.

Особенности

• в отличии от Parallel Redundant нельзя чинить/обслуживать главный ИБП с полным его выводом из линии. Но можно чинить/обслуживать главный ИБП с переводом его на ручной байпас.

Выше приведена стандартная терминология Последовательная система/Параллельная система.

Термин N+X используется для обозначения системы состоящей из N+X ИБП (например 3+2=5 блоков ИБП), где:

———

N – это число ИБП суммарной мощности которых достаточно чтоб тянуть нагрузку (например N=3).

X – это число избыточных (резервных) ИБП суммарная мощность которых может быть потеряна для системы (X штук ИБП могут сломаться) без ущерба для защищённого питания нагрузки (например X=2).

(Пример -имеем систему 3+2=5 ИБП (N=3, X=2): если 2 любых ибп сломаются то три оставшиеся продолжат питать нагрузку)

В различных источниках, в том числе в интернете может встретиться другая терминология и много похожих и близких терминов. Это связано с отсутствием единых нормативов на эту терминологию и с тем фактом что эти термины используются не только для резервирования ДГУ и ИБП но и в другой технике — например дублирование систем управления в летательных аппаратах, причём каждый производитель может вводить свою терминологию.

Пример разных терминнов для систем с резервирование — вот пример терминологии

[согласно источника

https://en.wikipedia.org/wiki/N%2B1_redundancy

«Redundancy: N+1, N+2 vs. 2N vs. 2N+1». datacenters.com. 2014-03-21. Retrieved 2014-06-29.

https://www.datacenters.com/news/redundancy-n-1-n-2-vs-2n-vs-2n-1-part-ii

]:

Рекомендуемые Правильные термины:

N — это число блоков питания (БП) достаточных для питания нагрузки

X — число резервных (избыточных ) ИБП которые могут быть убраны/сломаны без ущерба для нагрузки

N+X или N+[X] -сумма где вначале идёт число рабочих а затем резервных ИБП в одной системе

[ ] — (для одиночных систем) в квадратных скобках указываются резервные блоки ИБП (которые могут быть убраны/сломаны без ущерба для нагрузки). Если скобок квадратных нет, то в любой сумме -число N в первом слагаемом означает рабочие ИБП (достат. для питания нагрузки), второе слагаемое -означает резервные ИБП. Суммы содержащей более двух слагаемых быть не может так как в системе только 2 типа ИБП рабочие и резервные и они учтены.

[ ] — (для мультисистем) в квадратных скобках указываются резервные подсистемы (которые могут быть убраны/сломаны без ущерба для нагрузки). Если скобок квадратных нет, то в любой сумме первая подсистема -это рабочая подсистема, остальные -резервные.

Когда нагрузкой являются двухвходовые сервера, то более двух рабочих подсистем сделать невозможно, так как в стандартной мультисистеме «без дробления нагрузки», только 2 подсистемы своими двумя выходами способны питать двухвходовую нагрузку поэтому остальные подсистемы -резервные

() — скобки круглые -в круглых скобках указывается одна подсистема при обозначениях в мультисистемах

* -(для одиночных систем) после знака умножения пишется число N тоесть число рабочих ИБП способных тянуть нагрузку. Произведение полученное в результате умножения -это общее число ИБП в системе (рабочие +резервные).

* -(для мультисистем) знак умножения означает увеличение числа подсистем в столько раз на сколько умножаем. После знака умножения указывается подсистема могущая питать одну нагрузку, перед знаком умножения -число подсистем. В общем, при таких обозначениях, системой может быть и один ИБП.

/ — (дробь- знак деления) в мультисистемах после дроби стоит число нагрузок которое способна питать одна подсистема, при этом подразумеваются многовходовые нагрузки (нагрузка с АВР на входе или добавление STS) и симметричное распределение нагрузок. Нагрузок несколько. Таким образом нагрузка дробится между подсистемами.

Замечание: -в параллельных одиночных системах выходы ибп запараллелены. Но в мультисистеме выходы подсистем параллелить нельзя (так как есть проблема синхронизации инверторов подсистем).

Замечание: если для сокращения термина пишется умножение, то подразумевается 2 слагаемых например 2(N)+1 это тоже что (N)+(N+1). Для мультисистем состоящих из трёх и более подсистем надо писать подробно всю сумму например есть система (N)+(N+1)+(N+2) -это правильная запись, а сокращать вот так нельзя-3(N)+3 так как тогда неясно сколько подсистем и сколько в каждой из них резервных блоков.

Замечание: в системах с дроблением нагрузки возможно нет строго деления (ко количеству) на рабочие подсистемы и резервные подсистемы так как возможен случай (при аварии) когда часть нагрузок при аварии будет питаться, а часть -нет. Но при необходимости можно ввести строгое определение для числа рабочих подсистем — это количество рабочих подсистем достаточное для питания всех имеющихся нагрузок.

Пример обозначений:

1 https://en.wikipedia.org/wiki/N%2B1_redundancy

«Redundancy: N+1, N+2 vs. 2N vs. 2N+1». datacenters.com. 2014-03-21. Retrieved 2014-06-29.

https://www.datacenters.com/news/redundancy-n-1-n-2-vs-2n-vs-2n-1-part-ii

2 Comparing UPS System Design Configurations / KevinMcCarthy, EDG2Inc. Viktor Avelar, Schneider Electric

3 https://whatis.techtarget.com/definition/N1-UPS

4 https://www.ecopowersupplies.com/blog/parallel-ups-systems-configurations

5 https://community.hpe.com/t5/BladeSystem-General/N-N-and-N-1-Redundancy/td-p/4566399

Если сеть не в норме или отсутствует, то оба ИБП перейдут в батарейный режим . Поток энергии поступает из батарей основного ИБП на нагрузку. Резервный ИБП работает в холостом режиме. Если на основном ИБП разрядются батареи или произойдёт авария, он перейдёт в байпас и нагрузка будет запитана от резервного ИБП который будет питать нагрузку до разряда батарей. Если сеть восстановится, то система переходит в нормальный режим работы.

____________

* это справедливо для случая если авария ведущего (основного/Master) ИБП — любая авария любого блока (инвертор, ЗУ и др.) при которой остаётся исправной линия Байпас. Для классического случая системы с избыточным резервированием N+1(N+X) этого ограничения нет.

По этой причине MTBF системы Hot Standby меньше чем MTBF системы Parallel Redundant.

Источники бесперебойного питания (ИБП и ДГУ) для ЦОД

ЗАКАЗАТЬ

На сегодняшний день построение центра обработки данных (ЦОД) – это более чем важная задача для любой компании. Ведь когда кампания начинает расти, то поток обрабатываемой информации увеличивается, за счет этого нагрузка на корпоративные вычислительные сети становится все более высокой, как и ценность самой информации. Для защиты, обработки и хранения информации создаются специальные здания именуемые ЦОД или Дата-центры. Рассмотрим более подробно, для чего же нужны центры обработки данных. 

Центр обработки данных (ЦОД) – это специализированное здание для размещения оборудования обработки и хранения информации. В Дата-центрах находятся:
– мощные серверы, которые отвечают за хранение и обработку информации;
– сетевое оборудование, отвечающее за обмен данными с внешним миров.
– инженерные системы, обеспечивающие жизнедеятельность ЦОД.
– системы безопасности, которые защищают Дата-центры от нежелательных вторжений.
Основная функция современных ЦОД – это повышение надежности обработки и хранения информации. Центры обработки данных дают возможность хранить и не терять важную информацию на протяжении всего ее жизненного цикла. Для организации правильного хранения данных большинству предприятий надо лишь модернизировать уже существующую систему.

Центр обработки данных позволяет обеспечить:

• Доступность системы и данных, их защиту и сохранность;
• Увеличить мощность IT-инфраструктуры;
• Внедрить информационную систему;
• Повысить надежность бизнеса;

Создание дата-центра позволяет решить следующие задачи:

• Обеспечить гарантированный доступ и защиту информационных систем данных;
• Повысить надежность и отказоустойчивость IT-инфраструктуры;
• Сделать возможной обработку данных из распределенных подразделений;
• Обеспечить централизацию управления IT-ресурсами;
• Повысить эффективность использования бизнес-приложений;
• Обеспечить масштабируемость IT-системы и возможность наращивания IT-ресурсов;
• Снизить затраты на эксплуатацию IT-инфраструктуры.

ЦОДы в основном устанавливают на предприятиях, где информационные технологии являются критическими для бизнеса, а само исполнение бизнес-функций напрямую зависит от уровня, качества и степени доступности IT-сервисов. К таким потребителям относятся государственные структуры, банки и телекоммуникационные компании. Для обеспечения бесперебойного питания Дата-центра используются современные и мощные ИБП для ЦОД разных мощностей, все зависит от размеров центра обработки данных. В основном используются источники бесперебойного питания, выполненные по технологии двойного преобразования (online). ИБП легко сочетаются с дизель-генераторными установками, которые являются неотъемлемой частью системы электропитания современного ЦОДа.

       Когда перебои в электроэнергии составляют небольшое количество времени, для таких ситуаций подойдет установка ИБП для ЦОД. Источник бесперебойного питания может обеспечить Дата-центр электропитанием в течение 40-60 минут.
       Если электроэнергия отсутствует довольно продолжительное время, то следует укомплектовать ЦОД дизель-генераторной установкой. Дизельная электростанция запускается автоматически сигналом с ИБП при отключении внешнего электропитания и выходит на полную мощность через 3-5 минут после старта. При строительстве Дата-центра выбирают довольно мощные источники бесперебойного питания. Преимущества при использовании ИБП является надежность, гибкость, большой срок службы оборудования, легкость обслуживания и мониторинга.

Требования, предъявляемые к ИБП установленных в ЦОД по уровням надежности:

Основным требованиям, предъявляемым к Центрам обработки данных (ЦОД) является отказоустойчивость. Именно отказоустойчивость Дата-центра и определяет уровень надежности. При этом подразумевается отключение ЦОД как на время планово-предупредительных работ и профилактики оборудования, так и внеплановых аварийных ситуаций.

ЦОДы различаются по степени защиты. Классификация Tier. Классификация Tier описывает надежность функционирования ЦОД и является необходимой для компаний, как желающих построить свой Дата-центр, так и для арендующих чужие вычислительные мощности. В зависимости от критичности бизнеса компании, в зависимости от потерь, которые компании понесет в случае остановки её бизнес-процессов, избирается тот или иной Tier. В свою очередь, высокий уровень надежности требует высоких как капитальных, так и эксплуатационных затрат, поэтому и стоимость вычислительных мощностей также резко зависит от уровня надежности ЦОД. На первый взгляд может показаться, что основным показателем, определяющим уровень надежности, является время простоя Дата-центра за год и вытекающий из него коэффициент отказоустойчивости, равный отношению времени простоя за год к длительности года. Однако следует отметить, что есть еще более принципиальное разделение четырех уровней надежности на две категории. Критериями данных уровней является возможность проведения профилактических работ без полной остановки ЦОД:

• При Tier 1 и Tier 2 для выполнения планово-предупредительных работ необходимо остановить ЦОД;
• При Tier 3 и Tier 4 любая плановая деятельность осуществляется без нарушения нормального хода работы ЦОД.

Tier 1. Базовый уровень надежности ЦОД. На этом уровне ошибки и отказы в работе систем и оборудования приводят к сбоям в работе всего ЦОД. В Центре обработки данных может не быть фальшполов, резервных источников электроснабжения и источников бесперебойного питания (ИБП). Если ИБП и генераторы имеются, то представляют собой одномодульные системы, имеющие множество единых точек отказа. Раз в год вся инфраструктура должна отключаться для выполнения профилактических и ремонтных работ

Tier 2. С резервированными компонентами. Даты-центры со вторым уровнем надежности имеют небольшой уровень резервирования компонентов, подвержены перебоям из-за неплановых отключений несколько меньше, чем центры базового уровня. В них имеется фальшпол, ИБП и дизель генераторы, однако резервирование в них осуществляется по схеме N+1 (необходимые элементы плюс один резервный). Проведение технических и ремонтных работ потребует остановку работы центра обработки данных.

Tier 3. С возможностью параллельного проведения ремонтных работ. Третий уровень надежности требует осуществления любой плановой деятельности без остановки работы ЦОД. Под плановыми работами подразумевается профилактическое и программируемое техническое обслуживание, ремонт и замена компонентов, добавление или удаление компонентов, и их тестирование. Очевидно, что в этом случае необходимо иметь резервирование, позволяющее всю нагрузку пустить по другому пути во время работ на первом. Для реализации Tier 3 необходима схема резервирования блоков систем кондиционирования, ИБП, ДГУ N+1.

Tier 4. Отказоустойчивый. Уровень надежности Tier4 обеспечивает безостановочную работу ЦОД при проведении плановых мероприятий и способен выдержать один серьезный отказ без последствий для критически важной нагрузки. Необходим дублированный подвод питания, резервирования системы кондиционирования и ИБП по схеме 2 (N+1). Для ДГУ необходима отдельная площадка с зоной хранения топлива.

что это такое и как он работает

T-Rex

Тираннозавр Рекс

Объем генерируемой человечеством информации постоянно растет. По прогнозам специалистов, к 2025 году объем всех данных в мире составит 163 зеттабайт (ЗБ). Это в 10 раз больше, чем в 2016 году.

Для обработки и хранения информации существуют центры обработки данных (ЦОД). Они представляют собой специализированные помещения или целые здания, где устанавливается серверное и сетевое оборудование, а также выстраивается соответствующая инфраструктура. ЦОД может быть крупным, занимая одно или несколько зданий, а может быть совсем небольшим, размещаясь в отдельном помещении.

Для чего нужен ЦОД и кто его использует?

Центры обработки данных, или дата-центры (от англ. data center), отвечают за бесперебойную работу всего установленного внутри оборудования и соответствующей инфраструктуры. ЦОД должен выполнять такие функции, как:

• Обеспечение оборудования электроэнергией.
• Отвод излишнего тепла, которое негативно влияет на работоспособность систем и устройств.
• Защита оборудования от негативного воздействия окружающей среды.
• Предоставление доступа к оборудованию сотрудникам дата-центра и ограничение доступа к этому же оборудованию посторонним.
• Защита вычислительного и сопутствующего оборудования от инцидентов, например, пожаров.

Используют ЦОД бизнес, правительственные и научно-исследовательские организации для самых разных нужд. Объединяет их одно: необходимость обработки и хранения огромных массивов информации.

Уровни надежности ЦОД

Чем важнее задача, выполняемая центром обработки данных, тем надежнее он должен быть. Пара минут простоя ЦОД может стоить бизнесу нескольких миллионов долларов. Для оценки уровня надежности ЦОД компания Uptime Institute разработала специальную систему сертификации — Tier. Уровни сертификации:

• Tier I. Это базовый ЦОД, в котором используется система резервирования N+0 (об этом ниже). У таких объектов в большинстве случаев нет дублирующих систем. Максимальный уровень доступности ЦОД (отказоустойчивость) составляет 99,671%.
• Tier II. Более надежный объект, в котором применяется схема резервирования N+1. Системы зарезервированы, но в случае необходимости ремонта ЦОД приходится останавливать. В дата-центрах уровня Tier 2 обязательно должен присутствовать фальшпол. Отказоустойчивость ЦОД — 99,75%.
• Tier III. При поломке какой-либо из систем ЦОД продолжает функционировать, ремонт можно выполнять без остановки всего объекта. Отказоустойчивость ЦОД — 99,98%.
• Tier IV. На данный момент это самый высокий уровень сертификации. У любой инженерной системы есть резерв как основного, так и дополнительного узла (схема резервирования 2N+1). Отказоустойчивость — 99,99%, время простоя сведено к минимуму. Опасности остановки такого ЦОД практически нет.

Инженерные системы центра обработки данных

ЦОД невозможно представить без инженерных систем, которые позволяют выполнять функции, перечисленные выше. Основных систем пять.

Энергоснабжение. Работоспособность дата-центра зависит от бесперебойных поставок электроэнергии. Для того, чтобы обеспечить непрерывность всех процессов, инженеры ЦОД подключают объект к энергетической сети по нескольким независимым каналам, а также добавляют системы аварийного питания, включая дизельные генераторы. Они нужны на случай полного отключения всех резервных каналов.

Кондиционирование. Перегрев оборудования чреват частичным или полным отказом. Сильнее всего в здании нагревается машинный зал, где установлена большая часть серверного оборудования. Для охлаждения обычно используют промышленные кондиционеры и/или альтернативные системы, включая фрикулинг.

Безопасность. Как и говорилось выше, оборудование дата-центра должно быть защищено от действий посторонних лиц. Не менее важная задача — обеспечение конфиденциальности данных, которые хранятся в центре обработки данных. В большинстве случаев системы безопасности ЦОД включают систему контроля доступа, видеонаблюдение, пожарную сигнализацию, противопожарную систему и т.п. Доступ к оборудованию жестко регулируется, всегда есть охрана.

Сетевая инфраструктура. Она нужна для передачи данных и включает как выделенные, так и общедоступные каналы с высокой пропускной способностью.

Администрирование. Управлять дата-центром, всем комплексом оборудования и ПО невозможно без специальной системы мониторинга. Она дает возможность оценивать работоспособность подсистем дата-центра, устраняя возникающие проблемы на ранней стадии.

Резервирование инженерных систем ЦОД

Для того, чтобы дата-центр работал без перебоев, критически важные системы могут многократно дублироваться благодаря различным схемам резервирования. Их обозначают латинской буквой N. Главные схемы резервирования перечислены ниже.

N+0. Это базовый уровень, системы без резервирования. Если что-то ломается или отключается энергия, то останавливается работа всего дата-центра. Отметим, что в ЦОД, где требуется бесперебойная работа оборудования, необходимо многократное резервирование, так что схема N+0 здесь не подходит.

N+1. Система резервируется однократно. Резервный элемент задействуется после того, как выходит из строя основной, так что весь комплекс продолжает работу.

2N. У каждой основной системы или элемента есть два резерва, которые работают параллельно, так что нагрузка равномерно распределяется между всеми компонентами. Если какой-то элемент выйдет из строя, его автоматически заменяет второй.

2N+1. Такая же схема, как и выше, но используется еще один добавочный компонент.

2(N+1). В этой схеме дублируются даже дополнительные элементы. Одна из самых надежных схем на данный момент, которая работает безотказно.

Основные услуги дата-центров

Главная задача ЦОД — обеспечение бесперебойной работы оборудования. А вот возможность размещения такого оборудования клиентами компании, которая владеет дата-центром, — это уже услуга. Главные услуги дата-центров:

Все дата-центры компании Selectel соответствуют стандартам Uptime Institute уровня Tier III.

Всего их шесть: «Берзарина» (г. Москва), «Цветочная 1», «Цветочная 2», «Дубровка 1», «Дубровка 2», «Дубровка 3» (Санкт-Петербург и Ленобласть).

• ДЦ «Берзарина» оснащен источниками бесперебойного питания, дизель-генераторами N+1, а также системой фрикулинга с адиабатическим доохлаждением.
• ДЦ «Цветочная 1» оснащен прецизионными кондиционерами, источниками бесперебойного питания, дизель-генераторами.
• ДЦ «Цветочная 2» оснащен источниками бесперебойного питания, дизель генераторами с резервированием по схеме N+1, чиллерами, автоматической системой пожаротушения.
• В ДЦ «Дубровка 1» установлены 4 дизель-генераторных установки Gesan. Они подключены по схеме 3+1, что позволяет зарезервировать полную мощность дата-центра.
• В ДЦ «Дубровка 2» установлены источники бесперебойного питания, дизель-генераторы N+1, автоматическая система газового пожаротушения и прецизионные кондиционеры.
• В ДЦ «Дубровка 3» используется все то же, но вместо кондиционирования применяется фрикулинг с доохлаждением.

Определение и значение резервации | Словарь английского языка Коллинза

Примеры «оговорки» в предложении

бронирование

 Начать резервирование ресурсов
ИМЯ = dayPolicy
ПОЛЬЗОВАТЕЛИ = user1 user2 # необязательно
HOSTS = hostA hostB # необязательно
TIME_WINDOW = 8: 00-18: 00 # еженедельное повторяющееся бронирование
Конечное резервирование ресурсов
  

  user1  может добавить следующее резервирование для пользователя  user2  для использования на  hostA  каждую пятницу с 9:00 a.м. и 11:00:
 
   brsvadd -m "hostA" -n 1 -u "user2" -t "5: 9: 0-5: 11: 0"  
Резервирование "user2 # 2" создано
  

Пользователи могут удалять только те бронирования, которые они создали сами. В этом примере только пользователь  user1  может удалить резервирование;  user2  не может. Администраторы могут удалять любые бронирования, созданные пользователями.
 
  

Все пользователи в группе пользователей  ugroup1 , кроме  user1 , могут делать предварительное резервирование на любом хосте в hgroup1, кроме  hostB , между 10:00 p.м. и 6:00 утра каждый день
 
Начать резервирование ресурсов
ИМЯ = nightPolicy
ПОЛЬЗОВАТЕЛИ = ugroup1 ~ user1
HOSTS = hgroup1 ~ hostB
TIME_WINDOW = 20: 00-8: 00
Конечное резервирование ресурсов
   
 
   важно:    
 
 Оператор not (~) не исключает администраторов LSF из политики. 
 
 

   brsvadd -n 1024 -m hostA -u user1 -b 6: 0 -e 8: 0  
Резервирование "user1 # 0" создано
  

Хосты, указанные в параметре  -m , могут быть локальными для кластера или хостами, арендованными у удаленных кластеров.
 
  

Следующая команда создает однократное предварительное резервирование 1024 слотов заданий на хосте любого типа для пользователя  user1  с 6:00 до 8:00 сегодня:
 
   brsvadd -n 1024 -R "type == any" -u user1 -b 6: 0 -e 8: 0  
Резервирование "user1 # 1" создано
  

Следующая команда создает одноразовое предварительное резервирование, которое резервирует 12 слотов на  hostA  между 6:00 p.м. 1 декабря 2003 г. и в 6:00 31 января 2004 г .:
 
   brsvadd -n 12 -m hostA -u user1 -b 2003: 12: 01: 18: 00 -e
2004: 01: 31: 06: 00  
Резервирование user1 # 2 создано
 

   brsvadd -n 1024 -m "hostA hostB" -g groupA -t "3: 0: 0-3: 3: 0"  
Резервирование "groupA # 0" создано
  

Следующая команда создает предварительное резервирование 1024 слотов заданий на хосте  hostA  для пользователя  user2  каждый будний день с 12:00 до 14:00:
 
   brsvadd -n 1024 -m "hostA" -u user2 -t "12: 0-14: 0"  
Резервирование "user2 # 0" создано
  

Следующая команда создает резервирование системы на  hostA  каждую пятницу с 18:00.м. до 20:00:
 
   brsvadd -n 1024 -m hostA -s -t "5: 18: 0-5: 20: 0"  
Резервирование "система №0" создано
  

Пока резервирование системы активно, никакие другие задания не могут использовать зарезервированные хосты, и LSF не отправляет задания на указанные хосты.
 
  

Следующая команда создает предварительное резервирование для 1024 слотов заданий на хостах  hostA  и  hostB  с более чем 50 МБ пространства подкачки для пользователя  user2  каждый будний день с 12:00 до 2:00 p.м .:
 
   brsvadd -n 1024 -R "swp> 50" -m "hostA hostB" -u user2 -t "12: 0-14: 0"  
Резервирование "user2 # 1" создано
 

   brsvadd -n 1024 -m hostA -u user1 -b "6: 0" -e "8: 0"  
Резервирование "user1 # 0" создано
 

   brsvmod -e "+60" user1 # 0  
Бронирование "user1 # 0" изменено
 

 brsvmod addhost -n2 -m "hostA"
 

 brsvmod addhost -n4 -m "hostA hostB"
 

 brsvmod addhost -n4 -R "тип == Linux"
 

 brsvmod addhost -n4 -m "hostgroup1" -R "type == linux"
 

 brsvmod addhost -m "hostA hostB"
 

   brsvadd -n 1024 -m "hostA hostB" -g groupA -t "3: 0: 0-3: 3: 0"  
Резервирование "groupA # 0" создано
   brsvs  
ТИП RSVID ПОЛЬЗОВАТЕЛЬ NCPUS RSV_HOSTS TIME_WINDOW
groupA # 0 user groupA 0/1024 hostA: 0/256 3: 3: 0-3: 3: 0 *
                                    hostB: 0/768
 

   brsvmod addhost -n 256 -m "hostA" groupA # 0  
Бронирование "groupA # 0" изменено
   brsvmod rmhost -n 256 -m "hostB" groupA # 0  
Бронирование "groupA # 0" изменено
 

 brsvmod rmhost -n 4 -m "hostA"
 

 brsvmod rmhost -n 4 -m "hostA hostB"
 

 brsvmod rmhost -m "hostA hostB"
 

 brsvmod rmhost -n 4
 

 brsvmod rmhost -n 2 -m "hostA" система №1
 

   brsvs  
ТИП RSVID ПОЛЬЗОВАТЕЛЬ NCPUS RSV_HOSTS TIME_WINDOW
user1_1 пользователь user1 3/4 hostA: 2/2 1/24/12 / 2-1 / 24/13/0
                                    hostB: 1/2
 

 brsvmod rmhost -m hostB user1_1
brsvmod rmhost -n 1 -m hostB пользователь1_1
 

 brsvmod rmhost -n 2 user1_1
brsvmod rmhost -m hostA user1_1
brsvmod rmhost -n 1 -m hostA user1_1
brsvmod rmhost -n 2 -m hostB пользователь1_1
 

 brsvadd -o -n 1024 -m hostA -u user1 -b 6: 0 -e 8: 0
Резервирование "user1 # 0" создано
 

 brsvmod -on user1 # 0
Бронирование "user1 # 0" изменено
 

 Резервирование "user1 # 0" создано
brsvadd -n 4 -m hostA -u user1 -t "6: 0-8: 0"
 

 brsvmod -disable -td "2007: 12: 1-2007: 12: 10" user1 # 0
Бронирование "user1 # 0" изменено
 

 brsvadd -n 4 -m hostA -u user1 -b "2007: 12: 1: 6: 0" -e "2007: 12: 1: 8: 0"
Резервирование "user1 # 2" создано
 

 11/12/14 / 0-11 / 12/18/0
 

 5: 18: 0–5: 20: 0 *
  

В столбцах NCPUS и RSV_HOSTS:
 
 

 - / 2048 хост A: - / 1024
 

   brsvs -l  
ТИП RSVID ПОЛЬЗОВАТЕЛЬ NCPUS RSV_HOSTS TIME_WINDOW
user1_1 # 0 пользователь user1_1 10/10 host1: 4/4 8: 00-22: 00 *
                                                 host2: 4/4
                                                 host3: 2/2
Статус бронирования: активно
Следующий активный период:
        Сб 22 августа 08:00:00 2009 - сб 22 августа 22:00:00 2009
Создатель: user1_1
Тип бронирования: ЗАКРЫТО
ЗАВЕРШЕНО Вакансий: 203 204 205 206 207 208 209 210 211 212
PEND Вакансий: 323 324
РАБОЧИЕ заданий: 313314316318319320321322
Вакансий SUSP: 315 317
 

 11/12/14 / 0-11 / 12/18/0
 

 5: 18: 0 5: 20: 0
  

Например, следующее предварительное бронирование имеет четыре изменения времени в течение его срока службы.Первоначальное резервирование распространяется на одного пользователя ( user1 ) и один хост ( hostA ) с 1 слотом. Различные модификации изменяют пользователя на  user2 , затем снова на  user1 , добавляет, затем удаляет 1 слот из резервирования.
 
   bacct -U user1 # 1  
Учет предварительных бронирований, а именно:
  - учитываются по идентификаторам предварительного бронирования user1 # 1,
  - с учетом предварительных бронирований, созданных пользователем user1,
---------------------------- РЕЗЮМЕ --------------------- -------
RSVID: user1 # 1
ТИП: пользователь
СОЗДАТЕЛЬ: user1
Общее количество вакансий: 0
Общее затраченное время ЦП: 0.0 секунд
Максимальный объем памяти задания: 0,0 МБ
Максимальный размер подкачки задания: 0,0 МБ
Общее время активности: 0 час 6 минут 42 секунды
------------------------ Конфигурация 0 ------------------------
ТИП RSVID СОЗДАТЕЛЬ ПОЛЬЗОВАТЕЛЬ NCPUS RSV_HOSTS
user1 # 1 пользователь user1 user1 1 hostA: 1
Активное время с этой конфигурацией: 0 часов 0 минут 16 секунд
------------------------ Конфигурация 1 ------------------------
ТИП RSVID СОЗДАТЕЛЬ ПОЛЬЗОВАТЕЛЬ NCPUS RSV_HOSTS
user1 # 1 пользователь user1 user2 1 hostA: 1
Активное время с этой конфигурацией: 0 часов 0 минут 24 секунды
------------------------ Конфигурация 2 ------------------------
ТИП RSVID СОЗДАТЕЛЬ ПОЛЬЗОВАТЕЛЬ NCPUS RSV_HOSTS
user1 # 1 пользователь user1 user2 1 hostA: 1
Активное время с этой конфигурацией: 0 час 1 минута 58 секунд
------------------------ Конфигурация 3 ------------------------
ТИП RSVID СОЗДАТЕЛЬ ПОЛЬЗОВАТЕЛЬ NCPUS RSV_HOSTS
user1 # 1 пользователь user1 user1 2 hostA: 2
Активное время с этой конфигурацией: 0 час 1 минута 34 секунды
------------------------ Конфигурация 4 ------------------------
ТИП RSVID СОЗДАТЕЛЬ ПОЛЬЗОВАТЕЛЬ NCPUS RSV_HOSTS
user1 # 1 пользователь user1 user1 1 hostA: 2
Активное время с этой конфигурацией: 0 час 2 минуты 30 секунд
  

Следующее резервирование ( user2 # 0 ) имеет однократную модификацию в течение своего времени жизни.Исходный имеет область действия одного пользователя ( user2 ) и одного хоста ( hostA ) с 1 слотом; модификация изменяет пользователя на  user3 .
 
   bacct -U user2 # 0  
Учет предварительных бронирований, а именно:
  - учитываются по всем идентификаторам предварительного бронирования:
  - учитываются предварительные бронирования, созданные всеми пользователями:
--------------------------- РЕЗЮМЕ ---------------------- ---
RSVID: user2 # 0
ТИП: пользователь
СОЗДАТЕЛЬ: user2
Общее количество вакансий: 1
Общее затраченное время ЦП: 5.0 секунд
Максимальный объем памяти задания: 1,7 МБ
Максимальный размер подкачки задания: 7,5 МБ
Общее время активности: 2 часа 0 минут 0 секунд
------------------------ Конфигурация 0 ------------------------
ТИП RSVID СОЗДАТЕЛЬ ПОЛЬЗОВАТЕЛЬ NCPUS RSV_HOSTS
user1 # 0 пользователь user2 user2 1 hostA: 1
Активное время с этой конфигурацией: 1 час 0 минут 0 секунд
------------------------ Конфигурация 1 ------------------------
ТИП RSVID СОЗДАТЕЛЬ ПОЛЬЗОВАТЕЛЬ NCPUS RSV_HOSTS
user1 # 0 пользователь user2 user3 1 hostA: 1
Активное время с этой конфигурацией: 1 час 0 минут 0 секунд