Системы обеспечения
Общая информация
Системы обеспечения (Facility Infrastructure) — Не являются ИТ сервисами, ИТ не является владельцем или управляющим сервисов, но необходимы для функционирования ИТ инфраструктуры. Как правило их внедрение и сопровождение производится административным департаментом и департаментом безопасности организации.
Системы обеспечения можно условно разделить на две составляющие: Инженерные системы и Системы Безопасности. Первая группа предназначена для обеспечения функционирования ИТ инфраструктуры. Вторая группа обеспечивает физическую безопасность ИТ инфраструктуры. При построении ЦОД желательно придерживаться рекомендаций следующих стандартов:
•Uptime Institute (UI)
•Американский стандарт (ANSI) TIA-942
•Серия стандартов EN50600 компании «CENELEC»
•SHRAE 90.4 — ASHRAE
Для понимания дальнейший информации необходимо ознакомится с рядом значений:
•1 Вт = 1.4 ВА (Вольт-Ампер) — мощность при коэффициенте 0.7;
•1 Вт = 3.41 BTU — британская единица тепловыделения;
•1 U = 44.45 мм (1.75 дюйм) — размера оборудования стойки;
•10 мВт = 10 dBm — мощность сигнала или потерь;
•100 мВт = 20 dBm — мощность сигнала или потерь (в 10 раз);
•200 мВт = 23 dBm — мощность сигнала или потерь (в 2 раза);
•1000 мВт = 30 dBm — мощность сигнала или потерь (в 100 раз);
Инженерные системы
F01 — Физическая инфраструктура
F02 — Структурированная Кабельная Система (СКС)
F03 — Система Электропитания
F04 — Система основного освещения
F05 — Система аварийного освещения
F06 — Система резервного и аварийного электропитания
F07 — Система Бесперебойного Электропитания (UPS)
F08 — Система охлаждения и вентиляции (HVAC)
F09 — Система управления Зданием (BMS)
Системы Безопасности
F10 — Физическая безопасность
F11 — Система Контроля и Управления Доступом (СКУД)
F12 — Система охранной сигнализации
F13 — Система пожарной сигнализации
F14 — Система внутреннего видеонаблюдения (CCTV)
F15 — Система автоматического пожаротушения
F16 — Система оповещения
Рассмотрим детальные требования предъявляемые к системам обеспечения
F01: Физическая инфраструктура
Назначение
Физическая инфраструктура представляет из себя помещение, здание или пространство для расположения инженерных систем и вычислительных ресурсов. По стандартам построения ЦОД различают помещения ЦОД по их назначению:
•Машинный зал (Computer Room CR) — включающие в себя Zone Distribution Area ZDA и Equipment Distribution Area EDA;
•Коммуникационные помещения (Telecommunication Room TR) — включающие в себя Main Distribution Area MDA и Horizontal Distribution Area HDA;
•Entrance Room ER — помещение для подвода внешних коммуникаций;
•Технические помещения (Facility Room FR) — для ИБП, систем охлаждения и т п;
•Network Operation Center NOC — помещения для мониторинга;
Кроме этого вводятся понятия:
•Площадь Стойки (Rack Area)
•Количество Вмещаемых Стоек (Rack Yield)
•Единица Эквивалента Стойки (REU)
Введем основные определения
Центр обработки данных (ЦОД) — консолидация вычислительных ресурсов, средств хранения данных и связи в специализированном помещении для выполнения функций обработки, хранения и распространения информации.
Коммуникационная комната — специализированное помещении для размещения элементов СКС, активного оборудования, систем безопасности и т п. Исполняет функции консолидации, обработки, хранения и обмена информацией с ЦОД.
Коммуникационные шкафы — отдельно стоящие специализированные стойки для размещения активных и пассивных элементов СКС и элементов систем обеспечения. Исполняет функции коммутации и консолидации точек подключения. Могут размещаться как обособленно, так и в помещении коммуникационных комнатах или ЦОД.
По размерам ЦОДы можно разделить по площади машинного зала и ассоциируется с количеством вмещаемых стоек. Так для примера:
Общие требования
Физические требования общего назначения можно выразить как:
•Наличие помещения серверной комнаты или ЦОД.
•Наличие коммуникационных комнат (для этажа, сектора и т п).
•Возможность доставки и монтажа коммуникационных 42U стоек
Физические требования к шахтам и каналам:
•Возможность доступа к кабелю и его замене.
•Раздельная прокладка «слаботочного» и «силового» кабеля.
•Не допускать прокладки кабеля в шахтах, предназначенных для прокладки водяных труб, труб отопления или канализации.
Физические требования к помещению ЦОД
Для помещения серверной комнаты (ЦОД) можно руководствоваться, но не ограничиваться следующими требованиями. Рекомендуется:
•Размер машинного зала не менее 6 м2;
•Размещать на первых этажах здания для облегчения доставки и размещения оборудования;
•Размещать помещение ЦОД в центре здания;
•Шахты проходят через ЦОД или непосредственной близости;
•Стены из кирпичной кладки или бетона;
•Ограниченный доступ в помещение;
•Обеспечивать возможность размещения шкафов (форм-фактор 42U 600 х 1100 х 2000 мм) и их обслуживание;
•Обеспечение пространства между боковыми стенками стоек или пары стоек не менее 30 см;
•Обеспечение прохода между стойками не менее 60 см;
•Доступ к стойке с фронтальной стороны порядка 90—150 см для установки оборудования;
•Доступ к задней стороне стойки порядка 60—90 см для проведения монтажных работ;
•Обеспечивать возможность проведения регламентных работ;
•Высота рабочего пространства (от фальшпола до подвесного потолка) помещения не менее 2.2 м;
•Металлическая дверь;
•Размер дверного проема не менее 1м х 2м без порога;
•Дверь открывается наружу и снабжена механизмом «push up»;
•Наличие фальшпола с высотой не менее 40 см;
•Наличие фальшпола выдерживающего весовую нагрузку от 600 кг/м2 для «обычных» стоек и до 1200 кг/м2 для стоек с «высокой плотностью» установки;
•Наличие открытых кабельных направляющих (не менее 150 х 25 мм) под фальшполом для прокладки силового кабеля;
•Кабельные направляющие устанавливаются выше пола на 10 см;
•Наличие открытых кабельных направляющих (не менее 150 х 25 мм) на потолке для прокладки слаботочного кабеля;
•Использование пожара-стойких, не токсичных, не дымных материалов;
•Возможность доставки габаритных, порядка 2000 х 1000 х 1000 мм и тяжелых, порядка 300 кг. грузов;
•Наличия резервных шахт или каналов для подвода кабелей;
•Размещать машинный зал не далеко от технических помещений;
Допускается:
•Располагать серверную комнату в подвале, если отсутствует угроза затопления;
•Использование серверной комнаты в качестве коммуникационной комнаты для небольшого объекта;
•Не использовать фальшпол для малых и не нагруженных серверных комнат;
Не рекомендуется:
•Располагать серверную комнату на вернем этаже здания;
•Располагать серверную комнату таким образом, что стенки серверной являются внешними стенами здания;
•Наличие окон в серверной комнате;
Запрещается:
•Прохождение по помещению серверной комнаты водяных труб, труб отопления или канализации.
•Прохождения рядом или на верхних этажах от серверной комнаты водяных труб, труб отопления или канализации.
•Использовать серверную комнату не по назначению
Физические требования к помещению коммутационной комнаты
Для помещения коммутационной комнаты можно руководствоваться, но не ограничиваться следующими требованиями со стороны ИТ:
Рекомендуется:
•Размещать в центре здания для небольших объектов.
•В зависимости от конструкции здания, размещать с учетом ограничения СКС.
•Шахты и каналы должны проходить через помещение.
•Ограниченный доступ в помещение.
•Помещение обеспечивает возможность размещения одного коммуникационного шкафа (стойка форм фактор 42U) и ее обслуживание.
•Высота рабочего пространства (от фальшпола до подвесного потолка) помещения не менее 2.2 м
•Металлическая дверь
•Размер дверного проема не менее 1м х 2м без порога
•Дверь открывается наружу помещения и наличия механизма «push up»
•Наличие открытых, металлических кабельных направляющих (не менее 150 х 25 мм) для прокладки силового кабеля.
•Наличие открытых, металлических кабельных направляющих (не менее 150 х 25 мм) для прокладки коммуникационного кабеля
•Использование пожара-стойких, не токсичных и не дымных материалов
•Возможность удобной доставки габаритных (2000 х 1000 х 1000 мм) и тяжелых грузов (до 100 кг.)
•Наличия двух шахт или каналов для подвода кабелей.
Допускается:
•Использование серверной комнаты в качестве коммуникационной комнаты для небольшого объекта.
•Не использовать фальшпол для малых и не нагруженных коммутационных комнат.
•Использование настенных коммуникационных шкафов (форм фактор 9—12U настенный 600 х 900 х 600 мм) вместо коммутационной комнаты для малых объектов.
Не рекомендуется:
•Располагать серверную комнату таким образом, что стенки серверной являются внешними стенами здания.
•Наличие окон в коммутационной комнате.
Запрещается:
•Прохождение по помещению коммутационной комнаты водяных труб, труб отопления или канализации.
•Прохождения рядом или на верхних этажах от коммутационной комнаты водяных труб, труб отопления или канализации;
•Использовать коммутационную комнату не по назначению;
Физические требования к офисным помещениям не определены.
В качестве примера можно рассмотреть план небольшого объекта, филиала банка. На начальном этапе в наличие может быть только общий план помещений.
На плане необходимо определить расположения серверной комнаты, отдельно стоящих коммуникационных шкафов и комнат, если есть необходимость. Кроме этого определить место для технического помещения. На данном этапе можно провести предварительное планирование количества и расположение рабочих точек, направление и расположение кабельных каналов и т п. Так при планировании максимального количества рабочих точек на общем плане берем одну полную рабочую точку на 2—4м2. Данные цифры берутся из стандартов охраны труда для рабочего места.
При проектировании объекта, на определённом этапе необходимо наличие дизайнерского плана, который включает в себя размещение мебели, рабочих мест сотрудников и т п. Как пример, на диаграмме показан дизайнерский план филиала банка. На основе данного плана можно уточнить количество рабочих точек и их расположение, направления прокладки кабельных каналов, расположения камер наблюдения и т п.
F02: Структурированная Кабельная Система (СКС)
Назначение
Структурированная Кабельная Система (СКС) представляет из себя пассивные элементы Локальной Вычислительной Сети (ЛВС) организации. При проектировании СКС необходимо руководствоваться, но не ограничиваться требованиями стандартов:
•TIA-EIA-569-A, EIA/TIA-568С и TIA-942;
•CENELEC EN 50173-х;
•ISO/IEC IS 11801—2002;
Общие требования
В качестве элементов СКС можно выделить следующие:
•Коммуникационные шкафы;
•Патч-панели — панели для терминирование кабеля в шкафах;
•Кабель слаботочных систем;
•Кабельные органайзеры;
•Полки для размещения не «стандартного» оборудования;
•Кабелеводы, короба для прокладки кабеля;
•Модули и розетки рабочих точек;
•Пач-корды для подключения рабочих точек и розеток, и активного оборудования, и патч-панелей;
Условно СКС можно разделить на две составляющие
•вертикальная — обеспечивает коммуникацию между этажами, отдельными объектами, центрами распределения и коммутации
•горизонтальная — обеспечивает коммуникацию рабочих точек.
Горизонтальная составляющая СКС включает в себя:
•Центры распределения — узлы агрегирования кабеля от рабочих точек.
•Рабочие точки — места подключения конечного оборудования.
Как правило в качестве основной среды передачи данных для вертикальной составляющей используется оптический кабель, а для горизонтальной составляющей — «витая пара».
Кабель «витая пара» представляет из себя проводники скрученные попарно и между собой и различается по категориям, определяющим в основном полосу пропускания сигнала и как следствие скорость передачи данных. На данный момент является основным средством (средой) для построения СКС организации.
Рабочие точки могут представлять из себя набор розеток для подключения конечного оборудования. Например, одна рабочая точка может включать в себя одну розетку ИБП и одну розетку RJ-45.
По возможности всегда обеспечивайте избыточность рабочих точек, как правило порядка 30 процентов и более. Гораздо проще и дешевле обеспечить их прокладку сейчас, чем после введения здания в эксплуатацию. В таблице представлены основные типы кабеля «витая пара».
Кроме этого кабель «витая пара» различается по категориям в соответствии с характеристиками.
Таблица основных категорий кабеля.
Маркировка для одинаковой категории кабеля указывает на тип проводника, тип кабеля и экранирование. Общая маркировка кабеля (по стандарту ISO/ IEC 11801) представляет из себя вид «XX/YZZ» где XX — обозначают общий экран кабеля, Y — экран каждой пары, а ZZ — тип скрутки проводов. Основные сокращения: TP (Twisted Pair) — тип скрутки витая пара, U (Unshielded) — защитный экран отсутствует, F (Foiled) — в качестве экрана используется фольга и S (Shielded) — в качестве экрана используется проволочная оплетка.
Кроме этого используются сокращения по оболочке кабеля, которая зависит от условий прокладки и эксплуатации кабеля. Чаще можно встретить следующие виды оболочки: PVC — ПВХ-пластиката для внутреннего применения, PP — полипропилен для внешней прокладки в основном для высоких температур — до +140°С, PE — полиэтилен для внешней прокладки, FR — огнестойкий может работать в открытом пламене заданное время: на сегодня стандартизированы огнестойкие оболочки на 30, 90 и 180 мин. Так же возможно использование сокращений LS — Smoke пониженное дымовыделение при горении, ZH — Zero Halogen изготовлен из материалов, которые при горении не выделяют отравляющие галогеновые газы, В — Бронь чаще всего для брони используется стальная лента, которая обвивается вдоль кабеля c тросом. Трос нужен для натяжения кабеля между строениями.
Как пример, маркировка U/UTP 4 cat5e solid 24AWG LSZH переводится так: не экранированный кабель, содержит 4 пары по 2 жилы, 5 категории, solid — жила однопроволочная, 24 AWG — диаметр 0,51 мм, LSZH — без галогенный кабель с низким дымовыделением. В качестве разъемов используются:
•RJ-9 (4P4C) — подключение телефонной трубки к телефону, (4 –Position, 4 — Contact)
•RJ-11 (6P2C) — двух-контактный телефонный разъем,
•RJ-12 (6P6C) — шести-контактный телефонный разъем,
•RJ-14 (6P4C) — четырех-контактный телефонный разъем,
•RJ-45 (8P8C) — восьми-контактный компьютерный разъем, наиболее распространённый.
Таблица AWG — Проводимость тока и сечение проводника витой пары
Наиболее часто используемый кабель на данный момент Cat6, который заменил Cat5e, в виду относительно низкой стоимость. Помимо кабеля «витая пара» в ряде случаев может использоваться коаксиальный кабель или беспроводные соединения. В качестве рекомендаций по прокладке СКС можно выделить следующие:
•Прокладывать кабель по специальным каналам и шахтам;
•Ограниченный доступ к кабельным каналам;
•Обеспечить возможность для доступа и обслуживание кабеля;
•Прокладывать внешние силовые и «слаботочные» кабели в разных направляющих (трубах).
•Наличия двух шахт или каналов (основного и резервного) для подвода кабелей.
•Наличие схем прокладки кабелей.
•Использование оптического «одно модового» кабеля SM между зданиями при расстояниях до 2 км.
•Использование оптического «мульти-модового» кабеля ОМ3 с разъемами «LC» между зданиями и внутри дата центра при расстояниях до 550 м.
Допускается:
•Допускается прокладка оптического и телефонного кабеля совместно с низковольтным электрическим кабелем (220В).
Запрещается:
•Прохождение электрических и «слаботочных» кабелей рядом с водяными трубами, трубами отопления или канализацией.
•Использовать кабельные каналы не по назначению.
СКС внешняя
Внешняя СКС предназначена для подвода слаботочного кабеля от городской АТС или провайдера к объекту. К ним можно отнести кабели и технологии получения доступа в интернет, городская телефония, корпоративная связь между филиалами. В ряде случаев к внешней можно отнести коммуникацию между удаленными офисами или зданиями на территории объекта. Рекомендуется:
•Ограниченный доступ к кабельным каналам.
•Обеспечить возможность для доступа и обслуживание кабеля.
•Прокладывать кабель от городской АТС до помещения серверной комнаты или дата центра.
•Использовать оптический кабель «внешней» прокладки, «одно модовый», минимум четыре жилы.
•Терминируется кабель в коммуникационный шкаф на оптическую панель не менее четыре жилы.
•Желательно иметь единый форм-фактор портов оптических панелей внешние и внутренней СКС (обычно SC, FC, ST, LC).
•Наличие схемы прокладки кабеля.
Допускается:
•Допускается прокладка оптического и телефонного кабеля совместно с электрическим кабелем.
•Допускается терминирование кабеля на настенную панель.
•Если форм-фактор портов оптических панелей внешние и внутренней СКС отличается, то необходимо иметь кабели с переходниками (например, LC-SC, SC-ST).
Запрещается:
•Прохождение электрических и «слаботочных» кабелей рядом с водяными трубами, трубами отопления или канализацией.
•Использовать кабельные каналы не по назначению.
СКС вертикальная (здания или между корпусами)
Вертикальная составляющая СКС предоставляет из себя подключения между точками «распределения». К таким соединениям относятся соединения между зданиями, между серверной комнатой и этажным коммуникационным шкафом и т п.
Рекомендуется:
•Ограниченный доступ к кабельным каналам.
•Обеспечить возможность для доступа и обслуживание кабеля.
•Построение кабельной сети по схеме «звезда»
•Использовать оптический кабель «внешней» прокладки, «одно модовый», шесть-двенадцать жил.
•Терминируется кабель в коммуникационный шкаф на оптическую панель с минимум шестью –двенадцатью портами.
•Желательно иметь единый форм-фактор портов оптических панелей вертикальной составляющей СКС.
•Наличие схемы прокладки кабеля.
Допускается:
•Допускается прокладка оптического и телефонного кабеля совместно с электрическим кабелем.
•Допускается терминирование кабеля на настенную панель или наличие коннектора.
•Использовать оптический кабель «внешней» прокладки, «одно модовый», минимум четыре жилы.
•Если форм-фактор портов оптических панелей внешние и внутренней СКС отличается, то необходимо иметь кабели с переходниками (например, LC-SC, SC-ST).
•Допускается использование оптического кабеля OM3 «внешней прокладки», «мульти-модовый», шесть-двенадцать жил разъемом «LC».
•Для обратной совместимости с устаревшими телефонными системами, при необходимости можно использовать телефонный кабель категории Cat3.
Запрещается:
•Прохождение электрических и «слаботочных» кабелей рядом с водяными трубами, трубами отопления или канализацией.
•Использовать кабельные каналы не по назначению.
СКС горизонтальная (офисная)
Горизонтальная составляющая СКС предоставляет из себя подключения от точки «распределения» до оконечных точек пользователей.
Рекомендуется:
•Ограниченный доступ к кабельным каналам или коробам.
•Обеспечить возможность для доступа и обслуживание кабеля.
•Построение кабельной сети по схеме «звезда»
•Использовать цельный медный кабель «внутренней» прокладки, типа витой пары, категории CAT 6.
•Ограничение на расстояние между конечной точкой и точки «распределения» не более 90 м.
•Терминируется кабель в коммуникационный шкаф на медную панель категории CAT 6, с портами с разъемами типа RJ-45.
•Для обеспечения отказоустойчивости используется избыточность количества рабочих точек
•Наличие схемы прокладки кабеля.
Горизонтальная составляющая СКС включает в себя оконечные точки доступа пользователей. Конечные точки подключения представляют из себя как настенные (Wall Mounted), так и напольные (Floor Box) блоки. Блоки скомпонованы в «Рабочие точки»: розетки RJ-45, розетки электрические городского и бесперебойного питания.
«Рабочая точка №1»:
•2 компьютерная розетка с разъемом RJ-45
•1 электрическая розетка с электропитанием от центрального ИБП. Желательно с ключом (типа Legrand Mosaic 2M) для защиты от случайного включения.
•1 электрическая розетка с городским электропитанием IEC C7 «Shuko» до 5А.
«Рабочая точка №2»
•2 компьютерные розетки с разъемом RJ-45
•2 электрические розетки с электропитанием от центрального ИБП. Желательно с ключом (типа Legrand Mosaic 2M) для защиты от случайного включения.
•2 электрическая розетка с городским электропитанием IEC C7 «Shuko» до 5А.
При прокладке рабочих точек пользователей можно использовать «напольные» (Floor Box) точки.
Данная реализация подходит для общих залов (Office) или же когда отсутствует детальный план расположения мебели. Для установки требуется наличие фальшпола.
Второй вариант установки рабочих точек, это «настенная» установка. Как правило может быть выполнена на уровне пола, порядка 20—30 см или же на уровне офисного стола (90—100 см от пола), что является более удобно. В плане прокладки кабеля к розеткам, может быть, как прокладка в стене, либо с использованием кабельных каналов — «транков» на которых устанавливаются розетки.
Последний вариант более удобен с практической точки зрения, так как позволяет относительно быстро и просто наращивать количество розеток, проще в ремонте и замене кабеля и т п. Из недостатков — с эстетической точки зрения, может потребовать более дорогие компоненты (Legrand, модули и т п). Еще один вариант установки рабочих розеток, это установка в мебели, компьютерных столах. Для этого понадобится наличие детального плана размещения офисной мебели уже на этапе дизайна здания, или использование фальшпола для подвода кабеля с последующей прокладкой кабеля в офисных столах. Компьютерные столы должны обеспечивать возможность установки настольных коробок «Table Box» для розеток, а также приняты во внимание вопросы техники безопасности (электрический провод, размещенный в металлическом столе, подвижность стола и т п).
Общий вид открытой прокладки кабеля и рабочих точек можно рассмотреть на рисунке. Кабельные каналы «транки» позволяют прокладывать электрические провода и кабели слаботочных систем совместно.
Рекомендации по комплектованию коммуникационной стойки в дата центре
Также частью СКС можно рассматривать коммуникацию между стойки ЦОД. Как правило в стойки устанавливают патч-панели, которые, как и коммуникации от внешних шкафов, терминируются на выделенную стойку.
Для комплектования коммуникационной стойки со стороны ИТ допускается следующие варианты:
•По возможности и исходя из соображений рациональности, размещать вычислительные мощности (сервера), системы хранения и сетевое оборудование в разных стойках (даже в разных залах).
•Коммуникационные шкафы форм-фактор 24U или 42U (600 х 1100 х 2000) с напольной установкой, а для шкафов 7—22U настенная установка;
•Передние вертикальные направляющие для крепления горизонтальных направляющих оборудования желательно устанавливать в глубину 15—20 сантиметров. Это предоставляет возможность помимо установки оборудования возможность подключать слаботочный кабель.
•Дверцы стойки (передняя и задняя) как правило должна быть металлическая с отверстиями для доступа воздушного потока. Исключение составляют шкафы со стоечным охлаждением или коммуникационные шкафы с одним или несколькими коммутаторами;
•Активное оборудование, устанавливаемое в стойку, должно устанавливаться с соблюдением направления потоков воздуха. Как правило большинство оборудования имеет подачу холодного воздуха спереди и вывод с задней стороны;
•В зависимости от требований установка 24-х или 48-ми портовых панелей для медного кабеля витой пары категории CAT 6 с разъемами RJ-45.
•В зависимости от комплектации стойки предполагается установка 12-х или 24-ми портовых панелей для оптического кабеля категории «одно модовый» или «мульти модовый» ОМ3 с разъемами «LC» для соединения между стойками.
•Для ЦОД, с каждых трех-четырех шкафов кабели подводить к «кроссовому» шкафу. Кабели терминируются на панели.
•В «кроссовом» шкафе располагается «KVM» коммутатор (24-ти или 32-х портовый) и терминальная панель с монитором и клавиатурой. С данного шкафа производится коммутация соединений и управление серверами.
•Рекомендуется заполнение стойки порядка 70%;
Конвертер значений и размеры шкафов
Сопротивление кабеля
Таблица коммуникационных разъемов и соединений
Размещение активного оборудования в стойках
В нашем примере предполагаем наличие четырех стоек в ЦОДе. Учитывая выше сказанное и забегая вперед, мы уже имеем представление какое активное оборудование и в каком количестве будет установленно в ЦОД. Во все стойки размером 42U устанавливается локальный резервный ИБП.
Первая стойка служит у нас коммутационной. К ней подводится кабель от патч-панелей (одна 48-ми портовая Cat6 и три 24-х портовые оптические) второй, третьей и четвертой стойки. Здесь же размещаем 16-ти портовый KVM-коммутатор, монитор и клавиатуру для физического доступа к серверам. Также размещаем физический, корневой сервер центра сертификации, физический сервер контролер домена, два хоста гипервизора, и Систему Резервного Хранения Данных. Следующие две стойки имеют идентичное активное оборудование, чем обеспечивается отказоустойчивость на уровне стойки. В качестве активного оборудоования устанавливаются корневой коммутатор, Система Хранения Данных, хост гепервизора и хост СУБД, файрвол и устройства защиты почтовых сообщений. Четвертая стойка может использоваться для размещения телефонии, оборудования депаратмента безопасности, патч-панели приходящии от этажных коммутационных стоек и т п. В первых трех стойках имеется запас для размещения дополнительного активного оборудования размером от 10U до 18U).
Этажные коммутационные шкафы могут быть укомплектованы как показано на диаграмме ниже.
В данном примере показаны напольные стойки формата 24U и 42U. Помимо бесперебойного питания от центрального ИБП каждая стойка укомплектована локальным резервным ИБП. Вверху стойки монтируются две патч-панели (медная и оптическая) для коммуникации с ЦОД. Емкость стоек 240 и 480 рабочих точек соответственно.
Инструменты для работы и проверки СКС
Для проведения работ, связанных с Локальной Вычислительной Сетью (ЛВС) могут понадобится следующий набор инструментов и расходных материалов.
Кримпер — для работы с кабелем витая пара. В зависимости от типа и вида, он позволяет обрабатывать медный кабель категорий Cat 3—6А и обжимать четырех, шести и восьми контактные разъемы (RJ-45).
Наборы инструментов для обработки оптического кабеля. Имеются наборы для ручного монтажа, клейки оптических коннекторов. Но как правило используются специальные сварочные аппараты для сварки оптических волокон. В этом случае к оптическим волокнам привариваются так называемые Pigtail — небольшой длинны оптические волокна с готовыми конекторами различных типов.
Рефлекторы — для проверки сосотояния оптического кабеля.
Сетевые тестеры — специализированные устройства для быстрой проверки с помощью индикаторов состояния опического кабеля, патч-панели или коннектора.
Сканер состояния сети и сетевые анализаторы, являются более продвинутыми и как следствие дорогими устройствами, позволяют проверить состояние кабельной системы как отдельного элемента, так и законченого участка СКС. При этом может предоставить развернутую информацию по основным характеристикам для каждого типа кабеля. Незаменимый инструмент если есть необходимость проверить состояние имеющейся СКС для принятия решения по замене, или при приемке СКС после ее монтажа со стороны исполнителя. Как пример FLUKE Cable Analyzer. Результаты теста показаны ниже.
Для обеспечения контроля СКС на физическом уровне (правильность подключения, отслеживание состояния и изменений, графического отображения элементов СКС и т п) может применяться специализированное решение (например, AMP TRAC). Оно может включать в себя простое решение как накладки на патч-панели и активного оборудования. Так и сложные решения с применением специализированного активного оборудования — контролеров и программного обеспечения. В этом случае стоимость построения СКС может вырасти на 30% и более.
F03: Система электроснабжения
Общие требования
Для помещения серверной комнаты (дата центра) со стороны ИТ предъявляются следующие требования:
•Определение групп основных потребителей;
•Определение линий подвода городского электропитания (основной и резервной)
•Определение местоположения для размещения трансформаторов (основной и резервной)
•Определение помещения для размещение главного электрощита
•Определение местоположения для размещение вспомогательных электрощитов
•Произвести расчеты и определить схемы включения и распределения нагрузки
•Подготовить проект и чертежи по системе электроснабжения
•Кто и как проводит установку систем
•Кто и как проводит сопровождение систем
•Обязательно контур заземления
•Обязательно заземления коммуникационной стойки
Система электроснабжения здания
Со стороны ИТ особых или специфических требований к электроснабжению здания нет.
Проводимость тока и сечение
Система электроснабжения помещения дата центра
Плотность стойки для разных этапов вычисляется по-разному:
•для этапа проектирования определяется как максимальная (пиковая) нагрузка в кВт на стойку, а плотность серверного зала является средней пиковой плотностью на стойку по всему серверному залу.
•для этапа эксплуатации определяется как измеряемая средняя нагрузка в кВт на стойку, а плотность серверного зала является средней плотностью на стойку по всему серверному залу.
Для помещения серверной комнаты (дата центра) со стороны ИТ предъявляются следующие требования:
Рекомендуется:
•Обеспечение электропитанием потребителей трехфазным током и напряжением 380В.
•Обеспечение электропитанием потребителей однофазным током (16—50А) и напряжением 220В.
•Наличие отдельного электрического щита в техническом помещении дата центра.
•Прокладывать кабель по специальным каналам, шахтам и направляющим.
•Тип соединителей IEC 60309 316P6 и IEC 60309 316C6 для кабеля от щита к стойке.
•Ограниченный доступ к кабельным каналам.
•Обеспечить возможность для доступа и обслуживание кабеля.
•Наличия двух шахт или каналов (основного и резервного) для подвода кабелей.
•Наличие схем прокладки кабелей;
•Для мощных потребителей порядка 1—4 кВт, таких как коммутаторы ядра или шасси «лезвий», должны быть предусмотрены отдельные соединители и электрические автоматы;
•Питание обычных потребителей в стойке обеспечивается с выделенного электрического автомата через панель распределения (Power Distribution Unit PDU) вертикальной или горизонтальной установки в стойку. Разъёмы PDU как правило стандартные формата С14;
•Мощность панелей распределения, количество разъемов и количество и мощность подключаемого активного оборудования должно быть рассчитана правильно и согласованна с возможностями электрического кабеля и автомата. Как правило используются однофазные PDU с входным разъемом типа IEC-60309-316P6 c максимальным током 16—32А и 8—16 выходными разъемами IEC-60320-С14;
•Наличие заземления (согласно требованиям, ANSI/TIA/EIA-607) пассивного и активного оборудования и стоек;
Допускается:
•Включение городского электропитания через центральный стабилизатор. Особенно актуально для регионов, где подача электропитания не стабильна.
Запрещается:
•Прохождение электрических и «слаботочных» кабелей рядом с водяными трубами, трубами отопления или канализацией.
•Использовать кабельные каналы не по назначению.
Система электроснабжения офиса (конечных точек)
Со стороны ИТ особых или специфических требований здания нет.
Электропитание рабочих точек можно группировать по сегментам, комнатам или же установка «автоматов» на каждую электрическую розетку, если этого требует техника безопасности или отраслевые регламенты.
F04: Система основного освещения
Система основного освещения (общие требования)
При проектировании системы со стороны ИТ предъявляются следующие требования и рекомендации:
•Обеспечение основного освещения в помещениях дата центра.
•Обеспечение основного освещения и сигнализации в помещении серверной комнаты.
•Обеспечение основного освещения и сигнализации в помещении коммутационных комнат.
•Обеспечение основного освещения и сигнализации в технических и служебных помещениях.
F05: Система аварийного освещения
Система аварийного освещения (общие требования)
При проектировании системы со стороны ИТ предъявляются следующие требования и рекомендации:
•Обеспечение аварийного освещения в помещениях дата центра.
•Обеспечение аварийного освещения в помещении серверной комнаты.
•Обеспечение аварийного освещения в помещении коммутационных комнат.
•Обеспечение аварийного освещения в технических и служебных помещениях.
F06: Система аварийного / резервного электроснабжения
Система аварийного / резервного электроснабжения (общие требования)
Система аварийного / резервного электроснабжения обеспечивает электроснабжением, при выходе из строя основного линии электропитания или ее компонентов. При проектировании систем аварийного / резервного электроснабжения со стороны ИТ предъявляются следующие требования и рекомендациями:
•Определение источника аварийного / резервного электропитания. Это может быть вторая линия городского электропитания или генератор.
•Определение уровня резервирования. Так для соответствия требованиям TIER IV требуется наличия N + N.
•Определение основных потребителей аварийного / резервного электропитания. Система может предполагать включения полной или частичной нагрузки.
•Определение линий подвода и включения аварийного / резервного электропитания.
•Определение местоположения для размещения дизель генератора.
•Определение помещения для размещение главного электрощита.
•Произвести расчеты и определить схемы включения и распределения нагрузки
•Подготовить проект и чертежи по системе аварийного / резервного электропитания.
•Обеспечение заземление.
•Кто и как проводит установку систем
•Кто и как проводит сопровождение систем
Система аварийного / резервного электроснабжения помещения серверной комнаты (дата центра)
Для помещения серверной комнаты (дата центра) со стороны ИТ предъявляются следующие требования:
Рекомендуется:
•Наличие системы аварийного / резервного электропитания обязательно.
•Схема включения аварийного / резервного электропитания включается в электропитание дата центра.
•Схема включения аварийного / резервного электропитания автоматически.
•Обеспечение электропитанием потребителей трехфазным током и напряжением 380В.
•Обеспечение электропитанием потребителей однофазным током (16—50А) и напряжением 220В.
Допускается:
•Схема включения аварийного / резервного электропитания в ручном режиме.
•Схема включения аварийного / резервного электропитания отдельная от основной кабельной сети.
•Включение управления резервного генератора через центральный стабилизатор. Особенно актуально для регионов, где подача электропитания не стабильна и возможно ложное срабатывание.
Запрещается:
•Прохождение электрических и «слаботочных» кабелей рядом с водяными трубами, трубами отопления или канализацией.
•Использовать кабельные каналы не по назначению.
F07: Система Бесперебойного электроснабжения ИБП
Общие требования
Система бесперебойного электроснабжения обеспечивает электроснабжением, при переключениях электроснабжения между основным и резервным, выходе из строя основной линии электропитания или ее компонентов. Кроме этого защищает от различных сбоев в электропитании. ЦОДы можно разделить по плотности энергопотребления стоек. Так для примера:
При определённых условиях может является резервной системой электропитания, когда нет возможности установки дизель генератора.
Различаются несколько типов ИБП. Основные характеристики различных типов ИБП:
•Бэкап ИБП (Инверторы OFF-LINE UPS INVERTOR). Достоинства: наиболее дешёвое и простое решение, подходит для питания компьютеров с импульсными блоками питания, КПД порядка 99%. К недостаткам можно отнести:
°Долгое время переключения порядка 4—12 мсек;
°Не корректирует напряжение и частоту;
°Выходные параметры (синусоиды) далеки от идеальных;
•Интерактивные ИБП (LINE INTERACTIVE UPS). Достоинства: лучше время переключения порядка 2—4 мсек, корректирует напряжение, лучше выходные параметры (синусоиды). Недостатки: КПД порядка 96%, ступенчатое переключение, тяжелый трансформатор. Не подходит для «чувствительной» техники (двигатели, котлы и т п) и не корректирует выходную частоту.
•Онлайн, постоянные ИБП (ON-LINE UPS). Различают ИБП данного типа:
°С одиночным преобразованием. Схема включения через дроссель и за ним инвертор. Инвертор реверсивного типа т.е. преобразует переменный ток в постоянный и обратно. Регулирует выходное напряжение. К недостаткам можно отнести низкий входной cos @ = 0.6 и коэффициент мощности. При малых нагрузках большие реактивные токи. На данный момент устарели и заменены на Дельта преобразование.
°Дельта преобразование — Более высокий КПД, хороший коэффициент мощности, корректировка выхода, плавный переход, хорошие способности к перегрузке. Хорошо подходит для потребителей с импульсными блоками питания.
°Феро-резонансный ИБП — при нормальных входных параметрах работает как стабилизатор. Обладает высоким КПД порядка 93% и обладает высоким уровнем защиты.
°С двойным преобразованием (с шести или двенадцати импульсными выпрямителями). Все входное переменное напряжение переводится в постоянное, а затем обратно. Выпрямитель не работает на подзарядке батарей, а имеется отдельное зарядное устройство. Имеется автоматический «Bypass». Из недостатков можно отметить низкий входной cos @ = 0.6, вносит гармоники тока, потери мощности до 10%. Также имеются комбинированные решения. Достоинства:
Нет времени переключения, постоянно включенные батареи.
Корректирует напряжение и частоту
Выходные параметры (синусоиды) близки к идеальным
Подходит для «чувствительной» техники (двигатели, котлы и т п)
К недостаткам можно отнести низкий, порядка 93% КПД.
Сравнительная таблица
При проектировании систем бесперебойного электроснабжения со стороны ИТ предъявляются следующие требования и рекомендациями:
•Определение источника бесперебойного электропитания ИБП. Это может быть центральный ИБП для здания, помещения, ИБП установленные в стойках или на рабочих местах пользователей.
•Определение уровня резервирования для соответствия требованиям TIER.
•Определение основных потребителей ИБП. Система может предполагать включения полной или частичной нагрузки.
•Определение линий подвода и включения ИБП.
•Определение местоположения для размещения ИБП.
•Произвести расчеты и определить схемы включения и распределения нагрузки ИБП.
•Подготовить проект и чертежи по системе ИБП.
•Обеспечение заземления.
•Кто и как проводит установку систем ИБП.
•Кто и как проводит сопровождение систем ИБП.
Система бесперебойного электроснабжения здания
Со стороны ИТ особых или специфических требований нет.
Система Бесперебойного электроснабжения помещения серверной комнаты (дата центра)
Для помещения серверной комнаты (дата центра) со стороны ИТ предъявляются следующие требования:
Рекомендуется:
•Наличие системы бесперебойного электропитания обязательно.
•Система ИБП подключены через линии аварийного / резервного электропитания.
•Наличие выделенного ИБП для помещений серверной комнаты или дата центра.
•При постановке требований соответствия TIER IV уровень резервирования ИБП по схеме N + N. Центральные ИБП дата центра располагаются в разных помещениях.
•Емкость батарей ИБП (стандартная комплектация), должна обеспечивать работу 7—15 минут при 100% нагрузке. Этого времени должно быть достаточно для переключения на резервную (генераторную) линию электропитания.
•Наличие независимых линий подачи электропитания (по разным шахтам) от разных ИБП.
•Обеспечение электропитанием потребителей однофазным током (16—50А) и напряжением 220В.
•Наличие выделенного электрического щита для ИБП в служебном помещении дата центра.
•Наличие средств мониторинга и управления ИБП.
•Использование соединителей типа IEC 60309 316P6 и IEC 60309 316C6 для подключения распределительных панелей (PDU) в стойке.
•Использование соединителей типа IEC 320 С19/С20 для питание оконечной нагрузки в стойке.
•Использование соединителей типа IEC С7 «Shuko» для питание оконечной нагрузки в стойке.
•Все активное оборудование укомплектовано блоками питания по схеме 1 +1 или N + M.
•Оборудование, имеющее только один блок питания 220В и дополнительный ввод 48В, питается через специальное оборудование «Power Redundancy System» (например, Cisco PRS 3200 и т п).
•Оборудование, имеющее только один блок питания, питается через специальное оборудование «Automatic Power Distribution Switch».
•Локальные ИБП устанавливаются в нижнюю часть стойки.
•Не более двух ИБП на стойку с мощностями 5600 VA. Выход нагрузки через соединитель типа IEC 320 С19/С20.
•Две восьми-портовые распределительные панелей (PDU) на стойку. Выход нагрузки через соединитель типа IEC 320 С19/С20.
•Одна восьми-портовая распределительная панель (PDU) на стойку. Выход нагрузки через соединитель типа IEC С7 «Shuko».
•Загружать стойку не более чем на 60%.
•Для мощных потребителей порядка 1—4 кВт, таких как коммутаторы ядра или шасси «лезвий», должны быть предусмотрены отдельные соединители и электрические автоматы;
•Питание обычных потребителей в стойке обеспечивается с выделенного электрического автомата через панель распределения (Power Distribution Unit PDU) вертикальной или горизонтальной установки в стойку. Разъёмы PDU как правило стандартные формата С14;
•Мощность панелей распределения, количество разъемов и количество и мощность подключаемого активного оборудования должно быть рассчитана правильно и согласованна с возможностями электрического кабеля и автомата. Как правило используются однофазные PDU с входным разъемом типа IEC-60309-316P6 c максимальным током 16—32А и 8—16 выходными разъемами IEC-60320-С14;
•Наличие заземления (согласно требованиям, ANSI/TIA/EIA-607) пассивного и активного оборудования и стоек;
Диаграмма: схема электропитания стойки
Допускается:
•Наличие локальных ИБП в стойках, для малых серверных комнат. Использование соединителей типа IEC 60309 316P6 и IEC 60309 316C6 для подключения ИБП от резервного питания.
•Использование смешанных систем бесперебойного питания (например, центральные ИБП для здания или дата центра, и локальных ИБП установленных в стойках).
Не рекомендуется:
•Установка в стойки ИБП мощностью более 5600 VA.
•Установка в стойки ИБП с трехфазным входом питанием.
Запрещается:
•Использовать кабельные каналы не по назначению.
•Установка ИБП в помещении машинного зала дата центра.
Диаграмма: схема включения активного оборудования дата-центра
Система бесперебойного электроснабжения офиса (конечных точек)
Для офисных помещений и конечных точек пользователей со стороны ИТ предъявляются следующие требования. Рекомендуется:
•Наличие Централизованного ИБП для здания.
•Система ИБП подключена через линии аварийного / резервного электропитания.
•Емкость батарей ИБП (стандартная комплектация), должна обеспечивать работу 7—15 минут при 100% нагрузке. Этого времени должно быть достаточно для переключения на резервную (генераторную) линию электропитания.
•Наличие независимых линий подачи электропитания (по разным шахтам) от разных ИБП.
•Обеспечение электропитанием потребителей однофазным током (5А) и напряжением 220В через розетки типа IEC C7 «Shuko».
•Использование специальных розеток «с ключом» во избегание подключения не компьютерной техники. Например, «Legrand Mosaic 2M».
Допускается:
•Наличие персональных ИБП (типа «бэкап») для систем конечных пользователей (десктопов).
•Не использовать центральный ИБП если в офисе преобладают ноутбуки.
•Не рекомендуется подключение к ИБП специфической офисной техники таких как мощные лазерные принтеры или многофункциональные устройства. Также рекомендуется избегать использование удлинителей.
Запрещается:
•Подключение нагревательных приборов в розетки ИБП.
Пример расчета времени работы компьютера от аккумулятора ИБП
В ряде случаев может понадобится использовать ИБП как долгосрочного питания. Как пример этого может быть отсутствие возможности или не целесообразности установки генератора. Для расчета нам понадобится следующая информация: мощность потребления компьютером, в нашем примере возьмём 100 Вт (Вт = 0.7ВА), персональный ИБП с 2 батареями 12В по 20А каждая. Время работы от ИБП будет:
Т = (Количество батарей х Емкость х Напряжение х КПД) / Нагрузка
В нашем примере: Т = (2 х 20Ачас х 12В х 0.8) /100Вт = 3.8 часов
Далее по таблице приближенных значений принимаем:
Если время Т меньше часа, то фактическое время будет половина полученного расчетного Т времени;
•Если время Т 1—2 часа, то фактическое время: Т- 40%;
•Если время Т 2—4 часа, то фактическое время: Т- 30%;
•Если время Т 4 часа и более, то фактическое время: Т- 20%;
В нашем случае фактическое время работы будет порядка 2,5 часов.
Примеры комплексной системы электроснабжения
Комплексная система электроснабжения призвана защитить от следующих угроз
Диаграмма: угрозы электропитания
Схема электроснабжения в комплексе, может включать в себя следующие компоненты и их возможные включения:
Схема включения вариант А — обеспечивает
•Обеспечение стабилизации напряжения потребителей (В) и (С),
•Защита входного напряжения автоматики генератора.
•Обеспечение аварийным/резервным электроснабжением от генератора потребителей (В) и (С)
•Центральный ИБП обеспечен аварийным/резервным электроснабжением от генератора
•Обеспечение потребителей (С) бесперебойным напряжением
Схема включения вариант В — обеспечивает
•Обеспечение стабилизации напряжения потребителей (А), (В) и (С),
•Защита входного напряжения автоматики генератора.
•Отсутствие аварийного/резервного электроснабжением от генератора потребителей (А).
•Обеспечение аварийным/резервным электроснабжением от генератора потребителей (В) и (С).
•Центральный ИБП обеспечен аварийным/резервным электроснабжением от генератора
•Обеспечение потребителей (С) бесперебойным напряжением
Схема включения вариант С — обеспечивает
•Отсутствие стабилизация напряжения потребителей (А),
•Обеспечение аварийным/резервным электроснабжением от генератора потребителей (А).
•Отсутствие защиты входного напряжения автоматики генератора.
•Обеспечение стабилизации напряжения потребителей (В) и (С),
•Обеспечения аварийным/резервным электроснабжением от генератора потребителей (В) и (С).
•Центральный ИБП обеспечен аварийным/резервным электроснабжением от генератора
•Обеспечение потребителей (С) бесперебойным напряжением
Выбор схемы электроснабжения зависит от требований и финансовых возможностей бизнеса. На схеме показаны участок сети после входного городского электропитания или трансформатора.
F08: Система охлаждения и вентиляции
Назначение
Системы охлаждения имеют важное значение для обеспечения работоспособности ЦОД. Основная задача состоит в выводе тепла, выделяемого активным оборудованием, и подвода охлажденного воздуха. Система вентиляции может служить для обеспечения естественного охлаждения коммуникационных помещений, а также обеспечивать возможность проведения работ в ЦОД и для быстрого вывода продуктов горения в случае чрезвычайных происшествий. Системы охлаждения могут различаться по следующим характеристикам:
•По типу: Естественное охлаждение, классические, сплит системы, прецизионные, стоечные и экзотические, такие как «Адиабатическое» охлаждение.
•По элементу охлаждения: Газовые (фреон) или водяные.
•По конструктивным особенностям: Напольные, потолочные, настенные или стоечные.
•По направлению воздушного потока: Наддув под фальшпол, прямого надува в машинный зал, или подача непосредственно в стойку.
Кроме этого, при проектировании систем охлаждения необходимо определиться со схемой размещения стоек с активным оборудованием, схемой организации охлаждения и воздушных потоков. В качестве схем охлаждения могут рассматриваться следующие схемы:
•Охлаждение всего помещения
•Схема «Горячего» коридора
•Схема «Холодного» коридора
•Охлаждение стоек
Общие требования
При проектировании систем охлаждения и вентиляции следует учитывать рекомендации ASHRAE 90.4 (Американская Ассоциация инженеров по отоплению, охлаждению и кондиционированию воздуха). Со стороны ИТ предъявляются следующие требования и рекомендации:
•Обеспечение охлаждения серверной комнаты
•Обеспечение вентиляции серверной комнаты
•Обеспечение вентиляции коммутационной комнаты
•Определение местоположения элементов системы
•Произвести расчеты и определить схемы включения и мощности.
•Обеспечить питание систем охлаждения и вентиляции от основного и резервного источника питания.
•Подготовить проект и чертежи по системе охлаждения и вентиляции
•Кто и как проводит установку систем
•Кто и как проводит сопровождение систем
Система охлаждения и вентиляции здания
Со стороны ИТ особых или специфических требований нет.
Система охлаждения и вентиляции помещения дата центра
Для помещения серверной комнаты (дата центра) со стороны ИТ предъявляются следующие требования. Рекомендуется:
•Независимая система охлаждения и вентиляции для серверной комнаты или дата центра.
•Для систем со большим тепловыделением использовать прецизионные системы охлаждения.
•Для систем со высоким тепловыделением создавать «холодные» или «горячие» коридоры и направляющие по отводу тепла.
•Для систем с высоким тепловыделением использовать «стоечные» системы охлаждения.
•Обеспечить резервирование систем охлаждения по схеме N +1 или N + N.
•Наличие системы мониторинга и контроля.
•Система принудительной вентиляции помещения серверной комнаты или дата центра.
•Управление системой из помещения серверной комнаты или дата центра.
Рекомендации ASHRAE вводят понятия категорий активного оборудования. Так для каждой категории рекомендуемое охлаждение:
•Категория оборудования А1 — макс. 32 °С
•Категория оборудования А2 — макс. 35 °С
•Категория оборудования А3 — макс. 40 °С
•Категория оборудования А4 — макс. 45 °С
Допускается для систем со слабым тепловыделением использование «сплит» систем и охлаждения всего помещения. Не рекомендуется использовать единую систему охлаждения здания и серверной комнаты.
Запрещается установку кондиционеров или его блоков над электрическими щитами, элементами СКС и ЛВС.
При расчете тепловыделения можно использовать следующие приближенные формулы и особенности:
•Мощность резервного блока питания не учитывается;
•Максимальная мощность тепловыделения устройства принимается как мощность блока питания;
•Рабочая мощность тепловыделения устройства принимается как 30% мощности блока питания;
•Для высоко нагруженных систем можно принимать как 60% мощности блока питания;
•Рабочая мощность тепловыделения ИБП принимается как 15% от мощности ИБП (имеется сложная и точная схема расчета) плюс 5% мощности активного оборудования;
Система охлаждения и вентиляции шкафов
Для шкафов с установленным активным оборудованием со стороны ИТ предъявляются следующие требования.
Рекомендуется:
•Соблюдать направление движения воздушного потока — холодный воздух подается спереди и горячий выводится с задней стороны стойки;
•Перед каждой стойкой устанавливать напольные решетки для холодного потока воздуха к стойке;
•Передняя и задняя дверцы стойки должны иметь отверстия для прохождения воздушного потока;
•Для коммуникационных шкафов, с пассивными элементами СКС или с одним двумя коммутаторами, разрешается использовать естественное охлаждение с установкой внутренних вентиляторов. Также допускается использование закрытых (стеклянных) входных дверей;
В целом по дата центру рекомендуется иметь температуру охлаждения порядка 20 °С плюс — минус два градуса, и влажность порядка 60%. По рекомендациям 2011 года допускается температура 26—29 °С. Повышение температуры позволяет использовать технологии «free cooling», уменьшать операционные расходы на электропотребление и т п.
Слишком низкие температуры в дата центре и низкой влажности, могут привести к появлению статического напряжения, а при высокой влажности к появлению конденсата. «Точки росы» — возникновение конденсата на элементах активного оборудования. Так для примера:
При 17 °С и влажности 70% — точка росы возникает при 12 °С;
При 22 °С и влажности 70% — точка росы возникает при 16 °С;
При 17 °С и влажности 40% — точка росы возникает при 4 °С;
При 22 °С и влажности 40% — точка росы возникает при 8 °С;
Слишком высокие температуры приводят к повышению уровня шума, перегреву оборудования, преждевременному износу и выходу его из строя.
Выбор температуры дата центра зависит от вас, но следует принять во внимание требования активного оборудования, запас «холодной» прочности, неравномерность охлаждения, комфортность проведения работ и т п.
Нагрузка и охлаждение активного оборудования
После выбора активного оборудования и размещения в стойках, можно планировать мощности электропитания и охлаждения. В нашем примере для четвертой стойки принимаем среднее значение.
Исходя из таблицы получаем, что для каждой стойки достаточно ИБП мощностью порядка 4—5 кВт. Подводы для питания стойки должны обеспечить максимальную нагрузку 10—11 кВт, а средняя нагрузка стойки порядка 3 кВт. Рабочая мощность охлаждения порядка 35 кBTU, при максимально возможной 120 kBTU. Далее можем принять два варианта системы охлаждения:
•Первый — дорогие, прецензионные шкафы с мощностью 120 кBTU каждый с надувом холодного воздуха под фальшпол. С помощью программгного обеспечения блоки могут работать по переменно.
•Второй — два недорогих сплит кондиционера с мощностью порядка 18—24 кBTU каждый. В этом случае можно обойтись без фальшпола. Кроме этого желательно расположить кондиционеры друг против друга, а также выдвинуть стойки вперед и развернуть две из них в обратном направлении. Например, первая и третья стойки смотрят вперед, а вторая и четвертая задними дверками. Это обеспечить равномерность охлаждения комнаты и устранение мертвых зон теплого воздуха. Кроме этого не распологать кондиционеры над шкафами и электрощитами. Кодиционеры должны работать совмесно.
F09: Система Управлением Зданием (BMS)
Система управления зданием
Система управления зданием не является обязательным требованием для здания. Система позволяет централизовать и автоматизировать управление системами инженерные здания и обеспечить их взаимодействие. Владелец системы как правило административный департамент.
Системы управления зданием строятся на следующих основных компонентах:
•Источники питания — для питания слаботочных систем;
•Устройства объединения линий и сегментов — к ним можно отнести как физические элементы (кабель), так и протоколы среды передачи. Вводится понятие LON (Local Operation Network);
•Входные устройства или сенсоры — предназначены для принятия и преобразования входных данных (световые датчики, датчики давления и т п);
•Элементы управления (контролеры) — обеспечивающие логику выполнения;
•Исполнительные устройства (актуаторы) — обеспечивают включение и выключение, или более сложные, которые позволяют управлять выходным потоком в зависимости от воздействия конечными устройствами;
•Конечные устройства — обеспечивают непосредственное выполнение действий (насосы, замки и т п);
•Системы визуального отображения и управления — дополнительные элементы, предназначенные для визуального отображения и управления системой. К ним можно отнести различного рода SCADA системы;
•Устройства связи (интеграции) — обеспечивают взаимодействие с другими информационными системами;
В качестве протоколов управления могут применятся: KNX/EIB, BACnet IP, Modbus TCP, BACnet MS/TP, Modbus RTU, LonWorks TP/FT-10, SNMP.
При построении систем управления зданиями можно придерживаться рекомендация стандарта KNX, и его аналогов, и предшественников:
•Стандарты KNX TP1, PL110, Bus Device;
•Batibus, EIB и EHS — технологии, предшественники KNX;
•CENELEC — европейский стандарт, одобрили использование двух каналов связи: витой пары (ТР1) и линий электропроводки (PL) как среды передачи данных на протоколе KNX;
•CEN — европейский стандарт для систем автоматического управления зданиями. Стандарты EN-13321-1 и EN13321—2;
•ISO/IEC — стандарты EN50090 и ISO/IEC 14543—3. Ратифицировали использование протокол TP, PL, RF и IP и технологии KNX;
•ANSI/ASRAE — стандарты 135 и ISO 16484—5 регламентируют взаимодействие систем открытого стандарта KNX и систем на основе технологии BACnet;
Отличие технологии KXN от традиционных решений, использование общей шины управления, не требует «центральной» станции управления. Шина является одновременно источником питания слаботочных систем и средой для передачи данных. Топология решения представляет из себя иерархическую модель.
F10: Физическая безопасность
Физическая безопасность (общие требования)
Физическая безопасность является комплексом средств и мероприятий по предотвращению несанкционированного доступа к защищаемому объекту. Обеспечивает физическую безопасность как правило департамент безопасности.
При проектировании комплекса физической безопасности со стороны ИТ предъявляются следующие требования и рекомендации:
•Обеспечение физической безопасности помещения дата центра;
•Обеспечение физической безопасности серверной комнаты;
•Обеспечение физической безопасности коммутационных комнат;
•Обеспечение физической безопасности технических и служебных помещений;
•В качестве элементов физической безопасности могут выступать стены, ограды, замки и т п;
•Для компьютеров и ноутбуков могут использоваться специальные экраны для защиты информации от подглядывания или попыток фотографирования;
•Для ноутбуков могут быть применены специальные физические замки, типа Kensington Locks;
Помимо этого, оборудование может иметь степень защищенности, или антивандальный класс, как указан в таблицах.
Степени и классы защиты оболочки или оборудования IP (Ingress Protection Rating, например, IP00, IP69)
Класс антивандальной защиты IK (например, IK01, IK10)
Первая таблица показывает уровень защиты устройства от пыли и влаги. Таблица антивандальной защиты, используется как правило для оборудования безопасности, таких как камеры, замки и ридеры, которые показывают защищенность от физического воздействия.
F11: Система контроля доступа
Система контроля доступа (общие требования)
Система Контроля Доступа не является обязательным требованием для здания (исключение являются специальные объекты), но являются «де-факто» элементом общей системы безопасности. Владелец системы контроля доступа как правило департамент безопасности. В качестве систем контроля доступа могут выступать как физические замки с ключами, так и специализированные технические средства. Как правило специализированные средства состоят из следующих элементов:
•Считыватели — устройства считывающие данные. Это могут быть считыватели магнитных карт — контактные и бесконтактные, биометрические считыватели — отпечатки пальцев, сетчатки глаза или радужки, геометрию руки или лица и т п;
•Исполнительные элементы — как правило электронные замки;
•Контролеры — аппаратное обеспечение принимающие данные со считывателей и передающее команды на управляемые устройства — замки;
•Аппаратно-программное обеспечение — позволяет управлять, настраивать, мониторить и предоставлять отчеты по работе системы. Кроме этого могут иметь возможность интегрирования системы с другими системами;
•Идентифицирующие элементы — элементы, позволяющие идентифицировать пользователя. Могут быть магнитные карты или биометрические данные пользователей;
Система контроля доступа здания
При проектировании системы контроля доступа со стороны ИТ предъявляются следующие требования и рекомендации:
•Обеспечение контроля доступа к помещениям дата центра.
•Обеспечение контроля доступа к серверной комнаты
•Обеспечение контроля доступа к коммутационным комнатам.
•Обеспечение контроля доступа к техническим и служебным помещениям.
•Обеспечение контроля доступа в помещения ИТ отдела.
Система контроля доступа для помещения дата центра
Для помещения серверной комнаты (дата центра) со стороны ИТ предъявляются следующие требования:
