Research / Source documents
Documents
Read extracted documents and trace facts to their original files.
56,228 documents
Newest collected first| Document | Processing | Extracted text | Last checked | Next check |
|---|---|---|---|---|
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:20 | 18 Nov 2026, 13:20 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:15 | 18 Nov 2026, 13:15 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:15 | 18 Nov 2026, 13:15 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:15 | 18 Nov 2026, 13:15 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:15 | 18 Nov 2026, 13:15 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:15 | 18 Nov 2026, 13:15 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:10 | 18 Nov 2026, 13:10 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:10 | 18 Nov 2026, 13:10 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:10 | 18 Nov 2026, 13:10 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:10 | 18 Nov 2026, 13:10 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:10 | 18 Nov 2026, 13:10 |
| S3_26-654-01_zverejneni.pdfzakazky.vsb.cz | Text available | Available | 17 Nov 2026, 09:55 | 18 Nov 2026, 09:55 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:10 | 18 Nov 2026, 13:10 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:05 | 18 Nov 2026, 13:05 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:05 | 18 Nov 2026, 13:05 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:05 | 18 Nov 2026, 13:05 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:05 | 18 Nov 2026, 13:05 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:05 | 18 Nov 2026, 13:05 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:05 | 18 Nov 2026, 13:05 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:01 | 18 Nov 2026, 13:01 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:01 | 18 Nov 2026, 13:01 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:01 | 18 Nov 2026, 13:01 |
| registr_smluv_smlouva_38833198.pdfzakazky.vsb.cz | Text available | Available | 17 Nov 2026, 09:55 | 18 Nov 2026, 09:55 |
| PZZ mobilní a hlasové služby.pdfzakazky.vsb.cz | Text available | Available | 17 Nov 2026, 09:55 | 18 Nov 2026, 09:55 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:00 | 18 Nov 2026, 13:00 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 13:00 | 18 Nov 2026, 13:00 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 12:55 | 18 Nov 2026, 12:55 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 12:55 | 18 Nov 2026, 12:55 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 12:55 | 18 Nov 2026, 12:55 |
| zadávací dokumentacezakazky.vsb.cz | Text available | Available | 17 Nov 2026, 12:55 | 18 Nov 2026, 12:55 |
zadávací dokumentace
Extracted text 112,715 characters
<!-- PAGE 1 --># Vymezení požadavků na HPCQC-AI cluster Příloha č. 1 Zadávací dokumentace veřejné zakázky „HPCQC-AI výpočetní cluster“
## Úvod
IT4Innovations národní superpočítačové centrum (dále jen „IT4Innovations“) poskytuje národní výzkumnou infrastrukturu v oblasti náročných výpočtů (HPC).
Výpočetní zdroje IT4Innovations jsou určeny pro řešení úloh ve výzkumu a vývoji, především pro akademická pracoviště a další výzkumné instituce v ČR, část kapacity je pak dedikována pro rozvoj spolupráce mezi akademickou sférou a průmyslovými partnery nebo pro samostatné využití průmyslovými podniky.
IT4Innovations je členem národní velké výzkumné infrastruktury e-INFRA CZ.
## Záměr zadavatele
Záměrem zadavatele je modernizace a posílení kapacit výpočetní infrastruktury superpočítačového centra IT4Innovations.
HPCQC-AI cluster bude provozován IT4Innovations a bude využíván k poskytování služeb v oblasti náročných výpočtů a umělé inteligence.
HPCQC-AI cluster bude umístěn a provozován v datovém centru zadavatele, které se nachází v budově IT4Innovations, v areálu Vysoké školy báňské – Technické univerzity Ostrava.
Záměr zadavatele byl podrobně diskutován v rámci předběžné tržní konzultace.
## Předmět zakázky
Předmětem veřejné zakázky „HPCQC-AI cluster“ je dodávka komplexního řešení systému pro náročné výpočty (High Performance Computing) a umělou inteligenci, tj. komplexu výpočetních, úložných, síťových a dalších systémů, softwarového řešení, včetně implementace, integrace do datového centra zadavatele, školení, servisních a dalších služeb.
## Legenda
V následujícím textu jsou uváděny následující značky:
**SPEC_číslo** označuje pro snazší identifikaci jednotlivé požadavky zadavatele veřejné zakázky.
**SPEC_číslo (I)** označuje požadavek zadavatele veřejné zakázky na informaci, kterou dodavatel musí uvést v nabídce. Podrobněji viz bod 5.1 zadávací dokumentace.
## HPCQC-AI cluster
### Obecné požadavky
1. Zadavatel požaduje dodávku komplexního řešení výpočetního systému určeného pro náročné výpočty (High Performance Computing) a umělou inteligenci, tj. komplexu výpočetních, úložných, síťových a dalších systémů, softwarového řešení, včetně implementace a integrace do datového centra zadavatele (dále označované též jako „řešení“, „HPCQC-AI cluster“ nebo „superpočítač“).
2. Řešení musí umožňovat efektivní provádění mnoha současných výpočetních úloh všech fází životního cyklu úloh (příprava, výpočet, zpracování výsledků) různého typu (zejména paralelní, ale rovněž sériové; dávkové, interaktivní) mnoha uživatelů, bezpečné uložení dat uživatelů a rychlý přístup k datům, efektivní správu systému, komponent, zdrojů a služeb.
1. Řešení musí poskytovat výkonné výpočetní zdroje, které jsou dobře přístupné a využitelné uživateli systému a jejich úlohami. Řešení musí zajišťovat vlastnosti, služby a funkce potřebné pro efektivní provoz a efektivní správu systému zadavatelem. Řešení musí být vyvážené, parametry a vazby jednotlivých subsystémů musí zohledňovat ostatní subsystémy.
1. Nabídka musí obsahovat veškeré systémy, zařízení, komponenty, příslušenství, licence, dokumentace, projektové, implementační a další práce, školení atd. nezbytné k naplnění požadavků zadavatele.
1. Řešení musí respektovat dispozice a omezení vyplývající z prostředí a podmínek zadavatele.
1. Řešení musí komplexně (jako celek) splňovat požadavky zadavatele. Požadovaná funkcionalita a vlastnosti musí být reálně funkční a použitelné v provozu řešení, požadované parametry musí být reálně dosažitelné. Splnění požadavků zadavatele nesmí být nijak podmíněno.
Je nepřípustné, aby plnění požadavků zadavatele bylo postaveno pouze na funkcionalitě, vlastnostech či parametrech dílčích komponent a řešení jako celek požadavky zadavatele nesplňovalo.
1. Funkcionalita, vlastnosti a parametry řešení musí být uvedeny pro nabízenou/dodávanou konfiguraci určenou k běžnému, trvalému provozu.
1. Řešení musí splňovat všechny technické požadavky zadavatele současně. Všech požadovaných vlastností, funkcionalit a parametrů musí být dosaženo při použití jednoho, produkčního nastavení všech komponent řešení. Splnění požadavku nesmí být podmíněno změnou nastavení nebo změnou zapojení komponent.
2. Řešení nesmí obsahovat omezení, která by zabraňovala či omezovala užití HPCQC-AI clusteru zadavatelem v požadovaném, nebo racionálním rozsahu. HPCQC-AI cluster je určen pro přibližně tři tisíce uživatelů.
1. Řešení musí být v maximální míře autonomní, nezávislé na externích systémech a službách, soběstačné bez potřeby dalších zařízení, systémů či služeb.
1. Řešení musí být navrženo, dimenzováno a implementováno tak, aby zajistilo spolehlivý, bezpečný, výkonný a efektivní provoz v datovém centru zadavatele.
1. Dodávka musí obsahovat veškerá zařízení potřebná pro zajištění požadované funkcionality, pro zajištění požadovaného výkonu a pro efektivní provoz – a to i taková, která nejsou explicitně uvedena v tomto dokumentu.
1. Dodávka musí obsahovat veškeré potřebné softwarové vybavení a licence.
1. Dodavatel nesmí pro realizaci používat zařízení, systémy, infrastrukturu či služby zadavatele, pokud toto není explicitně uvedeno v tomto dokumentu, a to pouze k účelu a v rozsahu uvedeném v tomto dokumentu.
### Orientační schéma HPCQC-AI clusteru

Obrázek 1 Orientační schéma HPCQC-AI clusteru
Orientační schéma HPCQC-AI clusteru je pouze zjednodušené ilustrativní znázornění HPCQC-AI clusteru, nejedná se o úplné či přesné zapojení. Modré objekty představují komponenty, které jsou předmětem dodávky, oranžové objekty představují stávající infrastrukturu zadavatele.
### Komponenty HPCQC-AI clusteru
1. HPCQC-AI cluster musí obsahovat *Výpočetní cluster*. Výpočetní cluster je tvořen *Výpočetními servery* propojenými *Výpočetní sítí* – vysokorychlostní sítí s nízkou latencí. Výpočetní cluster je určen pro provádění výpočetních úloh uživatelů.
1. Výpočetní servery tvoří jeden typ serverů tzv. *Akcelerované výpočetní servery*.
1. HPCQC-AI cluster musí obsahovat *Přístupové servery – servery* sloužící pro přístup uživatelů, pro přípravu úloh a dat, kompilaci a ladění kódů, pro zpracování výsledků a pro přenos dat.
1. HPCQC-AI cluster musí obsahovat *Úložiště.* Úložiště slouží k ukládání a sdílení dat. Úložiště jsou realizována jako komplexní řešení úložných zařízení, I/O serverů (např. souborových serverů), sítí a potřebného softwarového vybavení. Úložiště musí poskytovat požadované datové služby.
2. HPCQC-AI cluster musí obsahovat *Úložiště HOME*, *Úložiště SCRATCH* a *Úložiště infrastruktury*.
1. HPCQC-AI cluster musí obsahovat *Úložiště HOME*. *Úložiště HOME* je souborové úložiště, které je určeno pro ukládání nastavení operačního systému a aplikací uživatelů na superpočítači.
1. HPCQC-AI cluster musí obsahovat *Úložiště* *SCRATCH*. *Úložiště* *SCRATCH* je výkonné souborové úložiště, které je určeno pro krátkodobá data uživatelů pro výpočty a zpracování úloh, data jsou intenzivně používaná výpočetními servery superpočítače.
1. HPCQC-AI cluster musí obsahovat *Úložiště infrastruktury. Úložiště infrastruktury* je souborové úložiště, které je určeno pro ukládání a sdílení dat infrastruktury superpočítače. Úložiště slouží pro uložení systémových obrazů (image) serverů, dat, aplikačního vybavení atp.
1. HPCQC-AI cluster musí obsahovat infrastrukturní a management servery dále označované stručně jako *Infrastrukturní servery.* Infrastrukturní servery jsou určené pro správu superpočítače, zdrojů, úloh, licencí a poskytování infrastrukturních služeb (např. DHCP, DNS, LDAP, licenční servery, plánovače, monitoring, logování atd.).
2. HPCQC-AI cluster musí obsahovat řešení zálohování dat tzv. *Zálohování*.
1. HPCQC-AI cluster musí obsahovat *Síťovou infrastrukturu,* tj. síťové propojení komponent, systémů tak, aby bylo dosaženo požadované funkcionality, byl zajištěn přístup na jednotlivé služby, byl zajištěn výkon, dostupnost a bezpečnost služeb.
2. Síťovou infrastrukturu tvoří zejména *Výpočetní síť*, *LAN síť*, *Integrace do WAN sítě zadavatele*, *Integrace do storage sítě zadavatele* a případně další sítě dle návrhu dodavatele*.*
*Výpočetní síť* propojuje výpočetní servery, přístupové servery, je použita pro zpřístupnění některých úložišť.
*LAN síť* zajišťuje komunikaci mezi zařízeními uvnitř superpočítače, slouží ke správě systému, poskytování infrastrukturních služeb atp.
*Integrace do WAN sítě* zadavatele zajišťuje propojení do WAN sítě zadavatele a zprostředkovaně služby internetu v superpočítači. Součástí řešení jsou *WAN Síťové brány* realizující propojení WAN sítě zadavatele a *Výpočetní sítě* clusteru.
*Integrace do storage sítě* zadavatele zajišťuje propojení do storage sítě zadavatele, kde jsou připojena centralizovaná úložiště zadavatele (např. úložiště PROJECT), tak aby byla zajištěna dostupnost úložišť na uzlech superpočítače. Integrace je realizována *Storage Síťovými branami* realizujícími propojení storage sítě zadavatele a *Výpočetní sítě* clusteru.
1. HPCQC-AI cluster musí obsahovat řešení a infrastrukturu pro instalaci a provoz superpočítače v datovém centru zadavatele (dále označováno jako *Infrastruktura pro provoz v datovém centru*), tj. zejména racky a příslušenství potřebné pro umístění zařízení superpočítače, řešení napájení a chlazení zařízení superpočítače, rozhraní a napojení na infrastrukturu datového centra zadavatele.
1. HPCQC-AI cluster musí obsahovat veškeré potřebné softwarové vybavení a licence (*Software*).
2. Kromě uvedených komponent, které jsou nutnou součástí řešení, musí řešení obsahovat všechny další systémy potřebné pro zajištění požadované funkcionality a pro efektivní provoz HPCQC-AI clusteru.
### Výpočetní cluster
#### Výpočetní výkon LINPACK
1. Výpočetní výkon LINPACK výpočetního clusteru musí být minimálně **6,5 PFlop/s**.
1. Pro měření výpočetního výkonu Výpočetního clusteru musí být použit benchmark High Performance LINPACK <http://www.netlib.org/benchmark/hpl/>
1. Výpočetní výkon LINPACK výpočetního clusteru bude určen během výpočetního benchmarku High Performance LINPACK spuštěným paralelně nad všemi GPU všech Akcelerovaných výpočetních serverů Výpočetního clusteru jedna instance benchmarku na celém clusteru). Pro výpočet se použije standardní číselný formát FP64. Je **povoleno** využívat emulaci výpočtů pro FP64 pomocí nižších přesností, jako např. tzv. Ozakiho schéma.
1. Pro realizaci měření není nutno použít referenční implementaci benchmarku LINPACK, lze použít optimalizovanou implementaci benchmarku. Použitá implementace benchmarku však musí zcela splňovat specifikaci benchmarku. Optimalizace překladu zdrojového kódu a optimalizace běhu benchmarku je možná za předpokladu, že negativně neovlivní správnost provedení benchmark – tj. zejména, že budou reálně provedeny výpočty v požadovaném rozsahu a přesnosti, a že budou správně určeny časy běhu a výsledky měření. **Není povoleno** použití verze benchmarku se smíšenou přesnosti (tzv. **HPL-MxP**). Výpočet v HPL musí mít tzv. „relativní přesnost stroje“ (relative machine precision – EPS) menší než 10E-16 a tzv. „škálovaný residuál“ (scaled residual) musí být menší nebo rovný 16.
1. Hodnota výpočetního výkonu LINPACK výpočetního clusteru (stejně tak jako další hodnoty v nabídce) musí být uvedeny pro nabízenou/dodávanou konfiguraci určenou k běžnému provozu. Dosažení hodnot výpočetních výkonů nesmí být nijak podmíněno např. specifickým režimem, ve kterém nelze systém dlouhodobě a bez dalších omezení provozovat nebo předpokládanou efektivitou, jejíž dosažení však dodavatel negarantuje.
2. (I) Dodavatel musí v nabídce uvést výpočetní výkon LINPACK výpočetního clusteru určený dle požadavků v této kapitole včetně informace, zda je pro stanovení použita emulace výpočtů.
### Výpočetní servery
1. Každý Výpočetní server musí splňovat následující požadavky
- Fyzický server
- Připojení do Výpočetní sítě
- Připojení do LAN sítě
- Podpora bootu operačního systému ze sítě
- 64bitový operační systém Linux
1. Operační paměť RAM musí být rovnoměrně rozložena (kapacitou a rychlostí přístupu) na procesory a CPU jádra výpočetního serveru. Operační paměť RAM musí být složena z paměťových modulů stejného typu (velikost, rank atd.) a rovnoměrně, se stejnou konfigurací rozložena na paměťové řadiče a na paměťové kanály výpočetního serveru. Musí být použity všechny paměťové kanály všech procesorů serveru.
1. Výpočetní servery jsou určeny výhradně pro výpočty, dodavatel nesmí využít žádný Výpočetní server pro zajištění jiné funkcionality.
#### Akcelerované výpočetní servery
1. Každý Akcelerovaný výpočetní server musí splňovat následující požadavky:
- Architektura **x86-64** nebo **ARM64**
- Minimálně dva procesory na server
- Kapacita operační paměti RAM serveru minimálně 190GiB krát počet GPU serveru
- Operační paměť RAM serveru typu
- DDR5 s rychlostí min. 6400MT/s s ECC, nebo
- LPDDR5X s ECC
- Připojení serveru do LAN sítě rychlostí minimálně 1Gb/s
- Připojení serveru do Výpočetní sítě
1. Každý Akcelerovaný výpočetní server musí obsahovat **minimálně** **čtyři GPU** akcelerátory shodného typu. GPU akcelerátory musí být rovnoměrně připojeny na instalovaná CPU.
1. Každý GPU akcelerátor Akcelerovaných výpočetních serverů musí poskytovat:
1. minimálně **160GB** paměti HBM
2. výpočetní výkon LINPACK v FP64 (Rmax) minimálně 30 TFlop/s, je povoleno využívat emulaci výpočtů pro FP64 pomocí nižších přesností
1. Každý Akcelerovaný výpočetní server musí být připojen do Výpočetní sítě alespoň dvěma síťovými adaptéry, s celkovou/agregovanou rychlostí minimálně 200Gb/s krát počet GPU akcelerátorů serveru. Síťové adaptéry musí být rovnoměrně připojeny na instalovaná CPU.
1. Všechny Akcelerované výpočetní servery musí mít shodnou hardwarovou konfiguraci a musí pracovat ve shodném provozním nastavení (frekvence, časování, nastavení vlastností).
2. (I) Dodavatel musí v nabídce uvést hardwarovou platformu řešení Výpočetních serverů a její popis.
1. (I) Dodavatel musí v nabídce uvést detailní konfiguraci Výpočetních serverů obsahující:
1. počet Výpočetních serverů
2. výrobce a modelové označení serveru
3. počet, výrobce a modelové označení procesorů
4. počet CPU jader a základní frekvenci procesoru
5. TDP procesoru
6. velikost operační paměti RAM
7. počet paměťových kanálů serveru – celkový a využitý
8. počet, velikost, typ, rychlost a vlastnosti (např. ECC) paměťových modulů
9. počet, výrobce a modelové označení GPU akcelerátorů
10. velikost paměti HBM GPU akcelerátoru
11. teoretický výpočetní výkon v FP64 (Rpeak) GPU akcelerátoru
12. výpočetní výkon LINPACK v FP64 (Rmax) GPU akcelerátoru, včetně informace, zda je pro stanovení použita emulace výpočtů
13. název mikroarchitektury grafických jader GPU akcelerátoru
14. počet, výrobce a modelové označení adaptérů Výpočetní sítě
15. typ, rychlost a počet portů adaptéru Výpočetní sítě
16. agregovaná rychlost připojení serveru do Výpočetní sítě
17. počet adaptérů LAN sítě
18. typ, rychlost a počet portů adaptéru LAN sítě
19. maximální elektrický příkon serveru
20. název a verze operačního systému serveru
### Výpočetní síť
1. Výpočetní síť musí používat technologii s rychlostí spoje minimálně **200 Gb/s** a s latencí spoje maximálně 10 mikrosekund. Připojení zařízení do výpočetní sítě a uvnitř výpočetní sítě musí splňovat požadavky na spoje uvedené v předchozí větě, není-li explicitně v požadavcích této technické specifikace pro konkrétní zařízení stanovena minimální rychlost nižší.
1. Výpočetní síť musí používat topologii **plně neblokující fat tree**.
2. Řešení musí poskytovat efektivní MPI komunikaci výpočetních serverů.
1. Výpočetní síť musí podporovat a poskytovat IP protokol a RDMA funkcionalitu.
1. Výpočetní síť musí být vhodná pro řešení úložiště SCRATCH.
1. (I) Dodavatel musí v nabídce pro Výpočetní síť uvést:
1. technologii sítě, včetně názvu výrobce a označení produktové řady jednoznačně určující použitou technologii
2. rychlost spoje sítě
3. latenci spoje sítě
4. topologii sítě
5. schéma sítě obsahující připojení všech zařízení (serverů, úložišť, síťových bran), počty a rychlosti spojů
6. počet, výrobce a modelové označení zařízení/switchů sítě
7. počet portů a konfiguraci zařízení/switchů sítě
8. popis softwarového řešení
9. způsob zajištění IP protokolu a RDMA funkcionality
Výpočetní síť je použita pro zpřístupnění úložišť superpočítače na výpočetní uzly, požadavky jsou uvedeny v kapitole 5.8 Úložiště.
### Přístupové servery
1. HPCQC-AI cluster musí obsahovat minimálně dva Přístupové servery.
1. Každý Přístupový server musí splňovat následující požadavky:
- Fyzický server
- Architektura x86-64 nebo ARM64
- Dva procesory na server, každý procesor minimálně 64 fyzických výpočetních jader
- Kapacita operační paměti RAM minimálně 960GiB
- Minimálně 2 lokální SSD disky o kapacitě minimálně 960 GB v RAID1
- Připojení Výpočetní síť
- Připojení LAN síť
- Za provozu vyměnitelné (hot-swap) disky
- Redundantní, za provozu vyměnitelné (hot-swap) napájecí zdroje, redundantní napájení
1. Přístupové servery musí používat stejnou technologií procesorů, stejnou instrukční sadu procesorů, stejný typ paměti RAM a stejný operační systém jako Akcelerované výpočetní servery.
1. Každý Přístupový server musí obsahovat minimálně jeden GPU akcelerátor. GPU akcelerátor Přístupového serveru serverů musí být stejného typu jako je GPU akcelerátor Akcelerovaných výpočetních serverů, nebo jiný, který splňuje následující podmínky:
1. je stejného výrobce jako je GPU akcelerátor Akcelerovaných výpočetních serverů
2. používá stejnou (mikro)architekturu grafický jader, nebo její bezprostředně předcházející generaci; v segmentu data center GPU zadavatel považuje v případě výrobce AMD za mikroarchitekturu např. CDNA4 a za její bezprostředně předcházející generaci (pouze) mikroarchitekturu CDNA3, v případě výrobce NVIDIA zadavatel považuje za mikroarchitekturu např. Blackwell a za její předcházející generaci (pouze) mikroarchitekturu Hopper
3. umožňuje použití stejného GPU softwarového stacku
2. Přístupové servery musí mít stejnou hardwarovou konfiguraci a musí pracovat ve shodném provozním nastavení (frekvence, časování, nastavení vlastností).
1. Přístupové servery jsou určeny výhradně pro zajištění přístupu uživatelů a pro práci uživatelů, dodavatel nesmí využít žádný Přístupový server pro zajištění jiné funkcionality.
1. Přístupové servery musí poskytovat přístup uživatelům protokolem SSH2 a poskytovat služby pro přenos souborů SCP a SFTP.
1. (I) Dodavatel musí v nabídce uvést detailní konfiguraci Přístupových serverů obsahující:
1. počet Přístupových serverů
2. výrobce a modelové označení serveru
3. počet, výrobce a modelové označení procesorů
4. počet CPU jader a základní frekvenci procesoru
5. TDP procesoru
6. počet paměťových kanálů serveru – celkový a využitý
7. velikost operační paměti RAM
8. počet, velikost, typ, rychlost a vlastnosti (např. ECC) paměťových modulů
9. počet, výrobce a modelové označení GPU akcelerátorů
10. velikost paměti HBM GPU akcelerátoru
11. teoretický výpočetní výkon v FP64 (Rpeak) GPU akcelerátoru
12. výpočetní výkon LINPACK v FP64 (Rmax) GPU akcelerátoru, včetně informace, zda je pro stanovení použita emulace výpočtů
13. název mikroarchitektury grafických jader GPU akcelerátoru
14. počet, výrobce a modelové označení adaptérů Výpočetní sítě
15. typ, rychlost a počet portů adaptéru Výpočetní sítě
16. agregovaná rychlost připojení serveru do Výpočetní sítě
17. počet adaptérů LAN sítě
18. typ, rychlost a počet portů adaptéru LAN sítě
19. počet, velikost, typ a vyměnitelnost za provozu disků, konfigurace RAID
20. počet, redundanci a vyměnitelnost za provozu napájecích zdrojů
21. název a verze operačního systému serveru
### Úložiště
#### Společné požadavky
Požadavky uvedené v této kapitole jsou požadavky společné pro všechna úložiště řešení – úložiště HOME, úložiště SCRATCH, Úložiště infrastruktury a případně další úložiště použitá v řešení (kromě lokálních disků v serverech).
##### Vysoká dostupnost
1. Řešení úložiště musí poskytovat vysokou dostupnost. Musí splňovat zejména následující:
1. Odolnost proti selhání
Řešení úložiště musí být navrženo tak, aby selhání libovolné jednotlivé hardwarové komponenty (server, řadič, disk, napájecí zdroj, ventilátor, I/O modul, kabel, síťový prvek v rámci řešení) nezpůsobilo přerušení ani nedostupnost služeb úložiště pro klienty.
Způsob zajištění odolnosti (interní redundance zařízení, redundance napříč uzly, erasure coding, replikace či jiný mechanismus) je na návrhu dodavatele. Požadavky na zabezpečení/redundanci dat jsou uvedeny v kapitole 5.8.1.3 Redundance disků.
Vymezení: Není požadována taková úroveň redundance, která by zajistila dostupnost služeb úložiště i při ztrátě celé funkční jednotky řešení, která sama o sobě poskytuje službu nebo její podstatnou část (např. celé diskové pole, celá appliance, celý úložný cluster). Není požadována replikace dat mezi takovými funkčními jednotkami, pokud nejde o řešení požadovaného zabezpečení dat jako takového.
1. Síťová dostupnost řešení
Veškerá síťové propojení řešení úložiště – jak mezi jeho jednotlivými částmi úložiště, tak připojení úložiště do sítě, která je použita pro zpřístupnění klientům – musí být redundantní tak, aby selhání jednoho síťového prvku nebo jedné cesty nezpůsobilo nedostupnost služeb úložiště.
1. Vyměnitelnost hardwarových komponent
Hardwarové komponenty musí být vyměnitelné bez přerušení služeb úložiště (hot-swap komponenty, odstavení uzlu z clusteru apod.).
1. Software a firmware
Změny konfigurace, aplikace bezpečnostních záplat a běžných aktualizací (minor updates, patche) musí být možná bez přerušení služeb úložiště. U zásadních aktualizací (major upgrade) dodavatel uvede předpokládaný dopad na dostupnost a postup minimalizace výpadku.
1. Výpadek či odstávka libovolné hardwarové komponenty řešení úložiště (viz předchozí požadavek) nesmí způsobit nefunkčnost služeb úložiště. Při výpadku či odstávce hardwarové komponenty řešení úložiště může být výkon úložiště nižší než požadovaný/deklarovaný.
1. Řešení úložiště musí být odolné dlouhodobé vysoké zátěži.
##### Nezávislost úložišť
1. Úložiště musí obsahovat veškeré servery (souborové servery, protokolové brány atp.) potřebné pro běh všech služeb, které má úložiště poskytovat. Dodavatel nesmí použít pro realizaci služeb úložiště jiné servery dodávky (např. Infrastrukturní servery, Síťové brány, Přístupové servery).
1. Služby a provoz úložišť se nesmí vzájemně negativně ovlivňovat. Deklarované parametry agregované rychlosti a výkonu náhodných I/O operací musí být dosažitelné i při současném, paralelním zatížení všech úložišť.
1. Úložiště SCRATCH nesmí sdílet servery (též appliance, apod.) a disková zařízení (disky, disková pole) s jiným úložištěm (např. s úložištěm HOME, s Úložištěm infrastruktury, s úložištěm řešení Zálohování).
1. Úložiště HOME a Úložiště infrastruktury mohou použít jedno společné diskové pole a mohou používat společné servery. Je třeba však zajistit splnění požadavku SPEC_64.
##### Redundance disků
1. Úložiště musí zajišťovat takové zabezpečení (redundanci) dat, že selhání libovolných dvou disků úložiště nezpůsobí ztrátu dat.
Předpokládá se použití technologie RAID 6, nebo erasure codingu (k,m), kde m (parita) je větší nebo rovna dvěma.
1. Úložiště musí zajištovat zotavení po selhání disku, tj. opětovné zajištění požadovaného zabezpečení (redundance) dat (např. rekonstrukce RAID skupiny za využití hot-spare disků). Zotavení po selhání disku musí probíhat automaticky, bez zásahu obsluhy.
2. Zotavení po selhání disku úložiště, tj. opětovné zajištění požadovaného zabezpečení (redundance) dat, musí být dokončeno do 24 hodin od selhání disku. Během zotavování po výpadku disku úložiště může být výkon úložiště dočasně nižší než požadovaný.
3. Úložiště musí mít takovou konfiguraci, že je možné zajištění požadovaného zabezpečení (redundance) dat po selhání libovolných dvou disků úložiště, a to bez zásahu obsluhy.
$$\max{\left(\frac{1}{24}*celkový_počet _disků_diskového_pole; 2\right)}$$
1. Každé diskové pole (nebo obdobné zařízení) řešení úložiště musí poskytovat rezervní (spare) kapacitu nebo náhradní (spare) disky v počtu či kapacitě minimálně disků.
Funkce max(a; b) vrací větší z čísel a, b. Výsledek vzorce se zaokrouhlí vždy nahoru na celé číslo. Celkový počet disků diskového pole zahrnuje jak disky obsahující samotná data a paritní data, tak disky realizující náhradní disky či rezervní kapacitu.
#### Souborová úložiště
Požadavky uvedené v této kapitole jsou společné požadavky pro úložiště HOME, úložiště SCRATCH a Úložiště infrastruktury, která jsou souborovými úložišti.
1. Souborové úložiště musí poskytovat služby síťového souborového systému.
2. Na všech klientech souborového úložiště musí být poskytována obvyklá funkcionalita souborového systému.
3. Souborové úložiště musí být na straně klientů transparentně integrováno do operačního systému, musí umožňovat obvyklé souborové operace a realizovat obvyklou sémantiku nativních souborových systémů a integrovat uživatele operačního systému jako uživatele souborového systému.
4. Souborové úložiště musí splňovat následující požadavky
1. Podpora Unicode ve jménech souborů
2. Podpora dlouhých jmen souborů
3. Řízení přístupu, přístupová práva na úrovni standardních Unixových práv (čtení, zápis, spuštění; uživatel, skupina, ostatní) a rozšířená ACL (POSIX ACL nebo NFSv4 ACL, včetně podpory Default ACL, resp. inheritance)
4. Podpora souborů o velikosti větší než 1TB
5. Podpora symbolických linků
6. Podpora zamykání souborů
1. Data souborového úložiště musí být uložena na discích typu SSD nebo NVMe. Použité disky musí být vhodné pro jejich nasazení a charakter zátěže.
1. Požadavek, že souborové úložiště se musí z pohledu uživatele chovat jako jediná, souvislá oblast s jednotným prostorem jmen znamená, že uživatel úložiště pro přístup k souborům úložiště používá jednotný prostor jmen a v rámci tohoto jednotného prostoru jmen je bez omezení dostupná veškerá kapacita úložiště a vlastnosti úložiště.
#### Úložiště SCRATCH
1. Úložiště SCRATCH je souborové úložiště, které je určeno výhradně pro data uživatelů HPCQC-AI clusteru.
1. Úložiště SCRATCH se musí z pohledu uživatele chovat jako jediná, souvislá oblast s jednotným prostorem jmen.
1. Úložiště SCRATCH musí být prostřednictvím Výpočetní sítě zpřístupněné na všech Výpočetních serverech, Přístupových serverech, Infrastrukturních serverech pro běh služeb zadavatele a WAN Síťových branách.
1. Úložiště SCRATCH musí být na klientech dostupné v cestě /scratch.
2. Úložiště SCRATCH musí mít čistou dostupnou kapacitu na úrovni souborového systému minimálně **1,4 PB** (1,4x10¹⁵ byte).
1. Úložiště SCRATCH musí umožňovat uložení minimálně 2 miliard souborů.
1. Úložiště SCRATCH musí poskytovat dlouhodobě udržitelnou agregovanou rychlost sekvenčních operací minimálně:
- čtení **385 GB/s** (385x10⁹ byte/s)
- zápis **245 GB/s** (245x10⁹ byte/s)
Velikost bloku operací určí dodavatel dle svého uvážení. Požadovaná rychlost musí být reálně dosažitelná z Výpočetních serverů.
1. Úložiště SCRATCH musí poskytovat dlouhodobě udržitelný výkon I/O operací náhodného charakteru v režimu čtení/zápis 80 %/20 % minimálně **2,1 milióny IOPs**. Velikost bloku operací určí dodavatel dle svého uvážení. Požadovaný výkon musí být reálně dosažitelný z Výpočetních serverů.
1. Úložiště SCRATCH musí poskytovat projektové, nebo adresářové kvóty, nepřekročitelné omezení využité kapacity a počtu souborů nastavitelné individuálně buď pro projekt, nebo pro adresář úložiště. Na infrastrukturních serverech zadavatele musí být dostupné CLI příkazy, které umožní neinteraktivním způsobem (lze je volat ze scriptů) vypsat nastavené kvóty a jejich aktuální využití ve strojově čitelném formátu a nastavit jednotlivé kvóty.
2. (I) Dodavatel musí v nabídce pro úložiště SCRATCH uvést následující kapacitní a výkonové parametry:
1. čistá dostupná kapacita
2. agregovaná rychlost sekvenčních operací pro dodavatelem zvolenou velikost bloku operací a velikost bloku operací
3. výkon I/O operací náhodného charakteru v režimu čtení/zápis 80 %/20 % pro dodavatelem zvolenou velikost bloku operací a velikost bloku operací
4. dlouhodobě udržitelný výkon metadata operací
1. (I) Dodavatel musí v nabídce pro úložiště SCRATCH uvést:
1. architekturu řešení, včetně uvedení všech serverů a diskových polí
2. výrobce, modelové označení a konfiguraci nabízených zařízení
3. velikost a typ paměti RAM zařízení
4. počet, velikost, typ, rozhraní a rychlost disků
5. způsob zabezpečení datových oblastí – konfiguraci RAID nebo erasure codingu, včetně uvedení konkrétních číselných hodnot k+m, např. RAID6 8+2
6. počet spare disků nebo rezervní kapacitu a jejich rozmístění
7. způsob připojení úložiště do Výpočetní sítě
1. počet adaptérů pro připojení do Výpočetní sítě
2. typ, rychlost a počet portů adaptérů pro připojení do Výpočetní sítě
3. agregovaná rychlost připojení úložiště do Výpočetní sítě
1. způsob zajištění vysoké dostupnosti a redundanci úložiště (dle použité architektury a použitých zařízení řešení – HA servery redundantní řadiče diskových polí, redundantní komponenty zařízení, redundance cest atp.)
2. popis softwarového řešení
1. názvy použitých softwarových produktů
2. použitý síťový souborový protokol
3. popis sw řešení na serverové straně úložiště
4. popis sw řešení na klientech úložiště, integrace do OS klientů
5. způsob řešení rozšířených ACL
6. příkazy pro správu kvót
#### Úložiště HOME
1. Úložiště HOME je souborové úložiště, které je určeno výhradně pro data uživatelů HPCQC-AI clusteru.
1. Úložiště HOME se musí z pohledu uživatele chovat jako jediná, souvislá oblast s jednotným prostorem jmen.
1. Úložiště HOME musí být nativně zpřístupněné prostřednictvím Výpočetní sítě na všech Výpočetních serverech, Přístupových serverech, Infrastrukturních serverech pro běh služeb zadavatele a WAN Síťových branách.
1. Úložiště HOME musí být na klientech dostupné v cestě /home.
1. Úložiště HOME musí mít čistou dostupnou kapacitu na úrovni souborového systému minimálně **25 TB** (25x10¹²byte).
1. Úložiště HOME musí umožňovat uložení minimálně 500 miliónů souborů.
1. Úložiště HOME musí poskytovat dlouhodobě udržitelnou agregovanou rychlost sekvenčních operací minimálně **1.5 GB/s** (1.5x10⁹ byte/s). Velikost bloku operací určí dodavatel dle svého uvážení. Požadovaná rychlost musí být reálně dosažitelná z Výpočetních serverů.
1. Úložiště HOME musí poskytovat dlouhodobě udržitelný výkon I/O operací náhodného charakteru v režimu čtení/zápis 80 %/20 % minimálně **50 tisíc IOPs**. Velikost bloku operací určí dodavatel dle svého uvážení. Požadovaný výkon musí být reálně dosažitelný z Výpočetních serverů.
1. Úložiště HOME musí poskytovat uživatelské kvóty, nepřekročitelné omezení využité kapacity a počtu souborů nastavitelné individuálně pro každého uživatele. Na infrastrukturních serverech zadavatele musí být dostupné CLI příkazy, které umožní neinteraktivním způsobem (lze je volat ze scriptů) vypsat nastavené kvóty a jejich aktuální využití ve strojově čitelném formátu a nastavit jednotlivé kvóty.
1. (I) Dodavatel musí v nabídce pro úložiště HOME uvést následující kapacitní a výkonové parametry:
1. čistá dostupná kapacita
2. agregovaná rychlost sekvenčních operací pro dodavatelem zvolenou velikost bloku operací a velikost bloku operací
3. výkon I/O operací náhodného charakteru v režimu čtení/zápis 80 %/20 % pro dodavatelem zvolenou velikost bloku operací a velikost bloku operací
1. (I) Dodavatel musí v nabídce pro úložiště HOME uvést:
1. architekturu řešení, včetně uvedení všech serverů a diskových polí
2. výrobce, modelové označení a konfiguraci nabízených zařízení
3. velikost a typ paměti RAM zařízení
4. počet, velikost, typ, rozhraní a rychlost disků
5. způsob zabezpečení datových oblastí – konfiguraci RAID nebo erasure codingu, včetně uvedení konkrétních číselných hodnot k+m, např. RAID6 8+2
6. počet spare disků nebo rezervní kapacitu a jejich rozmístění
7. způsob připojení úložiště do Výpočetní sítě
1. počet adaptérů pro připojení do Výpočetní sítě
2. typ, rychlost a počet portů adaptérů pro připojení do Výpočetní sítě
3. agregovaná rychlost připojení úložiště do Výpočetní sítě
1. způsob zajištění vysoké dostupnosti a redundanci úložiště (dle použité architektury a použitých zařízení řešení – HA servery redundantní řadiče diskových polí, redundantní komponenty zařízení, redundance cest atp.)
2. popis softwarového řešení
1. názvy použitých softwarových produktů
2. použitý síťový souborový protokol
3. popis sw řešení na serverové straně úložiště
4. popis sw řešení na klientech úložiště, integrace do OS klientů
5. způsob řešení rozšířených ACL
6. příkazy pro správu kvót
#### Úložiště infrastruktury
1. Úložiště infrastruktury je souborové úložiště, které je určeno pro uložení dat infrastrukturních služeb superpočítače a pro uložení dat zadavatele potřebných pro realizaci a poskytování služeb uživatelům.
1. Zadavatel předpokládá následující použití Úložiště infrastruktury a pro ně stanovuje požadované parametry úložiště:
- instalační obrazy serverů (výpočetní a přístupové servery)
- aplikační software a data zadavatele
1. Dodavatel může využít Úložiště infrastruktury i k jiným účelům než uvedeným v SPEC_101, musí však adekvátně navýšit parametry řešení a musí zajistit splnění zadavatelem požadovaných parametrů.
1. Úložiště infrastruktury musí mít čistou dostupnou kapacitu na úrovni souborového systému minimálně **25 TB** (25x10¹²byte).
1. Úložiště infrastruktury musí umožňovat uložení minimálně 500 miliónů souborů.
1. Úložiště infrastruktury musí poskytovat dlouhodobě udržitelnou agregovanou rychlost sekvenčních operací minimálně **1.5 GB/s** (1.5x10⁹ byte/s). Velikost bloku operací určí dodavatel dle svého uvážení. Požadovaná rychlost musí být reálně dosažitelná z Výpočetních serverů.
1. Úložiště infrastruktury musí poskytovat dlouhodobě udržitelný výkon I/O operací náhodného charakteru v režimu čtení/zápis 80 %/20 % minimálně **50 tisíc IOPs**. Velikost bloku operací určí dodavatel dle svého uvážení. Požadovaný výkon musí být reálně dosažitelný z Výpočetních serverů.
2. Úložiště infrastruktury musí umožnovat rozdělení datové kapacity na logické části (souborové systémy či jeho části) požadované velikosti a zpřístupnění těchto logických částí výhradně na vybrané servery.
1. Úložiště infrastruktury musí být dostupné všem serverům řešení HPCQC-AI clusteru.
Úložiště infrastruktury musí zpřístupňovat:
- instalační obrazy serverů – na Infrastrukturní servery určené pro běh vzdálené instalace, popř. běh síťového bootu serverů
- aplikační software a data zadavatele – zpřístupněný v cestě /apps
- na Přístupové, Výpočetní servery, Infrastrukturní servery pro běh služeb zadavatele a WAN Síťové brány prostřednictvím Výpočetní sítě
- na Infrastrukturní servery pro běh služeb dodavatele; pro servery musí existovat datová cesta k úložišti infrastruktury s propustností minimálně 10Gb/s.
1. (I) Dodavatel musí v nabídce pro Úložiště infrastruktury uvést následující kapacitní a výkonové parametry:
1. čistá dostupná kapacita
2. agregovaná rychlost sekvenčních operací pro dodavatelem zvolenou velikost bloku operací a velikost bloku operací
3. výkon I/O operací náhodného charakteru v režimu čtení/zápis 80 %/20 % pro dodavatelem zvolenou velikost bloku operací a velikost bloku operací
1. (I) Dodavatel musí v nabídce pro Úložiště infrastruktury uvést:
1. architekturu řešení, včetně uvedení všech serverů a diskových polí
2. výrobce, modelové označení a konfiguraci nabízených zařízení
3. velikost a typ paměti RAM zařízení
4. počet, velikost, typ, rozhraní a rychlost disků
5. způsob zabezpečení datových oblastí – konfiguraci RAID nebo erasure codingu, včetně uvedení konkrétních číselných hodnot k+m, např. RAID6 8+2
6. počet spare disků nebo rezervní kapacitu a jejich rozmístění
7. způsob připojení úložiště do sítě superpočítače
1. použitá síť
2. počet adaptérů pro připojení do sítě
3. typ, rychlost a počet portů adaptérů pro připojení do sítě
4. agregovaná rychlost připojení úložiště do sítě
1. způsob zajištění vysoké dostupnosti a redundanci úložiště (dle použité architektury a použitých zařízení řešení – HA servery redundantní řadiče diskových polí, redundantní komponenty zařízení, redundance cest atp.)
2. popis softwarového řešení
1. názvy použitých softwarových produktů
2. použitý síťový souborový protokol
3. popis sw řešení na serverové straně úložiště
4. popis sw řešení na klientech úložiště, integrace do OS klientů
1. V případě, že dodávka obsahuje další zařízení/systémy, které mají charakter úložiště – tj. slouží k ukládání dat a nejedná se o lokální disky serveru, návrh musí obsahovat informace o těchto zařízeních/systémech v rozsahu relevantních bodů SPEC_110.
#### Vymezení pojmu – kapacita úložiště
1. Kapacita (velikost) úložiště je požadována a musí být uváděna jako čistá využitelná kapacita (není-li explicitně uvedeno jinak), tj. jako velikost úložiště reálně využitelná uživatelem na nejvyšší poskytované úrovni, tj. na úrovni poskytované služby.
Kapacita souborového úložiště je kapacita souborových systémů poskytovaných úložištěm.
Kapacita souborového systému je čistá využitelná kapacita souborového systému, to je reálně využitelná kapacita souborového systému.
1. Určení čisté využitelné kapacity úložiště musí být uvedeno pro nabízenou/dodávanou konfiguraci určenou k běžnému provozu.
1. Určení čisté využitelné kapacity nesmí kalkulovat, zohledňovat vlastnosti systému či jeho komponenty na potenciální možnost uložení většího množství dat za předpokladů, které nelze zajistit (komprese, deduplikace apod.).
1. Určení čisté využitelné kapacity nesmí kalkulovat, zohledňovat vlastnosti systému či jeho komponenty na alokování většího prostoru, než je fyzicky možné či reálně uskutečnitelné bez dalších úkonů (oversubscription).
1. Kapacity úložišť se uvádějí s využitím předpon dekadických násobků.
gigabyte (GB) 10⁹ byte
terabyte (TB) 10¹² byte
petabyte (TB) 10¹⁵ byte
1. Čistá dostupná kapacita datového úložiště se zjišťuje na vhodném klientském systému úložiště zápisem do úložiště do jeho zaplnění nebo čtením celého úložiště anebo vhodným systémovým nástrojem prezentujícím velikost – kapacitu úložiště.
1. Nástroje použité pro zjištění kapacity musí poskytovat důvěryhodné informace a musí pracovat se známou velikostí datového bloku nebo se známou a přesnou jednotkou.
Pro ilustraci, v OS Linux lze velikost souborového systému v bytech zjistit pomocí příkazu df B1, hodnota Available.
#### Vymezení pojmu – rychlost úložiště
1. Rychlost úložiště (rychlost sekvenčních operací a výkon I/O operací) je požadována a musí být uváděna jako rychlost reálně dlouhodobě dosažitelná uživatelem na nejvyšší poskytované úrovni, tj. na úrovni poskytované služby z klientů úložiště.
1. Rychlost souborového úložiště je reálně dlouhodobě dosažitelná (sustained) rychlost operací prováděných na souborových systémech úložiště z klientů souborového úložiště.
1. Rychlost sekvenčních operací úložiště je menší z hodnot rychlost sekvenčního zápisu úložiště a rychlost sekvenčního čtení úložiště.
1. Určení rychlosti úložiště musí být uvedeno pro nabízenou/dodávanou konfiguraci určenou k běžnému provozu.
1. Určení rychlosti nesmí vycházet z předpokladu specifických výhodných podmínek či specifického výhodného režimu měření (např. operace z cache), pokud tyto podmínky nebo režim nejsou explicitně požadovány nebo uvedeny.
1. Rychlosti úložišť se uvádějí s využitím předpon dekadických násobků.
#### Měření rychlosti
1. Dodavatel musí prokázat splnění rychlosti úložišť provedením výkonových testů (benchmarků) v rámci akceptačních testů (měření rychlosti).
1. Běh výkonových testů úložišť bude realizován na Výpočetních serverech (testovací servery).
2. Před každým měřením rychlosti úložiště musí být zajištěno vymazání diskových cache pamětí testovacích serverů. Použije se příkaz:
echo 3 \> /proc/sys/vm/drop_caches
1. Měření rychlosti je nutno provádět postupy a za podmínek, které odpovídají běžnému provozu, běžnému poskytování služeb úložiště. Před a během měřením rychlosti úložiště se nesmí provádět žádné úkony, které by měly vliv na výsledek měření.
##### Použití nástroje fio
1. Měření rychlosti sekvenčních operací a měření výkonu I/O operací náhodného charakteru souborových úložišť se bude provádět nástrojem fio v klient-server režimu.
fio je open-source nástroj (licence GPL verze 2) pro benchmarkování a testování I/O dostupný na adrese <https://github.com/axboe/fio>.
Pro měření se použije fio verze 3.35 nebo novější, pro měření lze použít fio z distribuce dodávaného operačního systému.
Na každém serveru určeném pro realizaci měření souborového úložiště (testovacím servery dle SPEC_126) se ověří dostupnost měřeného souborového úložiště a spustí program fio v serverovém režimu:
fio --server
Z vybraného serveru se pak iniciuje měření – spustí se na něm program fio v klientském režimu:
time fio \\ --client=machinefile jobfile \\ --output-format=normal,json |& \\ tee fio.out
V souboru machinefile jsou uvedena jména serverů určených pro realizaci měření úložiště, každé jméno je uvedeno na samostatném řádku.
jobfile je jméno konfiguračního souboru programu fio obsahujících popis testu dle požadavků konkrétního měření. Soubor jobfile je umístěn na serveru, který iniciuje měření.
V definici úloh fio se předpokládá výchozí nastavení všech parametrů, které nejsou explicitně uvedeny (tj. např. ioengine=psync, direct=0).
Adresář souborového úložiště použitý pro vytváření testovacích souborů měření (v jobfile jde o nastavení directory) musí být před měřením prázdný.
Pro měření sekvenčního čtení souborového úložiště a pro měření výkonu I/O operací náhodného charakteru souborového úložiště se před měřením v adresáři připraví testovací soubory. Testovací soubory se vytvoří stejným postupem jako samotné měření – spuštěním programu fio v klientském režimu, ale v příslušném jobfile se uvede nastavení create_only=1 a pro zkrácení doby běhu přípravy souborů je možno použít jinou velikost bloku (parametr bs).
Pro určení výsledku měření bude použit výstup programu fio na serveru, který inicioval měření, tj. soubor fio.out. Budou použity souhrnné informace o měření, které jsou uvedeny v části „All clients“, použije se JSON formát výstupu.
V JSON výstupu se použije poslední položka atributu „client_stats“, atribut „jobname“ této položky má hodnotu „All clients“, tato položka je dále označovaná jako souhrn.
Pro měření rychlosti sekvenčních operací se použije hodnota atributu „bw_bytes“ atributu „read“ nebo „write“ (podle typu měření) souhrnu. Získaná hodnota udává rychlost (propustnost) v bytech za sekundu.
Pro měření výkonu I/O operací se použije součet hodnot atributu „iops“ atributů „read“ a „write“ souhrnu. Získaná hodnota udává celkový počet I/O operací za sekundu (IOPS).
##### Měření rychlosti sekvenčních operací
1. Měření dlouhodobě udržitelné agregované rychlosti sekvenčního operací souborového úložiště se bude provádět nástrojem fio dle SPEC_129.
Rychlost sekvenčních operací datového úložiště je menší z hodnot rychlost sekvenčního zápisu souborového úložiště a rychlost sekvenčního čtení souborového úložiště.
Pro měření sekvenčního zápisu souborového úložiště se použije následující konfigurační soubor – fio jobfile:
[global]
rw=write
bs=BLOCKSIZE
create_on_open=1
time_based
runtime=30m
numjobs=NUMJOBS
fsync_on_close=1
[FILESYSTEM]
directory=/MOUNTPOINT/test/fio
filesize=FILESIZE
Pro měření sekvenčního čtení souborového úložiště se použije následující konfigurační soubor – fio jobfile:
[global]
rw=read
bs=BLOCKSIZE
time_based
runtime=30m
numjobs=NUMJOBS
fsync_on_close=1
;create_only=1
[FILESYSTEM]
directory=/MOUNTPOINT/test/fio
filesize=FILESIZE
Parametry FILESYSTEM, MOUNTPOINT, BLOCKSIZE, NUMJOBS a FILESIZE se nahradí vhodnými hodnotami.
Parametr FILESYSTEM udává jméno úložiště, např. HOME nebo SCRATCH.
Parametr BLOCKSIZE udává velikost použitého bloku, hodnotou je velikost dle syntaxe programu fio (např. 1M).
Parametr MOUNTPOINT udává mountpoint měřeného úložiště na klientech.
Parametr NUMJOBS udává počet paralelně prováděných úloh na testovacím serveru, hodnotou je kladné přirozené číslo.
Parametr FILESIZE udává velikost jednotlivých souborů, se kterými úloha pracuje, hodnotou je velikost dle syntaxe programu fio (např. 3T).
Celková velikost souborů, se kterými měření pracuje z jednoho testovacího serveru, tj. hodnota FILESIZE * NUMJOBS, musí být větší než dvojnásobek velikosti operační paměti každého testovacího serveru.
Celková velikost souborů, se kterými měření pracuje ze všech použitých testovacích serverů, tj. hodnota FILESIZE * NUMJOBS * počet_testovacích_serverů musí být větší než
- 800TB pro Úložiště SCRATCH
- 10TB pro Úložiště HOME
- 10TB pro Úložiště infrastruktury
##### Měření výkonu I/O operací
1. Měření dlouhodobě udržitelného výkonu I/O operací náhodného charakteru souborového úložiště se bude provádět nástrojem fio dle SPEC_129.
Použije následující konfigurační soubor – fio jobfile.
[global]
rw=randrw
rwmixread=80
bs=BLOCKSIZE
time_based
runtime=30m
numjobs=NUMJOBS
fsync_on_close=1
;create_only=1
[FILESYSTEM]
directory=/MOUNTPOINT/test/fio
filesize=FILESIZE
Parametry FILESYSTEM, MOUNTPOINT, BLOCKSIZE, NUMJOBS a FILESIZE se nahradí vhodnými hodnotami.
Parametr FILESYSTEM udává jméno úložiště, např. HOME nebo SCRATCH.
Parametr MOUNTPOINT udává mountpoint měřeného úložiště na klientech.
Parametr BLOCKSIZE udává velikost použitého bloku, hodnotou je velikost dle syntaxe programu fio (např. 4k).
Parametr NUMJOBS udává počet paralelně prováděných úloh na testovacím serveru, hodnotou je kladné přirozené číslo.
Parametr FILESIZE udává velikost jednotlivých souborů, se kterými úloha pracuje, hodnotou je velikost dle syntaxe programu fio (např. 3T).
Celková velikost souborů, se kterými úloha pracuje z jednoho testovacího serveru, tj. hodnota FILESIZE * NUMJOBS, musí být větší než dvojnásobek velikosti operační paměti každého testovacího serveru.
Celková velikost souborů, se kterými měření pracuje ze všech použitých testovacích serverů, tj. hodnota FILESIZE * NUMJOBS * počet_testovacích_serverů musí být větší než
- 800TB pro Úložiště SCRATCH
- 10TB pro Úložiště HOME
- 10TB pro Úložiště infrastruktury
##### Měření výkonu metadata operací
1. Za účelem ověření stability provádění metadata operací souborového úložiště a zjištění výkonu metadata operací souborového úložiště se v rámci akceptačních testů provede měření dlouhodobě udržitelného výkonu metadata operací souborového úložiště. Měření bude provedeno na úložištích SCRATCH, HOME a Úložišti infrastruktury.
1. Měření dlouhodobě udržitelného výkonu metadata operací souborového úložiště se bude provádět nástrojem mdtest <https://github.com/hpc/ior>.
Pro měření bude použit následující příkaz:
time \\
mpirun -n $NPROC -f machinefile \\ mdtest \\ -C -T -r \\
\-F \\ -d /MOUNTPOINT/test/mdtest \\ -I $FILES_PER_DIR \\ -i $ITERATIONS \\ -u \\ -z $TREE_DEPTH -b $BRANCHING_FACTOR \\ -L
kde machinefile je soubor obsahující jména serverů určených pro provádění testu, každé jméno uvedeno na samostatném řádku,
NPROC, FILES_PER_DIR ITERATIONS, TREE_DEPTH, BRANCHING_FACTOR jsou proměnné – kladná, přirozená čísla, stanovena tak, že
- že hodnota FILES_PER_DIR je větší nebo rovna 100
$${NPROC*FILES_PER_DIR*BRANCHING_FACTOR}^{TREE_DEPTH}\geq {10}^{8} $$
- počet souborů vytvořených v každé iteraci je minimálně 10⁸, tj.
- doba běhu testu je minimálně 1 hodina.
Za výsledek měření se považují hodnoty z řádků „File creation“ a „File stat“, ve sloupci Mean, tabulky „SUMMARY rate“.
### Infrastrukturní servery
1. Infrastrukturní servery musí být navrženy a dimenzovány tak, aby zajistily spolehlivý, bezpečný, rychlý a efektivní provoz HPCQC-AI clusteru a jeho správu. Některé požadavky na infrastrukturní služby jsou uvedeny v kapitole 5.13 Software.
1. HPCQC-AI cluster musí obsahovat dvě kategorie Infrastrukturních serverů:
1. Infrastrukturní servery pro běh služeb dodavatele – Infrastrukturní servery určené pro běh služeb dodavatele, které zajišťují chod Superpočítače a komplexní naplnění požadavků zadavatele. Servery jsou mimo jiné určeny pro běh služeb uvedených v kapitole 5.13 Software.
2. Infrastrukturní servery pro běh služeb zadavatele – Infrastrukturní servery určené výhradně pro běh dalších služeb zadavatele, které implementuje a provozuje zadavatel (další služby poskytované uživatelům, integrace superpočítače do prostředí zadavatele a další).
1. HPCQC-AI cluster musí obsahovat minimálně tři fyzické Infrastrukturní servery pro běh služeb dodavatele (kategorie 1), servery musí poskytovat celkově (v souhrnu) minimálně 384GiB RAM a 48 CPU jader.
1. HPCQC-AI cluster musí obsahovat minimálně tři fyzické Infrastrukturní servery pro běh služeb zadavatele (kategorie 2), každý server musí splňovat následující požadavky:
- Minimálně 16 CPU jader
- Paměť RAM minimálně 192GiB, provozovaná v režimu DDR5 s ECC
- Minimálně 2 lokální SSD disky o kapacitě minimálně 960 GB v RAID1
- Připojení Výpočetní síť, minimálně 200Gb/s
- Připojení LAN síť, minimálně 100Gb/s
- Klient úložišť HOME (/home), SCRATCH (/scratch) a infrastruktury (/apps), je vyžadován nativní klient a dostupnost nativní funkcionality těchto úložišť.
1. Pro řešení infrastrukturních služeb může být použita virtualizační technologie. Použití virtualizace však nesmí mít negativní dopad na kvalitu poskytovaných služeb.
1. Každý fyzický Infrastrukturní server musí splňovat následující požadavky:
- Disky v RAID s redundancí dat
- Za provozu vyměnitelné (hot-swap) disky
- Redundantní, za provozu vyměnitelné (hot-swap) napájecí zdroje, redundantní napájení
- Připojení LAN síť
1. Klíčové služby musí být provozovány v režimu vysoké dostupnosti, preferovaně použitím nativního mechanismu dané služby.
1. Výpadek nebo odstávka libovolného jednoho Infrastrukturního serveru nesmí způsobit přerušení probíhajících úloh a provozu Výpočetního clusteru, Přístupových serverů, Úložišť, Síťové infrastruktury a správy superpočítače.
1. (I) Dodavatel musí v nabídce uvést detailní konfiguraci Infrastrukturních serverů obsahující:
1. počet Infrastrukturních serverů pro běh služeb dodavatele (kategorie 1)
2. počet Infrastrukturních serverů pro běh služeb zadavatele (kategorie 2)
3. výrobce a modelové označení serverů
4. počet, výrobce a modelové označení procesorů
5. počet CPU jader a základní frekvenci procesoru
6. velikost operační paměti RAM
7. počet, velikost, typ, rychlost a vlastnosti (např. ECC) paměťových modulů
8. počet, výrobce a modelové označení adaptérů Výpočetní sítě
9. typ, rychlost a počet portů adaptéru Výpočetní sítě
10. počet adaptérů LAN sítě
11. typ, rychlost a počet portů adaptéru LAN sítě
12. počet, velikost, typ a vyměnitelnost za provozu disků, konfigurace RAID
13. počet, redundanci a vyměnitelnost za provozu napájecích zdrojů
14. název a verze operačního systému serveru
1. (I) Dodavatel musí v nabídce uvést koncept řešení a předpokládané rozmístění služeb dodavatele na Infrastrukturní servery pro běh služeb dodavatele.
### Zálohování
1. Součástí dodávky musí být komplexní řešení zálohování dat – Zálohování.
1. Řešení Zálohování musí zajištovat zejména:
- zálohování všech dodávaných serverů s výjimkou Výpočetních serverů
- zálohování Úložiště HOME; Úložiště SCRATCH se nezálohuje.
- zálohování Úložiště infrastruktury
Pro Výpočetní servery se předpokládá bootování či instalace/reinstalace/obnova z jednotných instalačních obrazů. Zálohují se obrazy centrálního úložiště instalačních obrazů včetně instalačních obrazů Výpočetních serverů.
Pro úložiště HOME se předpokládá obsazení 80% celkové kapacity úložiště daty typickými pro takové úložiště v daném použití (tedy HOME v prostředí HPC centra obdobné velikosti), předpokládá se změna 4% celkové kapacity úložiště denně.
Úložiště infrastruktury se zálohuje na úrovni souborového systému realizovaném na logických částech Úložiště infrastruktury. Pro Úložiště infrastruktury se předpokládá obsazení 80% celkové kapacity a změna 4% celkové kapacity úložiště denně.
Není nutno zálohovat data serverů dočasného charakteru, která nejsou potřebná k obnově serveru.
1. Zálohování dat musí probíhat s periodou 1 den. Kompletní cyklus zálohování všech dat musí proběhnout v čase od 22:00 do 6:00 (tj. během maximálně 8 hodin).
1. Řešení Zálohování musí umožňovat/poskytovat obnovu dat z posledních 21 dnů, z posledních 21denních záloh.
1. Řešení Zálohování musí poskytovat dostatečnou zálohovací kapacitu pro naplnění všech uvedených požadavků (s ohledem na použitou technologii a reálně dosažitelné parametry v daném nasazení).
1. Priority zálohování a obnovy dat (pořadí dle priority od nejvyšší k nejnižší):
1. Nejvyšší priorita: Servery řešení nezbytné pro poskytování služeb systému, Úložiště infrastruktury
2. Další servery řešení
3. Nejnižší priorita: Úložiště HOME
1. Řešení pro zálohování a obnovu dat musí splňovat následující základní vlastnosti:
- časový harmonogram záloh
- obnova individuálních souborů a složek
- obnova vlastníků, práv a atributů souborů a složek
- paralelní běh záloh a obnov
1. Řešení zálohování musí používat technologii zálohování do diskového úložiště. Předpokládá se použití technologie pro lepší efektivitu uložení dat (např. komprese nebo deduplikace).
2. Zálohování musí používat vyhrazené, nezávislé úložiště. Úložiště určené pro zálohování musí splňovat požadavky uvedené v kapitole 5.8.1.3 Redundance disků.
1. Server/servery řešení zálohování jsou považovány za Infrastrukturní servery dle kapitoly 5.9 Infrastrukturní servery a musí splňovat požadavky na ně kladené. Server/servery řešení zálohování nemusí být vyhrazené pouze pro běh služeb zálohování.
1. Zálohování musí být řešeno tak, aby mělo minimální negativní dopad na provoz a výkon HPCQC-AI clusteru.
2. Licence zálohovacího systému musí pokrývat všechny uvedené potřeby v maximální konfiguraci.
1. (I) Dodavatel musí v nabídce uvést zálohovací kapacitu a propustnost řešení, která je dostatečná pro naplnění uvedených požadavků na zálohování.
1. (I) Dodavatel musí v nabídce popsat výpočet potřebné kapacity pro naplnění požadavků zadavatele na zálohování.
1. (I) Dodavatel musí v nabídce uvést architekturu řešení, popis softwarového řešení zálohování a navrhovanou zálohovací politiku.
1. (I) Dodavatel musí v nabídce pro diskové úložiště řešení zálohování uvést:
1. výrobce, modelové označení a konfiguraci nabízených zařízení
2. počet, velikost, typ, rozhraní a rychlost disků
3. způsob zabezpečení datových oblastí – konfiguraci RAID nebo erasure codingu, včetně uvedení konkrétních číselných hodnot k+m, např. RAID6 8+2
4. počet spare disků nebo rezervní kapacitu a jejich rozmístění
5. způsob připojení diskového úložiště na zálohovací server/servery
### Síťová infrastruktura
1. HPCQC-AI cluster musí obsahovat veškerou síťovou infrastrukturu (aktivní prvky, moduly, kabeláž atd.) potřebnou pro realizaci superpočítače a pro připojení superpočítače do WAN sítě zadavatele a do storage sítě zadavatele.
#### LAN síť
1. LAN síť musí zajišťovat komunikaci mezi zařízeními uvnitř superpočítače a poskytovat připojení do WAN sítě zadavatele.
2. LAN síť musí obsahovat veřejné a privátní části sítě.
3. Veřejné části sítě (dále jen veřejné sítě), ve kterých budou použity veřejné IPv4 a IPv6 adresy, budou sloužit pro poskytování služeb dostupných z internetu (přístupové servery, některé infrastrukturní servery zadavatele).
4. Privátní části sítě (dále jen privátní sítě), ve kterých budou použity privátní IPv4 adresy, budou sloužit pro vnitřní služby a pro management zařízení.
1. Zařízením v privátních sítích musí být umožněn přístup do internetu přes NAT. NAT bude poskytován síťovým prvkem zadavatele umístěným ve WAN síti zadavatele.
2. Řešení sítě musí podporovat IPv6.
1. LAN síť musí být rozdělena do různých L3 sítí. Pro každou L3 síť musí být použita jiná L2 síť (VLAN nebo jiný aktivní prvek). Je nežádoucí používat jednu L2 síť pro více L3 sítí. Rozdělení sítí musí být zajišťovat zejména oddělení těchto provozů:
- služby dostupné z internetu
- datová komunikace mezi servery (služby)
- management síťových aktivních prvků
- management diskových polí a storage zařízení
- management serverů (BMC, IPMI apod.)
- management non-IT infrastruktury (napájení, chlazení apod.)
##### Připojení zařízení
1. Připojení Přístupových serverů a Infrastrukturních serverů do LAN sítě musí být redundantní.
1. Minimální rychlost připojení zařízení do LAN sítě:
Minimální rychlost připojení každého Přístupového serveru je 100 Gb/s.
Minimální rychlost připojení každé WAN Síťové brány je 100 Gb/s.
Minimální rychlost připojení každého Infrastrukturní serveru pro běh služeb dodavatele je 25Gb/s.
Minimální rychlost připojení každého Infrastrukturní serveru pro běh služeb zadavatele je 100Gb/s.
Minimální rychlost připojení každého Výpočetního serveru je 1 Gb/s.
1. Minimální rychlosti dle SPEC_169 musí být dosažitelné při přístupu z WAN sítě zadavatele.
Pro systémy uvedené v požadavku SPEC_168 musí být požadavek minimální rychlosti splněn i v případě výpadku jednoho libovolného aktivního síťového prvku.
1. Agregovaná rychlost připojení všech Přístupových serverů v LAN síti dosažitelná při přístupu z WAN sítě zadavatele musí být minimálně 200 Gb/s.
1. Agregovaná rychlost připojení všech Infrastrukturních serverů pro běh služeb zadavatele v LAN síti dosažitelná při přístupu z WAN sítě zadavatele musí být minimálně 200 Gb/s.
1. Agregovaná rychlost připojení všech Výpočetních serverů v LAN síti dosažitelná při přístupu z WAN sítě zadavatele musí být minimálně 25 Gb/s.
##### Hraniční prvky
1. Propojení LAN sítě HPCQC-AI clusteru s WAN sítí zadavatele musí být na straně HPCQC-AI clusteru řešena redundantními aktivními síťovými prvky (dále označovanými jako hraniční prvky, v obrázku označeno HP1, HP2). Hraniční prvky musí splňovat následující vlastnosti:
- duální napájení
- redundantní zapojení serverů pomocí multi-chassis ether channel
- propustnost propojení mezi hraničními prvky musí být minimálně 200Gb/s
- oddělené routovací instance pro privátní a veřejné sítě
1. Hraniční prvky musí umožňovat restrikce datového provozu pomocí access control listů (ACL). Hraniční prvky musí umožňovat konfigurace ACL pro každý port zařízení zvlášť. Každý hraniční prvek musí umožňovat konfiguraci ACL o minimálním počtu 2 tisíce vstupních a 2 tisíce výstupních pravidel.
1. V případě odděleného control-plane hraničních prvků, hraniční prvky musí umožňovat použití technologií HSRP nebo VRRP, kde keepalive komunikace probíhá po IP adresách z rozdílného subnetu (privátního) než je plovoucí IP adresa z veřejného IP rozsahu.
1. Hraniční prvky musí umožňovat autentizaci uživatelů protokolem RADIUS nebo TACACS+, definici různých rolí při správě sítě (operátor, administrátor atd.) a logování použitých příkazů.
1. Hraniční prvky musí umožňovat export i import konfigurace na/ze serveru pomocí protokolu TFTP, FTP, SCP nebo SFTP. Konfigurace musí být uložena ve tvaru, který umožňuje její editaci.
##### Aktivní síťové prvky
Požadavky uvedené v této kapitole jsou společné požadavky pro všechny aktivní síťové prvky včetně Hraničních prvků.
1. Aktivní síťové prvky musí být vzdáleně spravovatelné použitím zabezpečeného management rozhraní, s použitím silných šifer, silných klíčů a silných hashovacích algoritmů.
1. Aktivní síťové prvky musí poskytovat vzdálený přístup pomocí protokolu SSH2.
2. Aktivní síťové prvky musí podporovat standard 802.1Q (VLAN Tagging).
1. Aktivní síťové prvky musí umožňovat provoz VLAN v počtu minimálně 100, s možností číslování VLAN od 1 do 4094.
1. Aktivní síťové prvky musí podporovat protokoly IGMPv2 a IGMPv3.
1. Aktivní síťové prvky, které v řešení pracují na L3 vrstvě, musí podporovat IPv4 multicast routing a protokoly PIM Sparse Mode and PIM Source-Specific Multicast.
1. Aktivní síťové prvky musí umožňovat čtení údajů o stavu a vytížení portů protokoly SNMPv2 a SNMPv3. Musí umožňovat:
- možnost definice omezení přístupu do vybraných větví SNMP stromu pro specifikovanou komunitu
- zasílání SNMP trapů pro definované události
1. Ethernetová management rozhraní aktivních prvků sítě budou připojena do OOB sítě zadavatele realizovaného OOB switchem zadavatele. Propojení bude realizováno fyzickým propojem dodaného síťového prvku, kde budou fyzicky zapojena výše zmíněná management rozhraní. Takové propojení bude fungovat jako L2 trunk. Dodavatel může využít maximálně dvou portů OOB switche zadavatele. Dodavatel dodá potřebnou kabeláž a zajistí připojení.
Sériová management rozhraní hraničních prvků sítě budou připojena do OOB konzolového serveru zadavatele. Dodavatel zajistí kabeláž mezi patchpanelem zadavatele ve WAN racku a rackem s dodaným hardware.
Pro ethernetové i sériové propoje bude použit ethernetový kabel typu drát kategorie 5E nebo vyšší, s pláštěm LSOH.
1. (I) Dodavatel musí v nabídce uvést schéma LAN sítě, počty spojů a rychlosti spojů.
1. (I) Dodavatel musí v nabídce uvést specifikaci Hraničních prvků:
1. výrobce, modelové označení zařízení
2. počet zařízení
3. označení feature licencí
1. (I) Dodavatel musí v nabídce uvést specifikaci aktivních síťových prvků:
1. výrobce, modelové označení zařízení
2. počet zařízení
#### Adresace, jmenné služby
1. Správu veškerých adresních rozsahů, jmenných rozsahů, uživatelských účtů a skupin realizuje výhradně zadavatel.
1. Adresace IP sítí řešení úložiště musí být ve shodě s adresní politikou a adresním plánem zadavatele, použité adresní rozsahy (nejsou-li již definovány v jiné části zadávací dokumentace) budou stanoveny vždy v jednání se zadavatelem.
1. Zadavatel požaduje možnost ovlivnění konfigurace DNS služeb dodávaných dodavatelem a možnost integrace vlastních DNS služeb (pohledů).
1. Zařízení a systémy úložiště musí používat přesný čas. Pro synchronizaci času se budou používat NTP servery zadavatele v síti zadavatele.
#### Integrace do WAN sítě
1. Připojení do WAN sítě musí poskytovat konektivitu 4x100 Gb/s.
1. Připojení do WAN prvků zadavatele musí být redundantní. Výpadek či odstávka libovolného jednoho hraničního prvku WAN sítě zadavatele nesmí způsobit nedostupnost služeb superpočítače.
1. Každý Hraniční prvek HPCQC-AI clusteru musí být připojen na každý ze dvou hraničních prvků WAN sítě zadavatele pomocí jednoho spoje o rychlosti 100Gb/s. Pro připojení HPCQC-AI clusteru do WAN sítě zadavatele jsou ve dvou hraničních prvcích WAN sítě zadavatele (CISCO Nexus 9336C-FX2) vyhrazeny celkem čtyři porty QSFP28, po dvou v každém hraničním prvku. Součástí dodávky jsou moduly a optické kabely potřebné pro připojení Hraničních prvků HPCQC-AI clusteru do hraničních prvků WAN sítě zadavatele. Propojení musí využívat moduly kompatibilní s propojovanými zařízeními. Je požadováno natažení síťové kabeláže v podhledech datového sálu.
WAN síť zadavatele je popsána v kapitole WAN síť, kde jsou rovněž znázorněny kabelové trasy.
1. Propojení Hraničních prvků HPCQC-AI clusteru s hraničními prvky WAN sítě zadavatele bude realizováno přes Ethernet a privátní IPv4 adresy vyhrazené pro tyto účely zadavatelem.
1. (I) Dodavatel musí v nabídce uvést popis řešení integrace do WAN sítě.
##### WAN síťové brány
1. Jako součást integrace do WAN sítě zadavatele dodávka musí obsahovat minimálně dvě WAN Síťové brány. WAN Síťové brány propojují Výpočetní síť HPCQC-AI clusteru s WAN síti zadavatele prostřednictvím LAN sítě HPCQC-AI clusteru. Řešení WAN Síťových bran je určeno ke zpřístupnění internetu a služeb zadavatele provozovaných v jeho síti Výpočetním serverům HPCQC-AI clusteru.
1. Každá WAN Síťová brána musí splňovat následující požadavky:
- Fyzický server
- Architektura x86-64
- Operační systém Linux 64-bit
- Minimálně jeden procesor, celkem minimálně 32 CPU jader
- Paměť RAM minimálně 128GiB, DDR5 s ECC
- Paměť RAM musí být tvořena paměťovými moduly shodných parametrů
- Teoretická propustnost procesoru/procesorů do paměti RAM minimálně 160 GB/s (v nabízené konfiguraci serveru)
- Minimálně 2 lokální SSD disky o kapacitě minimálně 480 GB v RAID1
- Za provozu vyměnitelné (hot-swap) disky
- Redundantní, za provozu vyměnitelné (hot-swap) napájecí zdroje, redundantní napájení
1. Každá WAN Síťová brána musí být připojena:
- do Výpočetní sítě HPCQC-AI clusteru s celkovou, agregovanou rychlostí minimálně 100 Gb/s a
- do LAN sítě HPCQC-AI clusteru (do jejich hraničních prvků) s celkovou, agregovanou rychlostí minimálně 100 Gb/s.
1. Konektivita mezi Výpočetní sítí HPCQC-AI clusteru a WAN síti zadavatele musí být zajištěna i v případě výpadku či odstávky libovolné jedné WAN Síťové brány.
1. Součástí dodávky je implementace softwarového řešení WAN Síťových bran, řešení musí poskytovat NAT (Network Address Translation), v řešení bude použit software keepalived. Zadavatel může použít WAN Síťové brány rovněž pro běh dalších služeb.
1. (I) Dodavatel musí v nabídce uvést detailní konfiguraci WAN Síťových bran obsahující:
1. počet WAN Síťových bran
2. výrobce a modelové označení serveru
3. počet, výrobce a modelové označení procesorů
4. počet CPU jader a základní frekvenci procesoru
5. TDP procesoru
6. velikost operační paměti RAM
7. počet paměťových kanálů serveru – celkový a využitý
8. počet, velikost, typ, rychlost a vlastnosti (např. ECC) paměťových modulů
9. počet, výrobce a modelové označení adaptérů Výpočetní sítě
10. typ, rychlost a počet portů adaptéru Výpočetní sítě
11. počet adaptérů LAN sítě
12. typ, rychlost a počet portů adaptéru LAN sítě
13. počet, velikost, typ a vyměnitelnost za provozu disků, konfigurace RAID
14. počet, redundanci a vyměnitelnost za provozu napájecích zdrojů
15. název a verze operačního systému serveru
#### Integrace do storage sítě
1. Pro realizaci integrace do storage sítě zadavatele dodávka musí obsahovat minimálně dvě Storage Síťové brány. Storage Síťové brány propojují Výpočetní síť HPCQC-AI clusteru se storage sítí zadavatele, zajišťují konektivitu těchto dvou sítí, a tak síťově zpřístupňují serverům HPCQC-AI clusteru úložiště zadavatele připojená do storage síti zadavatele
1. Každá Storage Síťová brána musí splňovat následující požadavky:
- Fyzický server
- Architektura x86-64
- Operační systém Linux 64-bit
- Minimálně jeden procesor, celkem minimálně 16 CPU jader
- Paměť RAM minimálně 64GiB, DDR5 s ECC
- Paměť RAM musí být tvořena paměťovými moduly shodných parametrů
- Teoretická propustnost procesoru/procesorů do paměti RAM minimálně 160 GB/s (v nabízené konfiguraci serveru)
- Minimálně 2 lokální SSD disky o kapacitě minimálně 240 GB v RAID1
- Za provozu vyměnitelné (hot-swap) disky
- Redundantní, za provozu vyměnitelné (hot-swap) napájecí zdroje, redundantní napájení
1. Každá Storage Síťová brána musí být připojena do Výpočetní sítě HPCQC-AI clusteru s celkovou, agregovanou rychlostí minimálně 100Gb/s.
1. Každá Storage Síťová brána musí být připojena rychlostí 100Gb/s do právě jednoho hraničního prvku storage sítě zadavatele, a to bez použití break-out kabeláže a bez použití protokolu LACP, nebo podobného protokolu. Pro připojení HPCQC-AI clusteru do storage sítě zadavatele jsou ve dvou hraničních prvcích storage sítě zadavatele (CISCO Nexus 9336C-FX2) vyhrazeny celkem dva porty QSFP28, po jednom v každém hraničním prvku. Součástí dodávky jsou moduly a optické kabely potřebné pro připojení do hraničních prvků storage sítě zadavatele. Propojení musí využívat moduly kompatibilní s propojovanými zařízeními. Je požadováno natažení síťové kabeláže v podhledech datového sálu.
Storage síť zadavatele je popsána v kapitole 7.5 Storage síť.
1. Konektivita mezi Výpočetní sítí HPCQC-AI clusteru a storage sítí zadavatele musí být zajištěna i v případě výpadku či odstávky libovolné jedné Storage Síťové brány.
1. Součástí dodávky je implementace softwarového řešení Storage Síťových bran, v řešení bude použit software keepalived. Zadavatel může použít Storage Síťové brány rovněž pro běh dalších služeb.
1. (I) Dodavatel musí v nabídce uvést detailní konfiguraci Storage Síťových bran obsahující:
1. počet Storage Síťových bran
2. výrobce a modelové označení serveru
3. počet, výrobce a modelové označení procesorů
4. počet CPU jader a základní frekvenci procesoru
5. TDP procesoru
6. velikost operační paměti RAM
7. počet paměťových kanálů serveru – celkový a využitý
8. počet, velikost, typ, rychlost a vlastnosti (např. ECC) paměťových modulů
9. počet, výrobce a modelové označení adaptérů Výpočetní sítě
10. typ, rychlost a počet portů adaptéru Výpočetní sítě
11. počet adaptérů Storage sítě
12. typ, rychlost a počet portů adaptéru Storage sítě
13. počet adaptérů LAN sítě
14. typ, rychlost a počet portů adaptéru LAN sítě
15. počet, velikost, typ a vyměnitelnost za provozu disků, konfigurace RAID
16. počet, redundanci a vyměnitelnost za provozu napájecích zdrojů
17. název a verze operačního systému serveru
### Obecné technické požadavky
1. Paměti RAM všech serverů a řadičů diskových polí musí používat mechanismus detekce a opravy chyby – Error-correcting code memory (paměť ECC).
1. Běžný provoz a dostupnost deklarovaných kapacit zařízení nesmí vyžadovat zásah obsluhy.
1. Všechna zařízení a systémy musí být spravovatelné vzdáleně.
1. Servery musí mít vzdálený síťový management nezávislý na provozu operačního systému serveru poskytující ovládání napájení, reset, grafickou konzoli a připojení virtuálních médií.
1. Požaduje-li se podpora protokolu SSH, SCP a/nebo SFTP musí být podporována verze 2 protokolu a je požadováno použití silných šifer, silných klíčů a silných hashovacích algoritmů.
1. Všechna zařízení HPCQC-AI clusteru musí být fyzicky označena jednoznačnou identifikací, která musí být na zařízeních snadno dostupná a čitelná, a vhodným způsobem evidována.
### Software
1. Součástí HPCQC-AI clusteru musí být komplexní softwarové řešení provozu a správy HPCQC-AI clusteru. Pro veškeré softwarové vybavení musí být zajištěna možnost bezplatného používání po neomezenou dobu.
#### OS a aplikace
1. Všechny servery musí používat operační systém Red Hat Enterprise Linux nebo Rocky Linux, verze 9 nebo novější. Servery určené výhradně na řešení Zálohování mohou používat operační systém Microsoft Windows Server verze 2022 nebo novější.
1. Všechny Výpočetní a Přístupové servery musí používat stejnou distribuci a stejnou verzi operačního systému.
2. Licence operačního systému musí pokrývat všechny dodávané servery.
1. Dodané operační systémy a softwarové vybavení musí mít dobrou dostupnost aktualizací, zejména těch, které jsou určeny ke zvýšení bezpečnosti, spolehlivosti, odstranění funkčních či výkonových nedostatků.
1. Součástí dodávky je poskytování a provádění aktualizací softwarového vybavení, podmínky jsou uvedeny ve smlouvě.
2. Dodávka musí obsahovat softwarové vybavení potřebné pro provedení akceptačních testů a pro možnost opakování těchto testů v záruční době (s výjimkou software poskytnutého zadavatelem). Zadavatel poskytne kompilátory a MPI/MKL knihovny Intel v poslední dostupné stabilní verzi pro variantu Výpočetních a Přístupových serverů na platformě x86-64. Dodavatel poskytne kompilátory, knihovny pro MPI a knihovny pro akceleraci matematických operací (především BLAS) optimalizované a vhodné pro variantu Výpočetních a Přístupových serverů s CPU na platformě ARM64.
1. Komplexní správu uživatelského aplikačního vybavení (tj. software pro výpočty), jeho získání, sestavení, instalaci, konfiguraci a nastavení bude zajišťovat zadavatel.
1. Dodávka musí obsahovat softwarové řešení pro simulaci kvantových výpočtů (quantum computing simulator) akcelerované pomocí dodávaných GPU. V případě licencovaného softwarového řešení musí licence pokrývat všechny Výpočetní a Přístupové servery.
1. (I) Dodavatel musí v nabídce uvést
1. technický popis navrhovaného softwarového řešení/stacku
2. názvy a počet licencí navrhovaného software
3. popis softwarové řešení pro simulaci kvantových výpočtů
#### Prostředí
1. HPCQC-AI cluster musí poskytovat koncovým uživatelům transparentní, jednotné, sdílené uživatelské prostředí.
1. HPCQC-AI cluster musí poskytovat koncovým uživatelům v maximální míře shodné prostředí na všech uživatelsky dostupných serverech – tj. na Přístupových serverech a Výpočetních serverech.
Uživatelské prostředí na serverech stejného typu musí být shodné.
Uživatelské prostředí serverů různých typů musí být v maximální účelné míře shodné, rozdíly vyplývají pouze z rozdílů povahy a služeb serverů.
Servery musí poskytovat en_US a C locale.
1. Přístupové servery musí uživatelům poskytovat koncovým uživatelům řádkové (command-line) rozhraní a grafické rozhraní.
#### Uživatelské účty
1. HPCQC-AI cluster musí poskytovat koncovým uživatelům jednotný účet a jednotnou autentizaci. Účet koncového uživatele musí být dostupný a shodný na všech Přístupových a Výpočetních serverech.
1. Realizace uživatelských účtů musí používat technologie LDAP a SSSD. Účty uživatelů budou uloženy a spravovány v LDAP databázi. Pro realizaci uživatelských účtů a skupin budou použita LDAP schémata posixAccount a posixGroup. Správa uživatelských účtů a skupin bude realizována zabezpečeným protokolem LDAP (LDAP STARTTLS, nebo LDAPS).
Správu uživatelských účtů a skupin bude realizovat výhradně zadavatel. Zadavatel provádí centralizovanou správu všech uživatelů centra IT4Innovations, informace o uživatelích a skupinách HPCQC-AI clusteru budou zadavatelem synchronizovány z centrální repository zadavatele do LDAP databáze HPCQC-AI clusteru. Správu domovských adresářů uživatelů bude rovněž realizovat výhradně zadavatel.
LDAP služba musí být realizována dvojicí LDAP serverů s replikovanou databází. LDAP služba bude realizována dodavatelem na vhodných Infrastrukturních serverech, které nemusí být vyhrazeny pouze pro běh této služby. Přístup k LDAP záznamům bude zabezpečen pomocí specifických servisních účtů, autentizace a ACL. Pro řešení služby LDAP zadavatel preferuje software OpenLDAP.
Na serverech poskytujících uživatelské účty bude použita služba SSSD využívající LDAP službu zabezpečeným LDAP protokolem. Na Přístupových serverech bude použita SSSD LDAP enumerace.
Zadavatel pro uživatelské účty využívá uid a gid čísla z rozsahu \<10 000, 50 000\>. Dodavatel nesmí na serverech použít uid a gid z uvedeného rozsahu.
1. Realizace jednotné autentizace uživatelů bude používat SSH klíče. SSH klíče budou spravovány zadavatelem nebo uživatelem a budou uloženy v LDAP databázi nebo v domovském adresáři uživatele. Služba SSH musí umožňovat ověřování autorizovaných SSH klíčů uživatele proti LDAP záznamu uživatelského účtu a použití SSH certifikátů, předpokládaná realizace je konfigurací vlastností sshd a sssd. Pro autentizaci se nepředpokládá použití hesel. Zadavatel si upraví konfiguraci služby SSH dle svých potřeb.
#### Plánovač
1. HPCQC-AI cluster musí poskytovat jednotný přístup k výpočetním zdrojům. HPCQC-AI cluster musí pro přístup k výpočetním zdrojům, pro vykonávání výpočetních úloh na Výpočetních serverech používat pokročilý plánovač úloh a manažer zdrojů (dále jen Plánovač).
1. Jako Plánovač HPCQC-AI clusteru bude použit Slurm <https://slurm.schedmd.com/> aktuální verze, ve standardním provedení.
1. Serverová část Plánovače musí být provozována na (vybraných) Infrastrukturních serverech. V případě virtuálních serverů servery musí být vyhrazené pro běh této služby, v případě fyzických serverů servery nemusí být vyhrazeny pouze pro běh této služby. Pro data Slurmu (informace o úlohách a Slurm accounting databáze) bude použit lokální SSD nebo NVME disk Infrastrukturního serveru (vyhrazená kapacita 100 GB).
1. Dodavatel zajistí prvotní, základní instalaci a konfiguraci Plánovače, tak aby předvedl základní funkčnost clusteru a provedl akceptační testy. Není požadována HA konfigurace plánovače. Zadavatel si poté řešení Plánovače komplexně upraví a bude spravovat, upravovat a provozovat dle svých představ a potřeb. Podpora na Slurm není požadována.
#### Správa
1. HPCQC-AI cluster musí obsahovat nástroje a řešení pro správu (management) všech systémů a služeb, které jsou součástí dodávky.
1. HPCQC-AI cluster musí obsahovat vzdálenou správu a monitoring všech hardwarových zařízení (servery, disková pole, switche atd.) poskytující zejména konfiguraci a ovládání zařízení, detekci závažných stavů a událostí a jejich oznamování prostřednictvím SMTP (email) nebo SNMP.
2. HPCQC-AI cluster musí poskytovat vzdálené ovládání napájení a reset serverů bez závislosti na operačním systému ovládaného serveru (předpokládáme použití protokolu IPMI).
Funkcionalita musí být realizovatelná command-line nástrojem.
Funkcionalita musí být dostupná na vybraných Infrastrukturních serverech (určených pro správu).
1. HPCQC-AI cluster musí poskytovat zobrazení a ovládání systémových konzolí serverů po síti v terminálovém režimu bez závislosti na operačním systému ovládaného serveru (předpokládáme použití protokolu IPMI).
Funkcionalita musí být realizovatelná command-line nástrojem.
Funkcionalita musí být dostupná na vybraných Infrastrukturních serverech (určených pro správu).
1. HPCQC-AI cluster musí poskytovat efektivní centralizovanou vzdálenou správu operačních systémů serverů, a to jak jednotlivě (jeden server) tak hromadně (po skupinách serverů nebo všechny servery). Systém musí poskytovat zejména vzdálené vykonávání příkazů, přenos, modifikaci a odstraňování souborů, porovnávání výstupu příkazů a návratových hodnot příkazů. Systém musí umožňovat paralelní provádění akcí. Vzdálená správa musí efektivně pracovat i v případech, kdy některé spravované servery nekomunikují nebo nepracují korektně, musí identifikovat chyby prováděných akcí a oznamovat je.
Dodavatel zajistí vhodné pojmenování serverů a definici skupin serverů pro efektivní používání centralizované vzdálené správy.
Funkcionalita musí být realizovatelná command-line nástrojem.
Funkcionalita musí být dostupná na vybraných Infrastrukturních serverech (určených pro správu).
Pro řešení bude použit software ClusterShell <https://github.com/cea-hpc/clustershell>.
1. Funkcionalita popsaná v SPEC_240 až SPEC_242 musí být komplexně (a současně) dostupná na minimálně jednom Infrastrukturním serveru (určeném pro správu).
#### Vzdálená instalace a bootování
1. HPCQC-AI cluster musí poskytovat efektivní vzdálenou instalaci serverů a bootování serverů po síti z centrálního úložiště obrazů. Řešení musí umožňovat instalaci/bootování jednoho serveru, tak hromadnou instalaci/bootování více serverů současně (paralelně). Řešení musí poskytovat správu (instalačních a bootovacích) obrazů (image) serverů – zejména vytváření, modifikaci a odstraňování obrazů. Serverová část řešení musí být provozována na (vybraných) Infrastrukturních serverech, které nemusí být vyhrazeny pouze pro běh této služby.
1. Řešení vzdálené instalace a bootování serverů dle SPEC_244 musí být použito pro bootování Výpočetních serverů a pro instalaci Přístupových serverů. Pro servery shodného typu se použije shodný instalační obraz.
1. Centrální úložiště obrazů serverů dle SPEC_244 musí pojmout obrazy o celkové velikosti minimálně 1TB.
Centrální úložiště obrazů může být realizováno na Úložišti infrastruktury.
1. Servery využívající bootování po síti musí po nastartování běžet z operační paměti, nesmí používat pro provoz operačního systému úložiště poskytované jiným serverem (tj. pro běh operačního systému se nesmí použít např. NFS share).
1. Realizace serverů dle SPEC_245 musí probíhat ve dvou fázích:
1. Instalace, resp. bootování serveru z centrálního úložiště obrazů za využití vybraného obrazu pro daný typ serveru. Obraz serveru obsahuje zejména aplikační balíky (package) potřebné pro chod serveru. Součástí obrazu je jen minimální konfigurace (zejména konfigurace sítě) tak, aby bylo možno realizovat následující fázi.
2. Konfigurace systému serveru aplikací Ansible předpisů. Konfigurace systému bude popsána pomocí Ansible předpisů, které se budou aplikovat po instalaci (resp. bootu) operačního systému a dále dle potřeby. Ansible předpisy budou rozděleny do dvou skupin:
Ansible předpisy dodavatele – komplexní konfigurace serveru tak, aby byl zajištěn správný a efektivní chod serveru a naplnění požadavků zadavatele. Vytvoření a údržbu těchto předpisů zajišťuje dodavatel.
Ansible předpisy zadavatele – úprava konfigurace, nastavení prostředí a služeb zadavatele. Vytvoření a údržbu těchto předpisů zajišťuje zadavatel.
Na servery budou aplikovány aktuální verze Ansible předpisů, Ansible předpisy nejsou obsaženy v obrazech serverů. Ansible předpisy budou organizovány v GIT repozitáři.
#### Monitoring
1. HPCQC-AI cluster musí obsahovat monitoring dostupnosti komponent a služeb systému. Monitoring musí poskytovat informace o dostupnosti a stavu relevantních služeb všech dodávaných serverů (včetně výpočetních serverů), úložišť atd.
Pro řešení bude použit software Icinga2 provozovaný na vybraném Infrastrukturním serveru, který nemusí být vyhrazen pouze pro běh této služby.
Instalaci a konfiguraci Icinga2 zajistí dodavatel. Zadavatel doplní řešení sadou svých testů a začlení Icinga2 instanci do svého Icinga2 clusteru.
#### Logování
1. Systémy HPCQC-AI clusteru musí zaznamenávat a centralizovaně uchovávat záznamy o aktivitách, činnostech, změnách stavu, událostech apod. (logování). Záznamy musí obsahovat časové razítko, identifikaci systému, služby, uživatele a popis události. Řešení musí poskytovat efektivní prohledávání velkého množství záznamů.
Záznamy (logy) musí být uchovávány po dobu minimálně 3 měsíců.
Řešení logování musí poskytovat kapacitu pro sbíraná data o celkové velikosti minimálně 1TB.
Řešení logování musí být provozováno na (vybraných) Infrastrukturních serverech, které nemusí být vyhrazeny pouze pro běh této služby.
#### Mail
1. HPCQC-AI cluster musí veškerou mailovou komunikaci realizovat výhradně prostřednictvím SMTP serverů zadavatele.
Zadavatel poskytne SMTP servery.
#### Bezpečnost
IT4Innovations národní superpočítačové centrum je držitelem certifikátů systému managementu bezpečnosti informací podle normy ISO 27001 (ISO/IEC 27001:2013, ČSN ISO/IEC 27001:2014). Implementace HPCQC-AI clusteru bude realizována v souladu s vnitřními předpisy zadavatele.
1. HPCQC-AI cluster musí poskytovat přístup a služby pouze oprávněným uživatelům a systémům. Systém nesmí umožnit či poskytovat přístup a služby neoprávněným uživatelům a systémům. Systém musí být zabezpečen proti úniku dat, proti zneužití služeb, proti kompromitaci služeb a systémů.
1. Systémy a služby musí používat bezpečná, silná hesla, bezpečné klíče, bezpečné šifrování a protokoly. Je nepřípustné použití výchozích (default) hesel a klíčů a slabých hesel. Je nepřípustné používat stejné autentizační údaje pro různé účty či služby.
2. Řešení HPCQC-AI clusteru musí poskytovat nastavení různých úrovní oprávnění uživatelů, tak aby byl poskytován přístup jen k nezbytným službám a datům. Systém musí zejména rozlišovat koncové uživatele, kteří využívají poskytované služby a mají přístup k některým (zejména vlastním) datům, a uživatele správy systému, kteří dohlížejí a spravují celý systém.
1. Služby, které nejsou pro provoz řešení a zajištění funkcionality potřeba, nebudou na serverech spouštěny/provozovány, nejlépe ani instalovány.
2. HPCQC-AI cluster nesmí bez souhlasu zadavatele komunikovat s jinými systémy.
### Integrace do datového centra zadavatele
1. Dodavatel je povinen realizovat a zprovoznit HPCQC-AI cluster v infrastruktuře zadavatele – v datovém centru IT4Innovations (tzv. integrace do datového centra zadavatele).
1. Integrací do datového centra zadavatele se rozumí veškeré dodávky a činnosti, jejichž výsledkem bude zprovoznění HPCQC-AI clusteru v prostorách a infrastruktuře datového centra IT4Innovations.
1. Integrace systémů do datového centra zadavatele musí být provedena dle platné legislativy a předpisů a dle požadavků a doporučení výrobců jednotlivých systémů. Pro instalované systémy musí být provedeny revize požadované legislativou a předpisy.
1. Dodavatel je povinen respektovat infrastrukturu zadavatele. Infrastruktura zadavatele je popsána v kapitole 8 Infrastruktura zadavatele.
Nabídka nesmí používat či předpokládat parametry infrastruktury datového centra, které se liší od těch, které zadavatel specifikoval v zadávací dokumentaci.
1. Rozšíření infrastruktury zadavatele, která jsou nezbytná pro realizaci zakázky, musí být součástí dodávky. Jedná se zejména, nikoli však výlučně, o napojení na chladicí okruhy, na elektrické napájecí větve, úpravy podlahy a osazení stropních prostupů určenými průchodkami.
1. Dodavatel nesmí měnit provozní parametry datového centra zadavatele. Nabídka nesmí předpokládat parametry datového centra zadavatele, které jsou odlišné od parametrů specifikovaných v zadávací dokumentaci.
1. Veškeré dodávky a činnosti řešení integrace do datového centra zadavatele musí být projednány se zadavatelem a zadavatelem schváleny. Veškeré použití a případné úpravy zařízení či technologií datového centra zadavatele (potřebné pro realizaci integrace do datového centra zadavatele) musí být projednány se zadavatelem, zadavatelem schváleny a provedeny na náklady dodavatele v součinnosti se smluvní společností zadavatele poskytující servis datového centra. Zadavatel si vyhrazuje právo na změnu, úpravu technických návrhů integrace (vedení tras, přípojná místa, použité materiály apod.) s ohledem na provozní podmínky a best-practices provozu datového centra.
#### Umístění
1. Umístění zařízení musí respektovat dispozice prostor datového centra zadavatele. Zadavatel explicitně upozorňuje na přítomnost sloupů v prostoru datového sálu.
1. Všechna dodávaná ICT zařízení musí být určena pro instalaci do racku a musí být nainstalována do racků, nebo musí jít o zařízení, jejichž konstrukce má charakter racku.
1. Zařízení musí být umístěna do racků dodaných dodavatelem.
1. Součástí dodávky je připojení racků potřebných pro realizaci řešení na infrastrukturu zadavatele.
1. Dodavatel zajistí veškerou údržbu a servis dodaných racků po sjednanou záruční dobu.
1. Dodávaná zařízení budou umístěna ve vymezeném prostoru vyznačeném na následujícím obrázku červenou linií. Předpokládané/ilustrační umístění racků je vyznačeno modrošedou barvou a popisy „HPCQC-AI“. Umístění může být předmětem změny ze strany zadavatele, nebo po dohodě se zadavatelem.

Obrázek 2 Předpokládané umístění HPCQC-AI clusteru
1. Vzdálenost racků od překážek (zdí, sloupů, řad dalších racků) a způsob instalace zařízení v racích musí umožňovat bezproblémový návoz, instalaci, výměnu a následný servis všech zařízení.
1. Umístění a připojení veškerého instalovaného zařízení dodaného řešení nesmí omezit možnosti servisních a revizních zásahů na elektroinstalaci, chladicích rozvodech, vzduchotechnice a bezpečnostních systémech (čidla apod.).
1. Postavení racků na podlaze datového sálu musí být stabilní a bezpečné, hmotnost racků musí být vhodně rozložena. Musí být respektována konstrukce a únosnost podlahy (25 kN/m^2^). V případě, že by rack působil zátěž bodově nebo na malou plochu, musí být použit roznášecí rám. Úpravy podlahových dlaždic (prostupy do prostoru zdvojené podlahy) musí být provedeny způsobem, kterým nedojde ke snížení únosnosti podlahy. Úpravy podlahových dlaždic musí být provedeny na náklady dodavatele, se souhlasem zadavatele a v součinnosti se smluvní společností zadavatele poskytující servis datového centra.
1. Provedení veškeré kabeláže uvnitř i vně racků musí zajišťovat spolehlivé připojení, umožňovat manipulaci se zařízeními (např. při servisu zařízení) a bránit poškození kabelů při manipulaci. Prostupy do podvěšeného kovového podhledu datového sálu musí být osazeny průchodkami [Panduit RFG10X8Y](https://www.panduit.com/emea/en/products/cabinets-thermal-management-racks-enclosures/thermal-management-containment/air-sealing-accessories/p205083.html?pn=RFG10X8SMY), které jsou aktuálně použity na datovém sálu, nebo, po předchozím schválení ze strany zadavatele, kabelovými průchodkami s textilním neprodyšným návlekem s obdobnými funkčními, rozměrovými a materiálovými vlastnostmi. Dodavatel je povinen zajistit osazení průchodkami včetně vyřezání otvoru do kovové stropnice. Kabeláž do storage sítě a do WAN racku bude vedena kabelovými žlaby.
1. Veškeré kabeláže uvnitř i vně racku musí být jednoznačně identifikovatelné, tzn. opatřeny štítky s údaji odkud a kam kabeláž vede. U kabeláže vně racku zadavatel dále požaduje označení kabeláže tak, aby bylo zřejmé, ke kterému systému kabeláž náleží.
1. Zařízení umístěná v racku musí být orientována tak, aby všechna nasávala vzduch na stejné straně racku.
1. (I) Dodavatel musí v nabídce uvést schéma navrhovaného umístění zařízení HPCQC-AI clusteru v datovém sálu datového centra zadavatele.
#### Napájení
1. Řešení napájení a provoz HPCQC-AI clusteru musí respektovat omezení zadavatele, zejména parametry napájecích okruhů.
1. Pro napájení HPCQC-AI clusteru jsou k dispozici nezávislé napájecí větve A a B datového centra.
1. Výpadek či odstávka napájecího okruhu nebo napájecí větve nesmí způsobit poškození žádného zařízení a nesmí způsobit ohrožení zdraví osob či majetku.
1. Výpadek či odstávka libovolného jednoho napájecího okruhu nebo napájecí větve nesmí způsobit:
- nedostupnost či výpadek služeb superpočítače s výjimkou služeb Výpočetních serverů
- nedostupnost více než 67 % Akcelerovaných výpočetních serverů
Po obnovení napájení napájecího okruhu nebo napájecí větve musí být automaticky zajištěna redundance napájení všech zařízení.
1. Pro řešení redundance napájení zařízení nesmí být použity ATS switche.
1. Systémy HPCQC-AI clusteru musí rovnoměrně zatěžovat napájecí větve a jednotlivé fáze elektrického napájení.
1. Dodavatel je povinen na své náklady zajistit implementaci měření spotřeb racků do monitorovacích systémů zadavatele.
1. Pro distribuci napájení zadavatel využívá rozvaděče označované jako PDB (power distribution box). Pro instalaci systému je dodavatel povinen dodat kompatibilní PDB s odpovídajícím jištěním v počtu odpovídajícímu požadavkům dodávaného systému.
1. Technické parametry dodávaných PDB musí dodavatel konzultovat se smluvní společností zadavatele poskytující servis datového centra. Jedná se zejména o typ a rozměry skříně, stanovení počtu přípojných bodů v závislosti na požadovaném jištění, návrh vnitřního vystrojení včetně částí pro vzdálený monitoring, integraci do stávajícího systému Měření a regulace (MaR) zadavatele, návrh a zajištění instalace systému měření parametrů napájení.
1. Pro měření parametrů napájení využívá zadavatel systém Socomec Digiware. Dodavatel musí v rámci realizace jím nabízeného řešení zajistit plnou kompatibilitu se stávajícím systémem zadavatele. Na základě zmapování trhu doporučuje zadavatel použit systém Socomec Digiware i pro řešení dodavatele, a to zejména ve snaze předejít dodatečným nákladům na straně dodavatele. Obecně však zadavatel připouští využití jakéhokoli řešení zajišťujícího plnou kompatibilitu se stávajícím systémem zadavatele.
Množství modulů použitých v PDB a jejich typy jsou závislé na konkrétním vystrojení PDB a aktuální nabídce výrobce. Na sběrnici RS485 bude jako komunikační protokol MODBUS RTU.
Příklady instalovaných modulů jsou:
- komunikační modul C31,
- napěťový modul U30,
- modul měření 3f proudu S135 adresovatelný jako tzv. MODBUS adresa.
V případě použití nových typů modulů musí být zajištěn původní nebo větší rozsah měřených veličin a parametrů modulů uvedených v příkladu.
1. V případě nutnosti dělení napájení z 3f připojení na 1f vedení je nutné použití splitter boxů. Zadavatel pro realizaci řešení vyčlenil až 8 ks splitter boxů s jištěním 32 A. Náklady za provedení revizí zadavatelem poskytnutých splitter boxů před jejich uvedením do provozu nese dodavatel. Případné nové splitter boxy musí mít jištění každé fáze a musí být parametrově shodné s typem výrobku GEIST SB-3P32A-SP32A.
1. Zadavatel pro realizaci řešení vyčlenil 4 ks PDB s jištěním 32 A a šesti třífázovými přípojnými body opatřenými koncovkami PKY32G435. Zadavatel pro realizaci řešení vyčlenil i až 2 ks PDB s jištěním 63 A a čtyřmi třífázovými přípojnými body opatřenými koncovkami Schneider 81683. Dodavatel může tyto PDB využít pro realizaci jím nabízeného řešení a zohlednit využití PDB boxů ve své nabídce. Veškeré náklady spojené s přesunem a přeadresací jakýchkoli PDB boxů zadavatele vyvolaných instalací systému HPCQC-AI do nových pozic, např. z důvodu kolize s vedením rozvodů chlazení či napájení, a s provedením revizí před jejich uvedením do provozu nese dodavatel.
1. Řešení musí počítat s maximálním provozním příkonem všech dodaných zařízení.
1. HPCQC-AI cluster musí umožňovat vypnutí celého systému. HPCQC-AI cluster musí umožnit korektní vypnutí celého systému nejdéle za 30 minut.
1. (I) Dodavatel musí v nabídce uvést energetickou kalkulaci. Energetická kalkulace musí obsahovat:
1. maximální elektrický příkon celého řešení
2. elektrický příkon pro každý osazený rack či samostatně umístěné zařízení
1. (I) Dodavatel je povinen v nabídce předložit schéma elektrického napojení HPCQC-AI clusteru na napájecí infrastrukturu datového centra včetně specifikace relevantních technických parametrů všech relevantních napájecích prvků. Schéma musí jednoznačně znázorňovat:
1. vedení napájecí kabeláže od jednotlivých racků řešení k příslušným PDB,
2. předpokládané obsazení zásuvek na jednotlivých PDB,
3. umístění a zapojení splitter boxů a přípojných krabic, jsou-li součástí řešení,
4. napojení jednotlivých PDB na napájecí větve A a B datového centra.
Všechny prvky uvedené ve schématu, včetně napájecí kabeláže, PDB a případných splitter boxů a přípojných krabic, musí být jednoznačně identifikovány a opatřeny základními technickými parametry. U napájecí kabeláže musí být uvedeno minimálně jištění a počet fází. U PDB musí být uvedeno minimálně jištění, počet fází a počet zásuvek. Označení prvků musí být provedeno ve formátu umožňujícím jejich jednoznačnou identifikaci, například pro PDB **– PDB 6×32 A/3f**, pro kabeláž **– 32 A/3f,** pro přípojnou krabici nebo splitter box je dostačující označení prvku názvem**.**
#### Chlazení
1. Řešení chlazení a provoz HPCQC-AI clusteru musí respektovat omezení zadavatele, zejména parametry chladicích okruhů datového centra a limity prostoru pod zdvojenou podlahou.
1. Řešení musí zajistit dostatečné chlazení všech dodaných zařízení.
1. Veškeré systémem generované teplo musí být odvedeno do kapalinových chladicích okruhů datového centra. Chlazení HPCQC-AI clusteru musí jako zdroj chladu používat výhradně dostupných chladicích kapalinových okruhů studené a teplé vody, tyto jsou považovány za primární. Vnitřní chladicí okruhy zařízení dodavatele (např. CDU) jsou považovány za sekundární.
Požadavek je mandatorní pro všechna zařízení dodaná v rámci veřejné zakázky. Zadavatel předpokládá, že pro chlazení zařízení, která nepodporují přímé chlazení do kapaliny (DLC) - jako jsou síťové prvky a datová uložiště atp., uvedená v dotazu, bude využito chlazení na úrovni racku například použitím vodou chlazených zadních dveří racků, či racků vybavených tepelným výměníkem (či výměníky) vzduch-voda. V těchto případech se předpokládá odvedení tepla do okruhů se studenou vodou.
1. Teplo emitované zařízeními HPCQC-AI clusteru do prostoru vně racků (týká se zejména zařízení chlazených pomocí okruhů teplé vody) musí být dochlazeno/kompenzováno pomocí chlazení napojeného na chladicí okruhy studené vody.
1. Řešení nesmí pracovat s tepelnou kapacitou vzduchu datového sálu anebo s předpoklady proudění vzduchu v datovém sálu, zejména mimo prostor použitý pro umístění HPCQC-AI clusteru. Provoz HPCQC-AI clusteru nesmí způsobovat lokální oblasti vysoké teploty, anebo proudění horkého vzduchu datového sálu mimo uzavřené prostory zařízení HPCQC-AI clusteru.
1. Řešení HPCQC-AI clusteru musí poskytovat dlouhodobý provoz pod plnou zátěží při vstupní teplotě primárních chladících okruhů teplé vody (okruhů chlazení datového centra zadavatele) 38°C.
1. Výpočetní servery musí používat přímé kapalinové chlazení (Direct Liquid Cooling – DLC). Pomocí DLC musí být chlazeny zejména tyto komponenty Výpočetních serverů: CPU, GPU a síťové adaptéry Výpočetní sítě. DLC chlazení musí využívat chladicí okruhy teplé vody.
1. Výpadek či odstávka chladicího okruhu nesmí způsobit poškození žádného zařízení a nesmí způsobit ohrožení zdraví osob či majetku. V případě rizika překročení maximální provozní teploty zařízení či komponent zařízení (např. při výpadku chladicího okruhu) musí automaticky a včas proběhnout odstávka postižených zařízení tak, aby nedošlo k přehřátí nebo poškození zařízení či komponent.
Výpadek či odstávka libovolného jednoho chladicího okruhu nesmí způsobit nedostupnost či výpadek služeb superpočítače s výjimkou služeb Výpočetních serverů. Rozložení zátěže na chladicí okruhy musí být koncipováno tak, aby byly obsahově naplněny požadavky SPEC 302 až 304.
1. Připojení HPCQC-AI clusteru k primárním chladicím okruhům studené vody musí umožňovat samostatné vzdáleně řízené přepínání mezi dvěma primárními chladicími okruhy. Pro vyloučení pochybností – takové připojení lze použít pro chlazení více zařízení/racků.
Přepínání okruhů nesmí způsobit nedostupnost či výpadek služeb či poškození žádného zařízení. Přepínání okruhů nesmí způsobit nežádoucí propojení primárních okruhů. Přepnutí mezi chladicími okruhy musí proběhnout v čase kratším než 3 minuty.
Vzdáleně řízené přepínání chladicích okruhů musí být integrováno do systému Měření a regulace (MaR) zadavatele. Integraci provede dodavatel, na náklady dodavatele, ve spolupráci se zadavatelem. Řešení musí být kompatibilní s technologií MP-Bus, musí poskytovat rozhraní MP-Bus a fungovat jako zařízení MP-Bus Slave řízené MaR MP-Bus Masterem.
1. Připojení HPCQC-AI clusteru k primárním chladicím okruhům teplé vody musí umožňovat manuální přepínání mezi dvěma primárními chladicími okruhy. Pro vyloučení pochybností – takové připojení lze použít pro chlazení více zařízení/racků. Použité ventily pro manuální přepínání musí umožnit dodatečnou případnou instalaci vzdáleně řízených servopohonů. Tato možnost přepínání nesmí být uvažována pro standardní provoz.
Standardním provozem je myšlen rutinní každodenní provoz zařízení. Přepínání nebude používáno pro tento typ provozu, ale pro provádění servisních zásahů, nucených odstávek chladicích okruhů nebo při řešení havarijních situací, kdy možnost manuálního přepínání vyloučí nebo minimalizuje nutnost odstavení zařízení z provozu. V rámci standardního provozu však k přepínání nebude docházet.
1. Úpravy rozdělovačů chlazení datového centra a připojení na rozdělovače chlazení datového centra musí být provedeny v součinnosti se smluvní společností zadavatele poskytující servis datového centra, a to na náklady dodavatele.
1. Dodavatel se zavazuje doplnit zadavateli množství chladicí směsi vyplývající z objemových potřeb dodaných zařízení, nově instalovaných rozvodů a úniků spojených s instalací řešení. Základem chladící směsi je mrazuvzdorné médium [DECOTHERM P EKO](https://ancfod.cz/data/pdf/produkty/TL-Decotherm-P-ANCFOD.pdf) ředěné demineralizovanou vodou v poměru 1:2 tak, aby konečná hodnota %OBJ byla 33,3 a hodnota bodu tuhnutí -18 °C. Konkrétní parametry chladící směsi pro %OBJ a bodu tuhnutí budou upřesněny na základě průběhu aktuálně probíhající akce „Modernizace infrastruktury“ na straně Zadavatele.
1. (I) Dodavatel musí v nabídce uvést řešení chlazení dodávaných technologických celků a způsob chlazení položek uvedených v energetické kalkulaci dle SPEC_291, včetně uvedení, jaká část příkonu (potažmo generovaného tepla) je chlazena teplou vodou a jaká studenou vodou. Dodavatel musí v nabídce uvést komponenty Výpočetních serverů, které používají přímé kapalinové chlazení (DLC).
1. (I) Dodavatel musí v nabídce uvést schéma napojení HPCQC-AI clusteru na chladicí okruhy datového centra, včetně specifikace relevantních technických parametrů. Schéma musí jednoznačně znázorňovat:
1. vedení chladicích tras od jednotlivých racků nabízeného řešení a jejich napojení na teplovodní a studenovodní chladicí okruhy datového centra,
2. všechny prvky uvedené ve schématu (včetně připojovacích hadic), které musí být jednoznačně identifikovány a opatřeny základními technickými a rozměrovými parametry (např. připojovací hadice 4“ /102 mm).
#### Transport
1. Při transportu a instalaci zařízení musí být respektována prostorová transportní omezení budovy a možných transportních tras.
Návoz technologií do budovy IT4Innovations je možný ze severovýchodní strany objektu, kde je k tomuto účelu připravena rampa. Rampa je široká 2850 mm a vysoká 1030 mm. Pro transport je výhodné použití nákladních aut s hydraulickým čelem. Z prostoru rampy je vstup do budovy, resp. místnosti č. 218. Vstupními dveřmi vedoucími do místnosti č. 218 je možné transportovat předměty o rozměrech 2410x1540 mm (výška x šířka). Místnost č. 218 o rozměrech 5,3 x 5,6m je možné použít pro sejmutí transportních obalů či jako malý mezisklad v době transportu. Z místnosti č. 218 vede přístupová chodba (místnost č. 219) k datovému sálu. Mezi místností č. 218 a místností č. 219 jsou dveře, jimiž je možné transportovat předměty o rozměrech 2340x1600 mm (výška x šířka). Část této chodby, konkrétně v délce 8,5m, je v provedení šikminy o sklonu 6,5°. Vstup na datový sál (místnost č. 223) je v horní části přístupové chodby. Vstupními dveřmi je možné transportovat předměty o rozměrech 2360x1520 mm (výška x šířka). Tyto dveře mohou zůstávat otevřené pouze po nezbytně nutnou dobu.
Předmět, který se projde všemi třemi dveřmi, může mít max. rozměry 2340x1520mm (výška x šířka). Pro transport předmětů v datovém sále je možné využít více variant transportních cest, žádná z nich však není překážkou pro předměty maximálních rozměrů danými dveřmi, viz výše.

Obrázek 3 Přístupová cesta
1. Při transportu a instalaci zařízení nesmí být překročena únosnost podlahy přepravní trasy.
Únosnost podlahy datového sálu a jeho přístupové chodby (místnosti 219 a 223) je 25 kN/m^2^. Únosnost podlahy přístupových prostor (místnosti 217 a 218) je 5 kN/m^2^. Tento úsek musí být pro transport materiálu dodavatelem dočasně ošetřen instalací ochranných desek pro rozklad zatížení (kupříkladu položením překližkových desek) tak, aby výsledné zatížení podlahy v průběhu fyzické dodávky nepřekročilo 5 kN/m^2^ a předešlo se tak poškození podlahy. Ochranné desky je povinen si zajistit dodavatel.
1. Veškeré přechodové lišty, prahy a šikminu v m. č. 219 je nutné při transportu technologií ochránit dřevěnými deskami nebo silnou vrstvou gumy, které si zajistí dodavatel.
1. Z důvodu nižší nosnosti podlahy v m. č. 218 (5,0 kN/m^2^) není možné v tomto prostoru nic dlouhodobě skladovat.
1. Odstranění transportních obalů musí proběhnout mimo prostor datového sálu, m. č. 223.
#### Prostředí
1. Při integraci a provozu musí být zajištěny tyto vlastnosti a parametry prostředí:
- Teplota vzduchu 22 °C až 25 °C
- Nekondenzující vlhkost
- Relativní vlhkost 20-60 %
1. V prostoru datového sálu je snížená hladina kyslíku na 15 % a platí zde režimová opatření. Osoby nacházející se na datovém sále musí sledovat délku svého pobytu na sále a každé 2 hodiny musí alespoň na 15 minut odejít do normoxického prostředí.
## Implementace a další aktivity
### Implementace
1. Součástí dodávky musí být komplexní implementace HPCQC-AI clusteru tak, aby byly splněny všechny požadavky zadavatele.
1. Součástí dodávky musí být návrh, doprava, instalace, zprovoznění, konfigurace, ladění, testování všech systémů a provedení akceptačních testů.
### Školení
1. Součástí dodávky musí být školení v rozsahu a detailu dostatečném pro získání a osvojení znalostí potřebných pro samostatné provozování a správu HPCQC-AI clusteru.
1. Školení musí poskytnout informace potřebné pro pochopení vnitřního fungování systémů, funkčních celků, hardware a software. Školení musí zahrnovat důkladné seznámení s provozními postupy a správou systému.
1. Školení musí být v rozsahu minimálně 12 hodin, počet účastníku školení nesmí být omezen na méně než 16 účastníku.
Účastníky školení budou pracovníci IT zadavatele se zkušenostmi s IT problematikou na různé úrovni v různých oblastech.
1. Školení musí zahrnovat představení technologií, postupů a nástrojů pro správu systému, praktické ukázky a práci s reálným systémem. Praktické ukázky a práce s reálným systémem musí probíhat na HPCQC-AI clusteru.
1. Školení musí vést erudovaní školitelé. Školení musí probíhat v českém nebo v anglickém jazyce.
1. Součástí dodávky musí být i poskytnutí výukových materiálů a prezentací v anglickém jazyce.
1. Časový harmonogram a detailní plán školení bude vypracován ve spolupráci s projektovým manažerem zadavatele.
1. (I) Dodavatel musí v nabídce uvést základní harmonogram a obsah školení.
### Dokumentace
1. Součástí dodávky musí být vypracování a dodání komplexní dokumentace HPCQC-AI clusteru.
1. Dokumentace musí komplexně pokrývat všechny dodávané systémy a musí být logicky navržena a strukturována. Součástí dokumentace musí být dokumentace skutečného stavu a dokumentace provozních postupů (provozní manuály). Dokumentace musí pokrývat rovněž postup zapnutí a vypnutí systému.
1. Součástí dokumentace musí být též poskytnutí dokumentace dodávaného hardware a software (manuály) v anglickém jazyce. Dokumentace musí být poskytnuta v elektronické podobě umožňující kopírování textu.
### Prohlášení o shodě
1. Ke všem dodaným systémům a zařízením musí být doloženo prohlášení o shodě.
### Likvidace odpadů
1. Součástí dodávky musí být průběžná likvidace veškerých odpadů vzniklých realizací dodávky.
Zadavatel není povinen a nebude uchovávat obaly, obalový materiál.
## Infrastruktura zadavatele
Systém HPCQC-AI cluster bude instalován a provozován v datovém sálu datového centra zadavatele v budově IT4Innovations. Budova IT4Innovations se nachází v areálu kolejí Vysoké školy báňské – Technické univerzity Ostrava na adrese Studentská 6231/1B, 708 00 Ostrava-Poruba.
V datovém sále jsou umístěny stávající systémy zadavatele, včetně superpočítačů Barbora, Barbora NG a Karolina.
Datový sál není vybaven racky pro umístění systému HPCQC-AI cluster.
### Dispozice sálu
Ve druhém nadzemním podlaží budovy IT4Innovations se nachází datový sál (místnost č. 223) o výměře 511,1 m^2^, rozměrech 24,97 x 20,47 m a světlé stavební výšce 4,5 m. Sál je koncipován jako samostatný, stavebně nedělený prostor.
V datovém sále je instalována systémová zdvojená antistatická podlaha rastru 600x600 mm a výšky 900 mm a dále těsný stropní podhled rastru 600x600 mm, podvěšený 700 mm pod stavebním stropem. Světlá výška mezi systémovou podlahou a stropním podhledem činí 2,9 m.
#### Podlaha
Zdvojená podlaha výška 980 mm – systémové řešení. Zatížení 2500 kg/m^2^ (25 kN/m^2^).
Rámová konstrukce je tvořena z ocelových "C" profilů v rastru 600x600 mm. Podpůrné sloupky tvořeny výškově rektifikovanými stojkami s montážně nastavitelnou hlavou. Sloupky a vodorovné rámy jsou propojeny pevným šroubovaným spojením.
Zakrytí je provedeno z panelů s jádrem na minerální bázi (třída reakce na oheň dle EN 13501 A2).
Spodní líc panelu s AL folií. Boky panelů jsou opatřeny plastovou hranou. Horní povrch s nalepeným PVC. Povrch v antistatické úpravě.
#### Stropní podhled
Pod stropem je podvěšený kovový podhled z galvanizované oceli 600x600x33 mm, zkosená hrana o 3 mm zaklapnutá do skryté konstrukce, hladký povrch bez perforace, UV stabilní elektrostaticky nanášený polyesterový lak. Revizní kazety doplněny klipy pro vyklápění kazet směrem dolů.
Skrytá závěsná kovová konstrukce s U-profilem a kolmým DP-profilem je zavěšená pomocí závitových tyčí.
### Napájení
**__Hlavní napájecí větev:__**
Topologie: 					Dvě nezávislé napájecí větve, redundance 1+1
Rozvodná soustava NN: 			400/230 V;3+N+PE; 50 Hz; TN-S
**__Distribuční přípojnice:__**
Počet distribučních přípojnic:			5ks pro každou napájecí větev
Jmenovitý proud distribučního systému:	800 A
Napájecí soustava distribuční přípojnice:	TN-S 3x400/230 V 50 Hz
Jmenovitý výkon distribuční přípojnice:		552 kVA
Umístění distribučního systému	:		pod zdvojenou podlahou
Způsob napojení na distribuční systém:		pomocí rozvaděče PDB
Způsob připojení IT technologie:		pomocí průmyslových zásuvek IEC60309

Obrázek 4 Rozvody napájení
### Chlazení
Chlazení pro datový sál poskytuje pět samostatných chladicích kapalinových okruhů – dva okruhy teplé vody teploty a tři okruhy studené vody.
V datovém sále jsou ve zdvojené podlaze vyhotoveny tři větve z každého z pěti chladicích okruhů. Na větvích jsou pro napojení technologie připraveny odbočky s bezúkapovými uzávěry DN65. Odbočky jsou umístěné pod technologickou podlahou datového sálu a jsou přístupné po vyjmutí některé z dlaždic technologické podlahy.
Základní parametry chladicích okruhů, včetně údajů pro připojení:
TV1 – okruh Teplé Vody – červený:
- Hydraulické zakončení: Victaulic UK 76,1
- Pracovní tlak: 4,5 bar
- diferenční tlak pro datový sál: 50 kPa
- Průtok: 40 m^3^/hod
- Vstupní teplota chladícího média: 30 °C
TV2 – okruh Teplé Vody – žlutý:
- Hydraulické zakončení: Victaulic UK 76,1
- Pracovní tlak: 4,5 bar
- diferenční tlak pro datový sál: 50 kPa
- Průtok: 40 m^3^/hod
- Vstupní teplota chladícího média: 30 °C
SV1 – okruh Studené Vody – zelený:
- Hydraulické zakončení: Victaulic UK 76,1
- Pracovní tlak: 4,5 bar
- diferenční tlak pro datový sál: 100 kPa
- Průtok: 20 m^3^/hod
- Vstupní teplota chladícího média 11,5 °C
SV2 – okruh Studené Vody – modrý:
- Hydraulické zakončení: Victaulic UK 76,1
- Pracovní tlak: 4,5 bar
- diferenční tlak pro datový sál: 100 kPa
- Průtok: 20 m^3^/hod
- Vstupní teplota chladícího média 11,5 °C
SV3 – okruh Studené Vody – tyrkysový:
- Hydraulické zakončení: Victaulic UK 76,1
- Pracovní tlak: 4,5 bar
- diferenční tlak pro datový sál: 100 kPa
- Průtok: 20 m^3^/hod
- Vstupní teplota chladícího média 11,5 °C
Jedná se o stávající hodnoty parametrů chladicích okruhů. Pro akceptaci HPCQC-AI clusteru budou použity chladící okruhy Studené vody výše uvedených parametrů. Chladicí okruh Teplé vody použitý pro akceptaci HPCQC-AI clusteru bude mít následujících parametry:
- Hydraulické zakončení: Victaulic UK 76,1
- Pracovní tlak: 4,5 bar
- diferenční tlak pro datový sál: 50 kPa
- Průtok: 40 m^3^/hod
- Vstupní teplota chladícího média: 38 °C (dojde k navýšení vstupní teploty chladicího média z 30 °C na 38 °C)
Výše uvedené parametry chladících okruhů studené vody budou pro instalaci a akceptaci HPCQC-AI clusteru zachovány.

Obrázek 5 Rozvody chlazení
### WAN síť
WAN síť zadavatele je postavena na technologii 100Gb/s Ethernet a je tvořena dvěma hraničními prvky – L3 switchi Cisco Nexus 9336C-FX2 s porty QSFP28. Hraniční prvky jsou vzájemně propojeny čtyřmi 100Gb/s propoji.
Hraniční prvky WAN sítě zadavatele jsou umístěny ve WAN racku.
Hraniční prvky WAN sítě nejsou osazeny transceivery, je potřeba je dodat.

Obrázek 6 Kabelové trasy a síťové racky
### Storage síť
Storage sítí zadavatele je nazývána ethernetová síť, která připojuje centrální úložiště zadavatele a zpřístupňuje je (pomocí specializovaných síťových bran a připojením do WAN/LAN sítě) na výpočetní a další systémy zadavatele. Do storage sítě zadavatele jsou v době přípravy dokumentu připojeny čtyři bloky úložiště PROJECT.
Storage síť zadavatele je postavena na technologii 100Gb/s Ethernet a je tvořena dvěma hraničními prvky – L3 switchi Cisco Nexus 9336C-FX2 s porty QSFP28. Hraniční prvky jsou vzájemně propojeny čtyřmi 100Gb/s propoji. Storage síť je připojena do centrální 100Gb/s WAN/LAN sítě zadavatele čtyřmi 100Gb/s propoji.
Hraniční prvky storage sítě zadavatele jsou umístěny ve dvou racích úložiště PROJECT, v horní části racku.
Hraniční prvky storage sítě nejsou osazeny transceivery, je potřeba je dodat.
### OOB síť
Stávající OOB síť zadavatele je tvořena prvky:
- OOB konzolový server Blackbox LES1532A, 32 sériových portů RJ-45
- OOB switch Cisco C3750X-48TS-S, porty 10/100/1000BaseTX
OOB zařízení jsou umístěna ve WAN racku.
Pages and tables 43 pages · 0 tables
Page 1
# Vymezení požadavků na HPCQC-AI cluster Příloha č. 1 Zadávací dokumentace veřejné zakázky „HPCQC-AI výpočetní cluster“ ## Úvod IT4Innovations národní superpočítačové centrum (dále jen „IT4Innovations“) poskytuje národní výzkumnou infrastrukturu v oblasti náročných výpočtů (HPC). Výpočetní zdroje IT4Innovations jsou určeny pro řešení úloh ve výzkumu a vývoji, především pro akademická pracoviště a další výzkumné instituce v ČR, část kapacity je pak dedikována pro rozvoj spolupráce mezi akademickou sférou a průmyslovými partnery nebo pro samostatné využití průmyslovými podniky. IT4Innovations je členem národní velké výzkumné infrastruktury e-INFRA CZ. ## Záměr zadavatele Záměrem zadavatele je modernizace a posílení kapacit výpočetní infrastruktury superpočítačového centra IT4Innovations. HPCQC-AI cluster bude provozován IT4Innovations a bude využíván k poskytování služeb v oblasti náročných výpočtů a umělé inteligence. HPCQC-AI cluster bude umístěn a provozován v datovém centru zadavatele, které se nachází v budově IT4Innovations, v areálu Vysoké školy báňské – Technické univerzity Ostrava. Záměr zadavatele byl podrobně diskutován v rámci předběžné tržní konzultace. ## Předmět zakázky Předmětem veřejné zakázky „HPCQC-AI cluster“ je dodávka komplexního řešení systému pro náročné výpočty (High Performance Computing) a umělou inteligenci, tj. komplexu výpočetních, úložných, síťových a dalších systémů, softwarového řešení, včetně implementace, integrace do datového centra zadavatele, školení, servisních a dalších služeb. ## Legenda V následujícím textu jsou uváděny následující značky: **SPEC_číslo** označuje pro snazší identifikaci jednotlivé požadavky zadavatele veřejné zakázky. **SPEC_číslo (I)** označuje požadavek zadavatele veřejné zakázky na informaci, kterou dodavatel musí uvést v nabídce. Podrobněji viz bod 5.1 zadávací dokumentace. ## HPCQC-AI cluster ### Obecné požadavky 1. Zadavatel požaduje dodávku komplexního řešení výpočetního systému určeného pro náročné výpočty (High Performance Computing) a umělou inteligenci, tj. komplexu výpočetních, úložných, síťových a dalších systémů, softwarového řešení, včetně implementace a integrace do datového centra zadavatele (dále označované též jako „řešení“, „HPCQC-AI cluster“ nebo „superpočítač“).
Page 2
2. Řešení musí umožňovat efektivní provádění mnoha současných výpočetních úloh všech fází životního cyklu úloh (příprava, výpočet, zpracování výsledků) různého typu (zejména paralelní, ale rovněž sériové; dávkové, interaktivní) mnoha uživatelů, bezpečné uložení dat uživatelů a rychlý přístup k datům, efektivní správu systému, komponent, zdrojů a služeb. 3. Řešení musí poskytovat výkonné výpočetní zdroje, které jsou dobře přístupné a využitelné uživateli systému a jejich úlohami. Řešení musí zajišťovat vlastnosti, služby a funkce potřebné pro efektivní provoz a efektivní správu systému zadavatelem. Řešení musí být vyvážené, parametry a vazby jednotlivých subsystémů musí zohledňovat ostatní subsystémy. 4. Nabídka musí obsahovat veškeré systémy, zařízení, komponenty, příslušenství, licence, dokumentace, projektové, implementační a další práce, školení atd. nezbytné k naplnění požadavků zadavatele. 5. Řešení musí respektovat dispozice a omezení vyplývající z prostředí a podmínek zadavatele. 6. Řešení musí komplexně (jako celek) splňovat požadavky zadavatele. Požadovaná funkcionalita a vlastnosti musí být reálně funkční a použitelné v provozu řešení, požadované parametry musí být reálně dosažitelné. Splnění požadavků zadavatele nesmí být nijak podmíněno. Je nepřípustné, aby plnění požadavků zadavatele bylo postaveno pouze na funkcionalitě, vlastnostech či parametrech dílčích komponent a řešení jako celek požadavky zadavatele nesplňovalo. 7. Funkcionalita, vlastnosti a parametry řešení musí být uvedeny pro nabízenou/dodávanou konfiguraci určenou k běžnému, trvalému provozu. 8. Řešení musí splňovat všechny technické požadavky zadavatele současně. Všech požadovaných vlastností, funkcionalit a parametrů musí být dosaženo při použití jednoho, produkčního nastavení všech komponent řešení. Splnění požadavku nesmí být podmíněno změnou nastavení nebo změnou zapojení komponent. 9. Řešení nesmí obsahovat omezení, která by zabraňovala či omezovala užití HPCQC-AI clusteru zadavatelem v požadovaném, nebo racionálním rozsahu. HPCQC-AI cluster je určen pro přibližně tři tisíce uživatelů. 10. Řešení musí být v maximální míře autonomní, nezávislé na externích systémech a službách, soběstačné bez potřeby dalších zařízení, systémů či služeb. 11. Řešení musí být navrženo, dimenzováno a implementováno tak, aby zajistilo spolehlivý, bezpečný, výkonný a efektivní provoz v datovém centru zadavatele. 12. Dodávka musí obsahovat veškerá zařízení potřebná pro zajištění požadované funkcionality, pro zajištění požadovaného výkonu a pro efektivní provoz – a to i taková, která nejsou explicitně uvedena v tomto dokumentu. 13. Dodávka musí obsahovat veškeré potřebné softwarové vybavení a licence. 14. Dodavatel nesmí pro realizaci používat zařízení, systémy, infrastrukturu či služby zadavatele, pokud toto není explicitně uvedeno v tomto dokumentu, a to pouze k účelu a v rozsahu uvedeném v tomto dokumentu.
Page 3
### Orientační schéma HPCQC-AI clusteru  Obrázek 1 Orientační schéma HPCQC-AI clusteru Orientační schéma HPCQC-AI clusteru je pouze zjednodušené ilustrativní znázornění HPCQC-AI clusteru, nejedná se o úplné či přesné zapojení. Modré objekty představují komponenty, které jsou předmětem dodávky, oranžové objekty představují stávající infrastrukturu zadavatele. ### Komponenty HPCQC-AI clusteru 15. HPCQC-AI cluster musí obsahovat *Výpočetní cluster*. Výpočetní cluster je tvořen *Výpočetními servery* propojenými *Výpočetní sítí* – vysokorychlostní sítí s nízkou latencí. Výpočetní cluster je určen pro provádění výpočetních úloh uživatelů. 16. Výpočetní servery tvoří jeden typ serverů tzv. *Akcelerované výpočetní servery*. 17. HPCQC-AI cluster musí obsahovat *Přístupové servery – servery* sloužící pro přístup uživatelů, pro přípravu úloh a dat, kompilaci a ladění kódů, pro zpracování výsledků a pro přenos dat. 18. HPCQC-AI cluster musí obsahovat *Úložiště. *Úložiště slouží k ukládání a sdílení dat. Úložiště jsou realizována jako komplexní řešení úložných zařízení, I/O serverů (např. souborových serverů), sítí a potřebného softwarového vybavení. Úložiště musí poskytovat požadované datové služby. 19. HPCQC-AI cluster musí obsahovat *Úložiště HOME*, *Úložiště SCRATCH* a *Úložiště infrastruktury*. 20. HPCQC-AI cluster musí obsahovat *Úložiště HOME*. *Úložiště HOME* je souborové úložiště, které je určeno pro ukládání nastavení operačního systému a aplikací uživatelů na superpočítači. 21. HPCQC-AI cluster musí obsahovat* Úložiště* *SCRATCH*. *Úložiště* *SCRATCH* je výkonné souborové úložiště, které je určeno pro krátkodobá data uživatelů pro výpočty a zpracování úloh, data jsou intenzivně používaná výpočetními servery superpočítače.
Page 4
22. HPCQC-AI cluster musí obsahovat* Úložiště infrastruktury. Úložiště infrastruktury* je souborové úložiště, které je určeno pro ukládání a sdílení dat infrastruktury superpočítače. Úložiště slouží pro uložení systémových obrazů (image) serverů, dat, aplikačního vybavení atp. 23. HPCQC-AI cluster musí obsahovat infrastrukturní a management servery dále označované stručně jako *Infrastrukturní servery. *Infrastrukturní servery jsou určené pro správu superpočítače, zdrojů, úloh, licencí a poskytování infrastrukturních služeb (např. DHCP, DNS, LDAP, licenční servery, plánovače, monitoring, logování atd.). 24. HPCQC-AI cluster musí obsahovat řešení zálohování dat tzv. *Zálohování*. 25. HPCQC-AI cluster musí obsahovat *Síťovou infrastrukturu, *tj. síťové propojení komponent, systémů tak, aby bylo dosaženo požadované funkcionality, byl zajištěn přístup na jednotlivé služby, byl zajištěn výkon, dostupnost a bezpečnost služeb. 26. Síťovou infrastrukturu tvoří zejména *Výpočetní síť*, *LAN síť*, *Integrace do WAN sítě zadavatele*, *Integrace do storage sítě zadavatele* a případně další sítě dle návrhu dodavatele*.* *Výpočetní síť* propojuje výpočetní servery, přístupové servery, je použita pro zpřístupnění některých úložišť. *LAN síť* zajišťuje komunikaci mezi zařízeními uvnitř superpočítače, slouží ke správě systému, poskytování infrastrukturních služeb atp. *Integrace do WAN sítě *zadavatele zajišťuje propojení do WAN sítě zadavatele a zprostředkovaně služby internetu v superpočítači. Součástí řešení jsou *WAN Síťové brány *realizující propojení WAN sítě zadavatele a *Výpočetní sítě* clusteru. *Integrace do storage sítě *zadavatele zajišťuje propojení do storage sítě zadavatele, kde jsou připojena centralizovaná úložiště zadavatele (např. úložiště PROJECT), tak aby byla zajištěna dostupnost úložišť na uzlech superpočítače. Integrace je realizována *Storage Síťovými branami* realizujícími propojení storage sítě zadavatele a *Výpočetní sítě* clusteru. 27. HPCQC-AI cluster musí obsahovat řešení a infrastrukturu pro instalaci a provoz superpočítače v datovém centru zadavatele (dále označováno jako *Infrastruktura pro provoz v datovém centru*), tj. zejména racky a příslušenství potřebné pro umístění zařízení superpočítače, řešení napájení a chlazení zařízení superpočítače, rozhraní a napojení na infrastrukturu datového centra zadavatele. 28. HPCQC-AI cluster musí obsahovat veškeré potřebné softwarové vybavení a licence (*Software*). 29. Kromě uvedených komponent, které jsou nutnou součástí řešení, musí řešení obsahovat všechny další systémy potřebné pro zajištění požadované funkcionality a pro efektivní provoz HPCQC-AI clusteru. ### Výpočetní cluster #### Výpočetní výkon LINPACK 30. Výpočetní výkon LINPACK výpočetního clusteru musí být minimálně **6,5 PFlop/s**. 31. Pro měření výpočetního výkonu Výpočetního clusteru musí být použit benchmark High Performance LINPACK [http://www.netlib.org/benchmark/hpl/](http://www.netlib.org/benchmark/hpl/)
Page 5
32. Výpočetní výkon LINPACK výpočetního clusteru bude určen během výpočetního benchmarku High Performance LINPACK spuštěným paralelně nad všemi GPU všech Akcelerovaných výpočetních serverů Výpočetního clusteru jedna instance benchmarku na celém clusteru). Pro výpočet se použije standardní číselný formát FP64. Je **povoleno** využívat emulaci výpočtů pro FP64 pomocí nižších přesností, jako např. tzv. Ozakiho schéma. 33. Pro realizaci měření není nutno použít referenční implementaci benchmarku LINPACK, lze použít optimalizovanou implementaci benchmarku. Použitá implementace benchmarku však musí zcela splňovat specifikaci benchmarku. Optimalizace překladu zdrojového kódu a optimalizace běhu benchmarku je možná za předpokladu, že negativně neovlivní správnost provedení benchmark – tj. zejména, že budou reálně provedeny výpočty v požadovaném rozsahu a přesnosti, a že budou správně určeny časy běhu a výsledky měření. **Není povoleno** použití verze benchmarku se smíšenou přesnosti (tzv. **HPL-MxP**). Výpočet v HPL musí mít tzv. „relativní přesnost stroje“ (relative machine precision – EPS) menší než 10E-16 a tzv. „škálovaný residuál“ (scaled residual) musí být menší nebo rovný 16. 34. Hodnota výpočetního výkonu LINPACK výpočetního clusteru (stejně tak jako další hodnoty v nabídce) musí být uvedeny pro nabízenou/dodávanou konfiguraci určenou k běžnému provozu. Dosažení hodnot výpočetních výkonů nesmí být nijak podmíněno např. specifickým režimem, ve kterém nelze systém dlouhodobě a bez dalších omezení provozovat nebo předpokládanou efektivitou, jejíž dosažení však dodavatel negarantuje. 35. (I) Dodavatel musí v nabídce uvést výpočetní výkon LINPACK výpočetního clusteru určený dle požadavků v této kapitole včetně informace, zda je pro stanovení použita emulace výpočtů. ### Výpočetní servery 36. Každý Výpočetní server musí splňovat následující požadavky - Fyzický server - Připojení do Výpočetní sítě - Připojení do LAN sítě - Podpora bootu operačního systému ze sítě - 64bitový operační systém Linux 37. Operační paměť RAM musí být rovnoměrně rozložena (kapacitou a rychlostí přístupu) na procesory a CPU jádra výpočetního serveru. Operační paměť RAM musí být složena z paměťových modulů stejného typu (velikost, rank atd.) a rovnoměrně, se stejnou konfigurací rozložena na paměťové řadiče a na paměťové kanály výpočetního serveru. Musí být použity všechny paměťové kanály všech procesorů serveru. 38. Výpočetní servery jsou určeny výhradně pro výpočty, dodavatel nesmí využít žádný Výpočetní server pro zajištění jiné funkcionality. #### Akcelerované výpočetní servery 39. Každý Akcelerovaný výpočetní server musí splňovat následující požadavky: - Architektura **x86-64** nebo **ARM64** - Minimálně dva procesory na server - Kapacita operační paměti RAM serveru minimálně 190GiB krát počet GPU serveru - Operační paměť RAM serveru typu
Page 6
- DDR5 s rychlostí min. 6400MT/s s ECC, nebo - LPDDR5X s ECC - Připojení serveru do LAN sítě rychlostí minimálně 1Gb/s - Připojení serveru do Výpočetní sítě 40. Každý Akcelerovaný výpočetní server musí obsahovat **minimálně** **čtyři GPU** akcelerátory shodného typu. GPU akcelerátory musí být rovnoměrně připojeny na instalovaná CPU. 41. Každý GPU akcelerátor Akcelerovaných výpočetních serverů musí poskytovat: 1. minimálně **160GB** paměti HBM 2. výpočetní výkon LINPACK v FP64 (Rmax) minimálně 30 TFlop/s, je povoleno využívat emulaci výpočtů pro FP64 pomocí nižších přesností 42. Každý Akcelerovaný výpočetní server musí být připojen do Výpočetní sítě alespoň dvěma síťovými adaptéry, s celkovou/agregovanou rychlostí minimálně 200Gb/s krát počet GPU akcelerátorů serveru. Síťové adaptéry musí být rovnoměrně připojeny na instalovaná CPU. 43. Všechny Akcelerované výpočetní servery musí mít shodnou hardwarovou konfiguraci a musí pracovat ve shodném provozním nastavení (frekvence, časování, nastavení vlastností). 44. (I) Dodavatel musí v nabídce uvést hardwarovou platformu řešení Výpočetních serverů a její popis. 45. (I) Dodavatel musí v nabídce uvést detailní konfiguraci Výpočetních serverů obsahující: 3. počet Výpočetních serverů 4. výrobce a modelové označení serveru 5. počet, výrobce a modelové označení procesorů 6. počet CPU jader a základní frekvenci procesoru 7. TDP procesoru 8. velikost operační paměti RAM 9. počet paměťových kanálů serveru – celkový a využitý 10. počet, velikost, typ, rychlost a vlastnosti (např. ECC) paměťových modulů 11. počet, výrobce a modelové označení GPU akcelerátorů 12. velikost paměti HBM GPU akcelerátoru 13. teoretický výpočetní výkon v FP64 (Rpeak) GPU akcelerátoru 14. výpočetní výkon LINPACK v FP64 (Rmax) GPU akcelerátoru, včetně informace, zda je pro stanovení použita emulace výpočtů 15. název mikroarchitektury grafických jader GPU akcelerátoru 16. počet, výrobce a modelové označení adaptérů Výpočetní sítě 17. typ, rychlost a počet portů adaptéru Výpočetní sítě 18. agregovaná rychlost připojení serveru do Výpočetní sítě 19. počet adaptérů LAN sítě 20. typ, rychlost a počet portů adaptéru LAN sítě 21. maximální elektrický příkon serveru 22. název a verze operačního systému serveru ### Výpočetní síť 46. Výpočetní síť musí používat technologii s rychlostí spoje minimálně **200 Gb/s** a s latencí spoje maximálně 10 mikrosekund. Připojení zařízení do výpočetní sítě a uvnitř výpočetní sítě musí splňovat požadavky na spoje uvedené v předchozí větě, není-li explicitně v požadavcích této technické specifikace pro konkrétní zařízení stanovena minimální rychlost nižší. 47. Výpočetní síť musí používat topologii **plně neblokující fat tree**. 48. Řešení musí poskytovat efektivní MPI komunikaci výpočetních serverů. 49. Výpočetní síť musí podporovat a poskytovat IP protokol a RDMA funkcionalitu. 50. Výpočetní síť musí být vhodná pro řešení úložiště SCRATCH. 51. (I) Dodavatel musí v nabídce pro Výpočetní síť uvést: 23. technologii sítě, včetně názvu výrobce a označení produktové řady jednoznačně určující použitou technologii 24. rychlost spoje sítě 25. latenci spoje sítě 26. topologii sítě 27. schéma sítě obsahující připojení všech zařízení (serverů, úložišť, síťových bran), počty a rychlosti spojů 28. počet, výrobce a modelové označení zařízení/switchů sítě 29. počet portů a konfiguraci zařízení/switchů sítě 30. popis softwarového řešení 31. způsob zajištění IP protokolu a RDMA funkcionality Výpočetní síť je použita pro zpřístupnění úložišť superpočítače na výpočetní uzly, požadavky jsou uvedeny v kapitole 5.8 Úložiště. ### Přístupové servery 52. HPCQC-AI cluster musí obsahovat minimálně dva Přístupové servery. 53. Každý Přístupový server musí splňovat následující požadavky: - Fyzický server - Architektura x86-64 nebo ARM64 - Dva procesory na server, každý procesor minimálně 64 fyzických výpočetních jader - Kapacita operační paměti RAM minimálně 960GiB - Minimálně 2 lokální SSD disky o kapacitě minimálně 960 GB v RAID1 - Připojení Výpočetní síť - Připojení LAN síť - Za provozu vyměnitelné (hot-swap) disky - Redundantní, za provozu vyměnitelné (hot-swap) napájecí zdroje, redundantní napájení 54. Přístupové servery musí používat stejnou technologií procesorů, stejnou instrukční sadu procesorů, stejný typ paměti RAM a stejný operační systém jako Akcelerované výpočetní servery. 55. Každý Přístupový server musí obsahovat minimálně jeden GPU akcelerátor. GPU akcelerátor Přístupového serveru serverů musí být stejného typu jako je GPU akcelerátor Akcelerovaných výpočetních serverů, nebo jiný, který splňuje následující podmínky: 32. je stejného výrobce jako je GPU akcelerátor Akcelerovaných výpočetních serverů
Page 7
33. používá stejnou (mikro)architekturu grafický jader, nebo její bezprostředně předcházející generaci; v segmentu data center GPU zadavatel považuje v případě výrobce AMD za mikroarchitekturu např. CDNA4 a za její bezprostředně předcházející generaci (pouze) mikroarchitekturu CDNA3, v případě výrobce NVIDIA zadavatel považuje za mikroarchitekturu např. Blackwell a za její předcházející generaci (pouze) mikroarchitekturu Hopper 34. umožňuje použití stejného GPU softwarového stacku 56. Přístupové servery musí mít stejnou hardwarovou konfiguraci a musí pracovat ve shodném provozním nastavení (frekvence, časování, nastavení vlastností). 57. Přístupové servery jsou určeny výhradně pro zajištění přístupu uživatelů a pro práci uživatelů, dodavatel nesmí využít žádný Přístupový server pro zajištění jiné funkcionality. 58. Přístupové servery musí poskytovat přístup uživatelům protokolem SSH2 a poskytovat služby pro přenos souborů SCP a SFTP. 59. (I) Dodavatel musí v nabídce uvést detailní konfiguraci Přístupových serverů obsahující: 35. počet Přístupových serverů 36. výrobce a modelové označení serveru 37. počet, výrobce a modelové označení procesorů 38. počet CPU jader a základní frekvenci procesoru 39. TDP procesoru 40. počet paměťových kanálů serveru – celkový a využitý 41. velikost operační paměti RAM 42. počet, velikost, typ, rychlost a vlastnosti (např. ECC) paměťových modulů 43. počet, výrobce a modelové označení GPU akcelerátorů 44. velikost paměti HBM GPU akcelerátoru 45. teoretický výpočetní výkon v FP64 (Rpeak) GPU akcelerátoru 46. výpočetní výkon LINPACK v FP64 (Rmax) GPU akcelerátoru, včetně informace, zda je pro stanovení použita emulace výpočtů 47. název mikroarchitektury grafických jader GPU akcelerátoru 48. počet, výrobce a modelové označení adaptérů Výpočetní sítě 49. typ, rychlost a počet portů adaptéru Výpočetní sítě 50. agregovaná rychlost připojení serveru do Výpočetní sítě 51. počet adaptérů LAN sítě 52. typ, rychlost a počet portů adaptéru LAN sítě 53. počet, velikost, typ a vyměnitelnost za provozu disků, konfigurace RAID 54. počet, redundanci a vyměnitelnost za provozu napájecích zdrojů 55. název a verze operačního systému serveru ### Úložiště #### Společné požadavky Požadavky uvedené v této kapitole jsou požadavky společné pro všechna úložiště řešení – úložiště HOME, úložiště SCRATCH, Úložiště infrastruktury a případně další úložiště použitá v řešení (kromě lokálních disků v serverech). ##### Vysoká dostupnost 60. Řešení úložiště musí poskytovat vysokou dostupnost. Musí splňovat zejména následující: 56. Odolnost proti selhání Řešení úložiště musí být navrženo tak, aby selhání libovolné jednotlivé hardwarové komponenty (server, řadič, disk, napájecí zdroj, ventilátor, I/O modul, kabel, síťový prvek v rámci řešení) nezpůsobilo přerušení ani nedostupnost služeb úložiště pro klienty.
Page 8
Způsob zajištění odolnosti (interní redundance zařízení, redundance napříč uzly, erasure coding, replikace či jiný mechanismus) je na návrhu dodavatele. Požadavky na zabezpečení/redundanci dat jsou uvedeny v kapitole 5.8.1.3 Redundance disků. Vymezení: Není požadována taková úroveň redundance, která by zajistila dostupnost služeb úložiště i při ztrátě celé funkční jednotky řešení, která sama o sobě poskytuje službu nebo její podstatnou část (např. celé diskové pole, celá appliance, celý úložný cluster). Není požadována replikace dat mezi takovými funkčními jednotkami, pokud nejde o řešení požadovaného zabezpečení dat jako takového. 57. Síťová dostupnost řešení Veškerá síťové propojení řešení úložiště – jak mezi jeho jednotlivými částmi úložiště, tak připojení úložiště do sítě, která je použita pro zpřístupnění klientům – musí být redundantní tak, aby selhání jednoho síťového prvku nebo jedné cesty nezpůsobilo nedostupnost služeb úložiště. 58. Vyměnitelnost hardwarových komponent Hardwarové komponenty musí být vyměnitelné bez přerušení služeb úložiště (hot-swap komponenty, odstavení uzlu z clusteru apod.). 59. Software a firmware Změny konfigurace, aplikace bezpečnostních záplat a běžných aktualizací (minor updates, patche) musí být možná bez přerušení služeb úložiště. U zásadních aktualizací (major upgrade) dodavatel uvede předpokládaný dopad na dostupnost a postup minimalizace výpadku. 61. Výpadek či odstávka libovolné hardwarové komponenty řešení úložiště (viz předchozí požadavek) nesmí způsobit nefunkčnost služeb úložiště. Při výpadku či odstávce hardwarové komponenty řešení úložiště může být výkon úložiště nižší než požadovaný/deklarovaný. 62. Řešení úložiště musí být odolné dlouhodobé vysoké zátěži. ##### Nezávislost úložišť 63. Úložiště musí obsahovat veškeré servery (souborové servery, protokolové brány atp.) potřebné pro běh všech služeb, které má úložiště poskytovat. Dodavatel nesmí použít pro realizaci služeb úložiště jiné servery dodávky (např. Infrastrukturní servery, Síťové brány, Přístupové servery). 64. Služby a provoz úložišť se nesmí vzájemně negativně ovlivňovat. Deklarované parametry agregované rychlosti a výkonu náhodných I/O operací musí být dosažitelné i při současném, paralelním zatížení všech úložišť. 65. Úložiště SCRATCH nesmí sdílet servery (též appliance, apod.) a disková zařízení (disky, disková pole) s jiným úložištěm (např. s úložištěm HOME, s Úložištěm infrastruktury, s úložištěm řešení Zálohování). 66. Úložiště HOME a Úložiště infrastruktury mohou použít jedno společné diskové pole a mohou používat společné servery. Je třeba však zajistit splnění požadavku SPEC_64. ##### Redundance disků 67. Úložiště musí zajišťovat takové zabezpečení (redundanci) dat, že selhání libovolných dvou disků úložiště nezpůsobí ztrátu dat.
Page 9
Předpokládá se použití technologie RAID 6, nebo erasure codingu (k,m), kde m (parita) je větší nebo rovna dvěma.
68. Úložiště musí zajištovat zotavení po selhání disku, tj. opětovné zajištění požadovaného zabezpečení (redundance) dat (např. rekonstrukce RAID skupiny za využití hot-spare disků). Zotavení po selhání disku musí probíhat automaticky, bez zásahu obsluhy.
69. Zotavení po selhání disku úložiště, tj. opětovné zajištění požadovaného zabezpečení (redundance) dat, musí být dokončeno do 24 hodin od selhání disku. Během zotavování po výpadku disku úložiště může být výkon úložiště dočasně nižší než požadovaný.
70. Úložiště musí mít takovou konfiguraci, že je možné zajištění požadovaného zabezpečení (redundance) dat po selhání libovolných dvou disků úložiště, a to bez zásahu obsluhy.
71. Každé diskové pole (nebo obdobné zařízení) řešení úložiště musí poskytovat rezervní (spare) kapacitu nebo náhradní (spare) disky v počtu či kapacitě minimálně $\max{\left(\frac{1}{24}*celkový_počet _disků_diskového_pole; 2\right)}$ disků.
Funkce max(a; b) vrací větší z čísel a, b. Výsledek vzorce se zaokrouhlí vždy nahoru na celé číslo. Celkový počet disků diskového pole zahrnuje jak disky obsahující samotná data a paritní data, tak disky realizující náhradní disky či rezervní kapacitu.
#### Souborová úložiště
Požadavky uvedené v této kapitole jsou společné požadavky pro úložiště HOME, úložiště SCRATCH a Úložiště infrastruktury, která jsou souborovými úložišti.
72. Souborové úložiště musí poskytovat služby síťového souborového systému.
73. Na všech klientech souborového úložiště musí být poskytována obvyklá funkcionalita souborového systému.
74. Souborové úložiště musí být na straně klientů transparentně integrováno do operačního systému, musí umožňovat obvyklé souborové operace a realizovat obvyklou sémantiku nativních souborových systémů a integrovat uživatele operačního systému jako uživatele souborového systému.
75. Souborové úložiště musí splňovat následující požadavky
1. Podpora Unicode ve jménech souborů
2. Podpora dlouhých jmen souborů
3. Řízení přístupu, přístupová práva na úrovni standardních Unixových práv (čtení, zápis, spuštění; uživatel, skupina, ostatní) a rozšířená ACL (POSIX ACL nebo NFSv4 ACL, včetně podpory Default ACL, resp. inheritance)
4. Podpora souborů o velikosti větší než 1TB
5. Podpora symbolických linků
6. Podpora zamykání souborů
76. Data souborového úložiště musí být uložena na discích typu SSD nebo NVMe. Použité disky musí být vhodné pro jejich nasazení a charakter zátěže.
77. Požadavek, že souborové úložiště se musí z pohledu uživatele chovat jako jediná, souvislá oblast s jednotným prostorem jmen znamená, že uživatel úložiště pro přístup k souborům úložiště používá jednotný prostor jmen a v rámci tohoto jednotného prostoru jmen je bez omezení dostupná veškerá kapacita úložiště a vlastnosti úložiště.Page 10
#### Úložiště SCRATCH 78. Úložiště SCRATCH je souborové úložiště, které je určeno výhradně pro data uživatelů HPCQC-AI clusteru. 79. Úložiště SCRATCH se musí z pohledu uživatele chovat jako jediná, souvislá oblast s jednotným prostorem jmen. 80. Úložiště SCRATCH musí být prostřednictvím Výpočetní sítě zpřístupněné na všech Výpočetních serverech, Přístupových serverech, Infrastrukturních serverech pro běh služeb zadavatele a WAN Síťových branách. 81. Úložiště SCRATCH musí být na klientech dostupné v cestě /scratch. 82. Úložiště SCRATCH musí mít čistou dostupnou kapacitu na úrovni souborového systému minimálně **1,4 PB** (1,4x10¹⁵ byte). 83. Úložiště SCRATCH musí umožňovat uložení minimálně 2 miliard souborů. 84. Úložiště SCRATCH musí poskytovat dlouhodobě udržitelnou agregovanou rychlost sekvenčních operací minimálně: - čtení** 385 GB/s** (385x10⁹ byte/s) - zápis **245 GB/s** (245x10⁹ byte/s) Velikost bloku operací určí dodavatel dle svého uvážení. Požadovaná rychlost musí být reálně dosažitelná z Výpočetních serverů. 85. Úložiště SCRATCH musí poskytovat dlouhodobě udržitelný výkon I/O operací náhodného charakteru v režimu čtení/zápis 80 %/20 % minimálně **2,1 milióny IOPs**. Velikost bloku operací určí dodavatel dle svého uvážení. Požadovaný výkon musí být reálně dosažitelný z Výpočetních serverů. 86. Úložiště SCRATCH musí poskytovat projektové, nebo adresářové kvóty, nepřekročitelné omezení využité kapacity a počtu souborů nastavitelné individuálně buď pro projekt, nebo pro adresář úložiště. Na infrastrukturních serverech zadavatele musí být dostupné CLI příkazy, které umožní neinteraktivním způsobem (lze je volat ze scriptů) vypsat nastavené kvóty a jejich aktuální využití ve strojově čitelném formátu a nastavit jednotlivé kvóty. 87. (I) Dodavatel musí v nabídce pro úložiště SCRATCH uvést následující kapacitní a výkonové parametry: 1. čistá dostupná kapacita 2. agregovaná rychlost sekvenčních operací pro dodavatelem zvolenou velikost bloku operací a velikost bloku operací 3. výkon I/O operací náhodného charakteru v režimu čtení/zápis 80 %/20 % pro dodavatelem zvolenou velikost bloku operací a velikost bloku operací 4. dlouhodobě udržitelný výkon metadata operací 88. (I) Dodavatel musí v nabídce pro úložiště SCRATCH uvést: 1. architekturu řešení, včetně uvedení všech serverů a diskových polí 2. výrobce, modelové označení a konfiguraci nabízených zařízení 3. velikost a typ paměti RAM zařízení 4. počet, velikost, typ, rozhraní a rychlost disků 5. způsob zabezpečení datových oblastí – konfiguraci RAID nebo erasure codingu, včetně uvedení konkrétních číselných hodnot k+m, např. RAID6 8+2
Page 11
6. počet spare disků nebo rezervní kapacitu a jejich rozmístění
7. způsob připojení úložiště do Výpočetní sítě
1. počet adaptérů pro připojení do Výpočetní sítě
2. typ, rychlost a počet portů adaptérů pro připojení do Výpočetní sítě
3. agregovaná rychlost připojení úložiště do Výpočetní sítě
8. způsob zajištění vysoké dostupnosti a redundanci úložiště (dle použité architektury a použitých zařízení řešení – HA servery redundantní řadiče diskových polí, redundantní komponenty zařízení, redundance cest atp.)
9. popis softwarového řešení
1. názvy použitých softwarových produktů
2. použitý síťový souborový protokol
3. popis sw řešení na serverové straně úložiště
4. popis sw řešení na klientech úložiště, integrace do OS klientů
5. způsob řešení rozšířených ACL
6. příkazy pro správu kvót
#### Úložiště HOME
89. Úložiště HOME je souborové úložiště, které je určeno výhradně pro data uživatelů HPCQC-AI clusteru.
90. Úložiště HOME se musí z pohledu uživatele chovat jako jediná, souvislá oblast s jednotným prostorem jmen.
91. Úložiště HOME musí být nativně zpřístupněné prostřednictvím Výpočetní sítě na všech Výpočetních serverech, Přístupových serverech, Infrastrukturních serverech pro běh služeb zadavatele a WAN Síťových branách.
92. Úložiště HOME musí být na klientech dostupné v cestě /home.
93. Úložiště HOME musí mít čistou dostupnou kapacitu na úrovni souborového systému minimálně **25 TB** (25x10¹²byte).
94. Úložiště HOME musí umožňovat uložení minimálně 500 miliónů souborů.
95. Úložiště HOME musí poskytovat dlouhodobě udržitelnou agregovanou rychlost sekvenčních operací minimálně **1.5 GB/s** (1.5x10⁹ byte/s). Velikost bloku operací určí dodavatel dle svého uvážení. Požadovaná rychlost musí být reálně dosažitelná z Výpočetních serverů.
96. Úložiště HOME musí poskytovat dlouhodobě udržitelný výkon I/O operací náhodného charakteru v režimu čtení/zápis 80 %/20 % minimálně **50 tisíc IOPs**. Velikost bloku operací určí dodavatel dle svého uvážení. Požadovaný výkon musí být reálně dosažitelný z Výpočetních serverů.
97. Úložiště HOME musí poskytovat uživatelské kvóty, nepřekročitelné omezení využité kapacity a počtu souborů nastavitelné individuálně pro každého uživatele. Na infrastrukturních serverech zadavatele musí být dostupné CLI příkazy, které umožní neinteraktivním způsobem (lze je volat ze scriptů) vypsat nastavené kvóty a jejich aktuální využití ve strojově čitelném formátu a nastavit jednotlivé kvóty.
98. (I) Dodavatel musí v nabídce pro úložiště HOME uvést následující kapacitní a výkonové parametry:
1. čistá dostupná kapacitaPage 12
2. agregovaná rychlost sekvenčních operací pro dodavatelem zvolenou velikost bloku operací a velikost bloku operací 3. výkon I/O operací náhodného charakteru v režimu čtení/zápis 80 %/20 % pro dodavatelem zvolenou velikost bloku operací a velikost bloku operací 99. (I) Dodavatel musí v nabídce pro úložiště HOME uvést: 1. architekturu řešení, včetně uvedení všech serverů a diskových polí 2. výrobce, modelové označení a konfiguraci nabízených zařízení 3. velikost a typ paměti RAM zařízení 4. počet, velikost, typ, rozhraní a rychlost disků 5. způsob zabezpečení datových oblastí – konfiguraci RAID nebo erasure codingu, včetně uvedení konkrétních číselných hodnot k+m, např. RAID6 8+2 6. počet spare disků nebo rezervní kapacitu a jejich rozmístění 7. způsob připojení úložiště do Výpočetní sítě 1. počet adaptérů pro připojení do Výpočetní sítě 2. typ, rychlost a počet portů adaptérů pro připojení do Výpočetní sítě 3. agregovaná rychlost připojení úložiště do Výpočetní sítě 8. způsob zajištění vysoké dostupnosti a redundanci úložiště (dle použité architektury a použitých zařízení řešení – HA servery redundantní řadiče diskových polí, redundantní komponenty zařízení, redundance cest atp.) 9. popis softwarového řešení 1. názvy použitých softwarových produktů 2. použitý síťový souborový protokol 3. popis sw řešení na serverové straně úložiště 4. popis sw řešení na klientech úložiště, integrace do OS klientů 5. způsob řešení rozšířených ACL 6. příkazy pro správu kvót #### Úložiště infrastruktury 100. Úložiště infrastruktury je souborové úložiště, které je určeno pro uložení dat infrastrukturních služeb superpočítače a pro uložení dat zadavatele potřebných pro realizaci a poskytování služeb uživatelům. 101. Zadavatel předpokládá následující použití Úložiště infrastruktury a pro ně stanovuje požadované parametry úložiště: - instalační obrazy serverů (výpočetní a přístupové servery) - aplikační software a data zadavatele 102. Dodavatel může využít Úložiště infrastruktury i k jiným účelům než uvedeným v SPEC_101, musí však adekvátně navýšit parametry řešení a musí zajistit splnění zadavatelem požadovaných parametrů. 103. Úložiště infrastruktury musí mít čistou dostupnou kapacitu na úrovni souborového systému minimálně **25 TB** (25x10¹²byte). 104. Úložiště infrastruktury musí umožňovat uložení minimálně 500 miliónů souborů. 105. Úložiště infrastruktury musí poskytovat dlouhodobě udržitelnou agregovanou rychlost sekvenčních operací minimálně **1.5 GB/s** (1.5x10⁹ byte/s). Velikost bloku operací určí dodavatel dle svého uvážení. Požadovaná rychlost musí být reálně dosažitelná z Výpočetních serverů.
Page 13
106. Úložiště infrastruktury musí poskytovat dlouhodobě udržitelný výkon I/O operací náhodného charakteru v režimu čtení/zápis 80 %/20 % minimálně **50 tisíc IOPs**. Velikost bloku operací určí dodavatel dle svého uvážení. Požadovaný výkon musí být reálně dosažitelný z Výpočetních serverů. 107. Úložiště infrastruktury musí umožnovat rozdělení datové kapacity na logické části (souborové systémy či jeho části) požadované velikosti a zpřístupnění těchto logických částí výhradně na vybrané servery. 108. Úložiště infrastruktury musí být dostupné všem serverům řešení HPCQC-AI clusteru. Úložiště infrastruktury musí zpřístupňovat: - instalační obrazy serverů – na Infrastrukturní servery určené pro běh vzdálené instalace, popř. běh síťového bootu serverů - aplikační software a data zadavatele – zpřístupněný v cestě /apps - na Přístupové, Výpočetní servery, Infrastrukturní servery pro běh služeb zadavatele a WAN Síťové brány prostřednictvím Výpočetní sítě - na Infrastrukturní servery pro běh služeb dodavatele; pro servery musí existovat datová cesta k úložišti infrastruktury s propustností minimálně 10Gb/s. 109. (I) Dodavatel musí v nabídce pro Úložiště infrastruktury uvést následující kapacitní a výkonové parametry: 1. čistá dostupná kapacita 2. agregovaná rychlost sekvenčních operací pro dodavatelem zvolenou velikost bloku operací a velikost bloku operací 3. výkon I/O operací náhodného charakteru v režimu čtení/zápis 80 %/20 % pro dodavatelem zvolenou velikost bloku operací a velikost bloku operací 110. (I) Dodavatel musí v nabídce pro Úložiště infrastruktury uvést: 1. architekturu řešení, včetně uvedení všech serverů a diskových polí 2. výrobce, modelové označení a konfiguraci nabízených zařízení 3. velikost a typ paměti RAM zařízení 4. počet, velikost, typ, rozhraní a rychlost disků 5. způsob zabezpečení datových oblastí – konfiguraci RAID nebo erasure codingu, včetně uvedení konkrétních číselných hodnot k+m, např. RAID6 8+2 6. počet spare disků nebo rezervní kapacitu a jejich rozmístění 7. způsob připojení úložiště do sítě superpočítače 1. použitá síť 2. počet adaptérů pro připojení do sítě 3. typ, rychlost a počet portů adaptérů pro připojení do sítě 4. agregovaná rychlost připojení úložiště do sítě 8. způsob zajištění vysoké dostupnosti a redundanci úložiště (dle použité architektury a použitých zařízení řešení – HA servery redundantní řadiče diskových polí, redundantní komponenty zařízení, redundance cest atp.) 9. popis softwarového řešení 1. názvy použitých softwarových produktů 2. použitý síťový souborový protokol 3. popis sw řešení na serverové straně úložiště 4. popis sw řešení na klientech úložiště, integrace do OS klientů 111. V případě, že dodávka obsahuje další zařízení/systémy, které mají charakter úložiště – tj. slouží k ukládání dat a nejedná se o lokální disky serveru, návrh musí obsahovat informace o těchto zařízeních/systémech v rozsahu relevantních bodů SPEC_110.
Page 14
#### Vymezení pojmu – kapacita úložiště 112. Kapacita (velikost) úložiště je požadována a musí být uváděna jako čistá využitelná kapacita (není-li explicitně uvedeno jinak), tj. jako velikost úložiště reálně využitelná uživatelem na nejvyšší poskytované úrovni, tj. na úrovni poskytované služby. Kapacita souborového úložiště je kapacita souborových systémů poskytovaných úložištěm. Kapacita souborového systému je čistá využitelná kapacita souborového systému, to je reálně využitelná kapacita souborového systému. 113. Určení čisté využitelné kapacity úložiště musí být uvedeno pro nabízenou/dodávanou konfiguraci určenou k běžnému provozu. 114. Určení čisté využitelné kapacity nesmí kalkulovat, zohledňovat vlastnosti systému či jeho komponenty na potenciální možnost uložení většího množství dat za předpokladů, které nelze zajistit (komprese, deduplikace apod.). 115. Určení čisté využitelné kapacity nesmí kalkulovat, zohledňovat vlastnosti systému či jeho komponenty na alokování většího prostoru, než je fyzicky možné či reálně uskutečnitelné bez dalších úkonů (oversubscription). 116. Kapacity úložišť se uvádějí s využitím předpon dekadických násobků. gigabyte (GB) 10⁹ byte terabyte (TB) 10¹² byte petabyte (TB) 10¹⁵ byte 117. Čistá dostupná kapacita datového úložiště se zjišťuje na vhodném klientském systému úložiště zápisem do úložiště do jeho zaplnění nebo čtením celého úložiště anebo vhodným systémovým nástrojem prezentujícím velikost – kapacitu úložiště. 118. Nástroje použité pro zjištění kapacity musí poskytovat důvěryhodné informace a musí pracovat se známou velikostí datového bloku nebo se známou a přesnou jednotkou. Pro ilustraci, v OS Linux lze velikost souborového systému v bytech zjistit pomocí příkazu df B1, hodnota Available. #### Vymezení pojmu – rychlost úložiště 119. Rychlost úložiště (rychlost sekvenčních operací a výkon I/O operací) je požadována a musí být uváděna jako rychlost reálně dlouhodobě dosažitelná uživatelem na nejvyšší poskytované úrovni, tj. na úrovni poskytované služby z klientů úložiště. 120. Rychlost souborového úložiště je reálně dlouhodobě dosažitelná (sustained) rychlost operací prováděných na souborových systémech úložiště z klientů souborového úložiště. 121. Rychlost sekvenčních operací úložiště je menší z hodnot rychlost sekvenčního zápisu úložiště a rychlost sekvenčního čtení úložiště. 122. Určení rychlosti úložiště musí být uvedeno pro nabízenou/dodávanou konfiguraci určenou k běžnému provozu. 123. Určení rychlosti nesmí vycházet z předpokladu specifických výhodných podmínek či specifického výhodného režimu měření (např. operace z cache), pokud tyto podmínky nebo režim nejsou explicitně požadovány nebo uvedeny.
Page 15
124. Rychlosti úložišť se uvádějí s využitím předpon dekadických násobků. #### Měření rychlosti 125. Dodavatel musí prokázat splnění rychlosti úložišť provedením výkonových testů (benchmarků) v rámci akceptačních testů (měření rychlosti). 126. Běh výkonových testů úložišť bude realizován na Výpočetních serverech (testovací servery). 127. Před každým měřením rychlosti úložiště musí být zajištěno vymazání diskových cache pamětí testovacích serverů. Použije se příkaz: echo 3 > /proc/sys/vm/drop_caches 128. Měření rychlosti je nutno provádět postupy a za podmínek, které odpovídají běžnému provozu, běžnému poskytování služeb úložiště. Před a během měřením rychlosti úložiště se nesmí provádět žádné úkony, které by měly vliv na výsledek měření. ##### Použití nástroje fio 129. Měření rychlosti sekvenčních operací a měření výkonu I/O operací náhodného charakteru souborových úložišť se bude provádět nástrojem fio v klient-server režimu. fio je open-source nástroj (licence GPL verze 2) pro benchmarkování a testování I/O dostupný na adrese [https://github.com/axboe/fio](https://github.com/axboe/fio). Pro měření se použije fio verze 3.35 nebo novější, pro měření lze použít fio z distribuce dodávaného operačního systému. Na každém serveru určeném pro realizaci měření souborového úložiště (testovacím servery dle SPEC_126) se ověří dostupnost měřeného souborového úložiště a spustí program fio v serverovém režimu: fio --server Z vybraného serveru se pak iniciuje měření – spustí se na něm program fio v klientském režimu: time fio \ --client=machinefile jobfile \ --output-format=normal,json |& \ tee fio.out V souboru machinefile jsou uvedena jména serverů určených pro realizaci měření úložiště, každé jméno je uvedeno na samostatném řádku. jobfile je jméno konfiguračního souboru programu fio obsahujících popis testu dle požadavků konkrétního měření. Soubor jobfile je umístěn na serveru, který iniciuje měření. V definici úloh fio se předpokládá výchozí nastavení všech parametrů, které nejsou explicitně uvedeny (tj. např. ioengine=psync, direct=0). Adresář souborového úložiště použitý pro vytváření testovacích souborů měření (v jobfile jde o nastavení directory) musí být před měřením prázdný.
Page 16
Pro měření sekvenčního čtení souborového úložiště a pro měření výkonu I/O operací náhodného charakteru souborového úložiště se před měřením v adresáři připraví testovací soubory. Testovací soubory se vytvoří stejným postupem jako samotné měření – spuštěním programu fio v klientském režimu, ale v příslušném jobfile se uvede nastavení create_only=1 a pro zkrácení doby běhu přípravy souborů je možno použít jinou velikost bloku (parametr bs). Pro určení výsledku měření bude použit výstup programu fio na serveru, který inicioval měření, tj. soubor fio.out. Budou použity souhrnné informace o měření, které jsou uvedeny v části „All clients“, použije se JSON formát výstupu. V JSON výstupu se použije poslední položka atributu „client_stats“, atribut „jobname“ této položky má hodnotu „All clients“, tato položka je dále označovaná jako souhrn. Pro měření rychlosti sekvenčních operací se použije hodnota atributu „bw_bytes“ atributu „read“ nebo „write“ (podle typu měření) souhrnu. Získaná hodnota udává rychlost (propustnost) v bytech za sekundu. Pro měření výkonu I/O operací se použije součet hodnot atributu „iops“ atributů „read“ a „write“ souhrnu. Získaná hodnota udává celkový počet I/O operací za sekundu (IOPS). ##### Měření rychlosti sekvenčních operací 130. Měření dlouhodobě udržitelné agregované rychlosti sekvenčního operací souborového úložiště se bude provádět nástrojem fio dle SPEC_129. Rychlost sekvenčních operací datového úložiště je menší z hodnot rychlost sekvenčního zápisu souborového úložiště a rychlost sekvenčního čtení souborového úložiště. Pro měření sekvenčního zápisu souborového úložiště se použije následující konfigurační soubor – fio jobfile: [global] rw=write bs=BLOCKSIZE create_on_open=1 time_based runtime=30m numjobs=NUMJOBS fsync_on_close=1 [FILESYSTEM] directory=/MOUNTPOINT/test/fio filesize=FILESIZE Pro měření sekvenčního čtení souborového úložiště se použije následující konfigurační soubor – fio jobfile: [global] rw=read bs=BLOCKSIZE time_based runtime=30m numjobs=NUMJOBS fsync_on_close=1 ;create_only=1 [FILESYSTEM] directory=/MOUNTPOINT/test/fio filesize=FILESIZE
Page 17
Parametry FILESYSTEM, MOUNTPOINT, BLOCKSIZE, NUMJOBS a FILESIZE se nahradí vhodnými hodnotami. Parametr FILESYSTEM udává jméno úložiště, např. HOME nebo SCRATCH. Parametr BLOCKSIZE udává velikost použitého bloku, hodnotou je velikost dle syntaxe programu fio (např. 1M). Parametr MOUNTPOINT udává mountpoint měřeného úložiště na klientech. Parametr NUMJOBS udává počet paralelně prováděných úloh na testovacím serveru, hodnotou je kladné přirozené číslo. Parametr FILESIZE udává velikost jednotlivých souborů, se kterými úloha pracuje, hodnotou je velikost dle syntaxe programu fio (např. 3T). Celková velikost souborů, se kterými měření pracuje z jednoho testovacího serveru, tj. hodnota FILESIZE * NUMJOBS, musí být větší než dvojnásobek velikosti operační paměti každého testovacího serveru. Celková velikost souborů, se kterými měření pracuje ze všech použitých testovacích serverů, tj. hodnota FILESIZE * NUMJOBS * počet_testovacích_serverů musí být větší než - 800TB pro Úložiště SCRATCH - 10TB pro Úložiště HOME - 10TB pro Úložiště infrastruktury ##### Měření výkonu I/O operací 131. Měření dlouhodobě udržitelného výkonu I/O operací náhodného charakteru souborového úložiště se bude provádět nástrojem fio dle SPEC_129. Použije následující konfigurační soubor – fio jobfile. [global] rw=randrw rwmixread=80 bs=BLOCKSIZE time_based runtime=30m numjobs=NUMJOBS fsync_on_close=1 ;create_only=1 [FILESYSTEM] directory=/MOUNTPOINT/test/fio filesize=FILESIZE Parametry FILESYSTEM, MOUNTPOINT, BLOCKSIZE, NUMJOBS a FILESIZE se nahradí vhodnými hodnotami. Parametr FILESYSTEM udává jméno úložiště, např. HOME nebo SCRATCH. Parametr MOUNTPOINT udává mountpoint měřeného úložiště na klientech.
Page 18
Parametr BLOCKSIZE udává velikost použitého bloku, hodnotou je velikost dle syntaxe programu fio (např. 4k).
Parametr NUMJOBS udává počet paralelně prováděných úloh na testovacím serveru, hodnotou je kladné přirozené číslo.
Parametr FILESIZE udává velikost jednotlivých souborů, se kterými úloha pracuje, hodnotou je velikost dle syntaxe programu fio (např. 3T).
Celková velikost souborů, se kterými úloha pracuje z jednoho testovacího serveru, tj. hodnota FILESIZE * NUMJOBS, musí být větší než dvojnásobek velikosti operační paměti každého testovacího serveru.
Celková velikost souborů, se kterými měření pracuje ze všech použitých testovacích serverů, tj. hodnota FILESIZE * NUMJOBS * počet_testovacích_serverů musí být větší než
- 800TB pro Úložiště SCRATCH
- 10TB pro Úložiště HOME
- 10TB pro Úložiště infrastruktury
##### Měření výkonu metadata operací
132. Za účelem ověření stability provádění metadata operací souborového úložiště a zjištění výkonu metadata operací souborového úložiště se v rámci akceptačních testů provede měření dlouhodobě udržitelného výkonu metadata operací souborového úložiště. Měření bude provedeno na úložištích SCRATCH, HOME a Úložišti infrastruktury.
133. Měření dlouhodobě udržitelného výkonu metadata operací souborového úložiště se bude provádět nástrojem mdtest [https://github.com/hpc/ior](https://github.com/hpc/ior).
Pro měření bude použit následující příkaz:
time \
mpirun -n $NPROC -f machinefile \
mdtest \
-C -T -r \
-F \
-d /MOUNTPOINT/test/mdtest \
-I $FILES_PER_DIR \
-i $ITERATIONS \
-u \
-z $TREE_DEPTH -b $BRANCHING_FACTOR \
-L
kde machinefile je soubor obsahující jména serverů určených pro provádění testu, každé jméno uvedeno na samostatném řádku,
NPROC, FILES_PER_DIR ITERATIONS, TREE_DEPTH, BRANCHING_FACTOR jsou proměnné – kladná, přirozená čísla, stanovena tak, že
- že hodnota FILES_PER_DIR je větší nebo rovna 100
- počet souborů vytvořených v každé iteraci je minimálně 10⁸, tj.
$${NPROC*FILES_PER_DIR*BRANCHING_FACTOR}^{TREE_DEPTH}\geq {10}^{8} $$
- doba běhu testu je minimálně 1 hodina.
Za výsledek měření se považují hodnoty z řádků „File creation“ a „File stat“, ve sloupci Mean, tabulky „SUMMARY rate“.Page 19
### Infrastrukturní servery 134. Infrastrukturní servery musí být navrženy a dimenzovány tak, aby zajistily spolehlivý, bezpečný, rychlý a efektivní provoz HPCQC-AI clusteru a jeho správu. Některé požadavky na infrastrukturní služby jsou uvedeny v kapitole 5.13 Software. 135. HPCQC-AI cluster musí obsahovat dvě kategorie Infrastrukturních serverů: 1. Infrastrukturní servery pro běh služeb dodavatele – Infrastrukturní servery určené pro běh služeb dodavatele, které zajišťují chod Superpočítače a komplexní naplnění požadavků zadavatele. Servery jsou mimo jiné určeny pro běh služeb uvedených v kapitole 5.13 Software. 2. Infrastrukturní servery pro běh služeb zadavatele – Infrastrukturní servery určené výhradně pro běh dalších služeb zadavatele, které implementuje a provozuje zadavatel (další služby poskytované uživatelům, integrace superpočítače do prostředí zadavatele a další). 136. HPCQC-AI cluster musí obsahovat minimálně tři fyzické Infrastrukturní servery pro běh služeb dodavatele (kategorie 1), servery musí poskytovat celkově (v souhrnu) minimálně 384GiB RAM a 48 CPU jader. 137. HPCQC-AI cluster musí obsahovat minimálně tři fyzické Infrastrukturní servery pro běh služeb zadavatele (kategorie 2), každý server musí splňovat následující požadavky: - Minimálně 16 CPU jader - Paměť RAM minimálně 192GiB, provozovaná v režimu DDR5 s ECC - Minimálně 2 lokální SSD disky o kapacitě minimálně 960 GB v RAID1 - Připojení Výpočetní síť, minimálně 200Gb/s - Připojení LAN síť, minimálně 100Gb/s - Klient úložišť HOME (/home), SCRATCH (/scratch) a infrastruktury (/apps), je vyžadován nativní klient a dostupnost nativní funkcionality těchto úložišť. 138. Pro řešení infrastrukturních služeb může být použita virtualizační technologie. Použití virtualizace však nesmí mít negativní dopad na kvalitu poskytovaných služeb. 139. Každý fyzický Infrastrukturní server musí splňovat následující požadavky: - Disky v RAID s redundancí dat - Za provozu vyměnitelné (hot-swap) disky - Redundantní, za provozu vyměnitelné (hot-swap) napájecí zdroje, redundantní napájení - Připojení LAN síť 140. Klíčové služby musí být provozovány v režimu vysoké dostupnosti, preferovaně použitím nativního mechanismu dané služby. 141. Výpadek nebo odstávka libovolného jednoho Infrastrukturního serveru nesmí způsobit přerušení probíhajících úloh a provozu Výpočetního clusteru, Přístupových serverů, Úložišť, Síťové infrastruktury a správy superpočítače. 142. (I) Dodavatel musí v nabídce uvést detailní konfiguraci Infrastrukturních serverů obsahující: 1. počet Infrastrukturních serverů pro běh služeb dodavatele (kategorie 1) 2. počet Infrastrukturních serverů pro běh služeb zadavatele (kategorie 2) 3. výrobce a modelové označení serverů 4. počet, výrobce a modelové označení procesorů 5. počet CPU jader a základní frekvenci procesoru
Page 20
6. velikost operační paměti RAM 7. počet, velikost, typ, rychlost a vlastnosti (např. ECC) paměťových modulů 8. počet, výrobce a modelové označení adaptérů Výpočetní sítě 9. typ, rychlost a počet portů adaptéru Výpočetní sítě 10. počet adaptérů LAN sítě 11. typ, rychlost a počet portů adaptéru LAN sítě 12. počet, velikost, typ a vyměnitelnost za provozu disků, konfigurace RAID 13. počet, redundanci a vyměnitelnost za provozu napájecích zdrojů 14. název a verze operačního systému serveru 143. (I) Dodavatel musí v nabídce uvést koncept řešení a předpokládané rozmístění služeb dodavatele na Infrastrukturní servery pro běh služeb dodavatele. ### Zálohování 144. Součástí dodávky musí být komplexní řešení zálohování dat – Zálohování. 145. Řešení Zálohování musí zajištovat zejména: - zálohování všech dodávaných serverů s výjimkou Výpočetních serverů - zálohování Úložiště HOME; Úložiště SCRATCH se nezálohuje. - zálohování Úložiště infrastruktury Pro Výpočetní servery se předpokládá bootování či instalace/reinstalace/obnova z jednotných instalačních obrazů. Zálohují se obrazy centrálního úložiště instalačních obrazů včetně instalačních obrazů Výpočetních serverů. Pro úložiště HOME se předpokládá obsazení 80% celkové kapacity úložiště daty typickými pro takové úložiště v daném použití (tedy HOME v prostředí HPC centra obdobné velikosti), předpokládá se změna 4% celkové kapacity úložiště denně. Úložiště infrastruktury se zálohuje na úrovni souborového systému realizovaném na logických částech Úložiště infrastruktury. Pro Úložiště infrastruktury se předpokládá obsazení 80% celkové kapacity a změna 4% celkové kapacity úložiště denně. Není nutno zálohovat data serverů dočasného charakteru, která nejsou potřebná k obnově serveru. 146. Zálohování dat musí probíhat s periodou 1 den. Kompletní cyklus zálohování všech dat musí proběhnout v čase od 22:00 do 6:00 (tj. během maximálně 8 hodin). 147. Řešení Zálohování musí umožňovat/poskytovat obnovu dat z posledních 21 dnů, z posledních 21denních záloh. 148. Řešení Zálohování musí poskytovat dostatečnou zálohovací kapacitu pro naplnění všech uvedených požadavků (s ohledem na použitou technologii a reálně dosažitelné parametry v daném nasazení). 149. Priority zálohování a obnovy dat (pořadí dle priority od nejvyšší k nejnižší): 1. Nejvyšší priorita: Servery řešení nezbytné pro poskytování služeb systému, Úložiště infrastruktury 2. Další servery řešení
Page 21
3. Nejnižší priorita: Úložiště HOME 150. Řešení pro zálohování a obnovu dat musí splňovat následující základní vlastnosti: - časový harmonogram záloh - obnova individuálních souborů a složek - obnova vlastníků, práv a atributů souborů a složek - paralelní běh záloh a obnov 151. Řešení zálohování musí používat technologii zálohování do diskového úložiště. Předpokládá se použití technologie pro lepší efektivitu uložení dat (např. komprese nebo deduplikace). 152. Zálohování musí používat vyhrazené, nezávislé úložiště. Úložiště určené pro zálohování musí splňovat požadavky uvedené v kapitole 5.8.1.3 Redundance disků. 153. Server/servery řešení zálohování jsou považovány za Infrastrukturní servery dle kapitoly 5.9 Infrastrukturní servery a musí splňovat požadavky na ně kladené. Server/servery řešení zálohování nemusí být vyhrazené pouze pro běh služeb zálohování. 154. Zálohování musí být řešeno tak, aby mělo minimální negativní dopad na provoz a výkon HPCQC-AI clusteru. 155. Licence zálohovacího systému musí pokrývat všechny uvedené potřeby v maximální konfiguraci. 156. (I) Dodavatel musí v nabídce uvést zálohovací kapacitu a propustnost řešení, která je dostatečná pro naplnění uvedených požadavků na zálohování. 157. (I) Dodavatel musí v nabídce popsat výpočet potřebné kapacity pro naplnění požadavků zadavatele na zálohování. 158. (I) Dodavatel musí v nabídce uvést architekturu řešení, popis softwarového řešení zálohování a navrhovanou zálohovací politiku. 159. (I) Dodavatel musí v nabídce pro diskové úložiště řešení zálohování uvést: 1. výrobce, modelové označení a konfiguraci nabízených zařízení 2. počet, velikost, typ, rozhraní a rychlost disků 3. způsob zabezpečení datových oblastí – konfiguraci RAID nebo erasure codingu, včetně uvedení konkrétních číselných hodnot k+m, např. RAID6 8+2 4. počet spare disků nebo rezervní kapacitu a jejich rozmístění 5. způsob připojení diskového úložiště na zálohovací server/servery ### Síťová infrastruktura 160. HPCQC-AI cluster musí obsahovat veškerou síťovou infrastrukturu (aktivní prvky, moduly, kabeláž atd.) potřebnou pro realizaci superpočítače a pro připojení superpočítače do WAN sítě zadavatele a do storage sítě zadavatele. #### LAN síť 161. LAN síť musí zajišťovat komunikaci mezi zařízeními uvnitř superpočítače a poskytovat připojení do WAN sítě zadavatele. 162. LAN síť musí obsahovat veřejné a privátní části sítě. 163. Veřejné části sítě (dále jen veřejné sítě), ve kterých budou použity veřejné IPv4 a IPv6 adresy, budou sloužit pro poskytování služeb dostupných z internetu (přístupové servery, některé infrastrukturní servery zadavatele). 164. Privátní části sítě (dále jen privátní sítě), ve kterých budou použity privátní IPv4 adresy, budou sloužit pro vnitřní služby a pro management zařízení. 165. Zařízením v privátních sítích musí být umožněn přístup do internetu přes NAT. NAT bude poskytován síťovým prvkem zadavatele umístěným ve WAN síti zadavatele. 166. Řešení sítě musí podporovat IPv6. 167. LAN síť musí být rozdělena do různých L3 sítí. Pro každou L3 síť musí být použita jiná L2 síť (VLAN nebo jiný aktivní prvek). Je nežádoucí používat jednu L2 síť pro více L3 sítí. Rozdělení sítí musí být zajišťovat zejména oddělení těchto provozů: - služby dostupné z internetu - datová komunikace mezi servery (služby) - management síťových aktivních prvků - management diskových polí a storage zařízení - management serverů (BMC, IPMI apod.) - management non-IT infrastruktury (napájení, chlazení apod.) ##### Připojení zařízení 168. Připojení Přístupových serverů a Infrastrukturních serverů do LAN sítě musí být redundantní. 169. Minimální rychlost připojení zařízení do LAN sítě: Minimální rychlost připojení každého Přístupového serveru je 100 Gb/s. Minimální rychlost připojení každé WAN Síťové brány je 100 Gb/s. Minimální rychlost připojení každého Infrastrukturní serveru pro běh služeb dodavatele je 25Gb/s. Minimální rychlost připojení každého Infrastrukturní serveru pro běh služeb zadavatele je 100Gb/s. Minimální rychlost připojení každého Výpočetního serveru je 1 Gb/s. 170. Minimální rychlosti dle SPEC_169 musí být dosažitelné při přístupu z WAN sítě zadavatele. Pro systémy uvedené v požadavku SPEC_168 musí být požadavek minimální rychlosti splněn i v případě výpadku jednoho libovolného aktivního síťového prvku. 171. Agregovaná rychlost připojení všech Přístupových serverů v LAN síti dosažitelná při přístupu z WAN sítě zadavatele musí být minimálně 200 Gb/s. 172. Agregovaná rychlost připojení všech Infrastrukturních serverů pro běh služeb zadavatele v LAN síti dosažitelná při přístupu z WAN sítě zadavatele musí být minimálně 200 Gb/s. 173. Agregovaná rychlost připojení všech Výpočetních serverů v LAN síti dosažitelná při přístupu z WAN sítě zadavatele musí být minimálně 25 Gb/s. ##### Hraniční prvky 174. Propojení LAN sítě HPCQC-AI clusteru s WAN sítí zadavatele musí být na straně HPCQC-AI clusteru řešena redundantními aktivními síťovými prvky (dále označovanými jako hraniční prvky, v obrázku označeno HP1, HP2). Hraniční prvky musí splňovat následující vlastnosti:
Page 22
- duální napájení - redundantní zapojení serverů pomocí multi-chassis ether channel - propustnost propojení mezi hraničními prvky musí být minimálně 200Gb/s - oddělené routovací instance pro privátní a veřejné sítě 175. Hraniční prvky musí umožňovat restrikce datového provozu pomocí access control listů (ACL). Hraniční prvky musí umožňovat konfigurace ACL pro každý port zařízení zvlášť. Každý hraniční prvek musí umožňovat konfiguraci ACL o minimálním počtu 2 tisíce vstupních a 2 tisíce výstupních pravidel. 176. V případě odděleného control-plane hraničních prvků, hraniční prvky musí umožňovat použití technologií HSRP nebo VRRP, kde keepalive komunikace probíhá po IP adresách z rozdílného subnetu (privátního) než je plovoucí IP adresa z veřejného IP rozsahu. 177. Hraniční prvky musí umožňovat autentizaci uživatelů protokolem RADIUS nebo TACACS+, definici různých rolí při správě sítě (operátor, administrátor atd.) a logování použitých příkazů. 178. Hraniční prvky musí umožňovat export i import konfigurace na/ze serveru pomocí protokolu TFTP, FTP, SCP nebo SFTP. Konfigurace musí být uložena ve tvaru, který umožňuje její editaci. ##### Aktivní síťové prvky Požadavky uvedené v této kapitole jsou společné požadavky pro všechny aktivní síťové prvky včetně Hraničních prvků. 179. Aktivní síťové prvky musí být vzdáleně spravovatelné použitím zabezpečeného management rozhraní, s použitím silných šifer, silných klíčů a silných hashovacích algoritmů. 180. Aktivní síťové prvky musí poskytovat vzdálený přístup pomocí protokolu SSH2. 181. Aktivní síťové prvky musí podporovat standard 802.1Q (VLAN Tagging). 182. Aktivní síťové prvky musí umožňovat provoz VLAN v počtu minimálně 100, s možností číslování VLAN od 1 do 4094. 183. Aktivní síťové prvky musí podporovat protokoly IGMPv2 a IGMPv3. 184. Aktivní síťové prvky, které v řešení pracují na L3 vrstvě, musí podporovat IPv4 multicast routing a protokoly PIM Sparse Mode and PIM Source-Specific Multicast. 185. Aktivní síťové prvky musí umožňovat čtení údajů o stavu a vytížení portů protokoly SNMPv2 a SNMPv3. Musí umožňovat: - možnost definice omezení přístupu do vybraných větví SNMP stromu pro specifikovanou komunitu - zasílání SNMP trapů pro definované události 186. Ethernetová management rozhraní aktivních prvků sítě budou připojena do OOB sítě zadavatele realizovaného OOB switchem zadavatele. Propojení bude realizováno fyzickým propojem dodaného síťového prvku, kde budou fyzicky zapojena výše zmíněná management rozhraní. Takové propojení bude fungovat jako L2 trunk. Dodavatel může využít maximálně dvou portů OOB switche zadavatele. Dodavatel dodá potřebnou kabeláž a zajistí připojení.
Page 23
Sériová management rozhraní hraničních prvků sítě budou připojena do OOB konzolového serveru zadavatele. Dodavatel zajistí kabeláž mezi patchpanelem zadavatele ve WAN racku a rackem s dodaným hardware. Pro ethernetové i sériové propoje bude použit ethernetový kabel typu drát kategorie 5E nebo vyšší, s pláštěm LSOH. 187. (I) Dodavatel musí v nabídce uvést schéma LAN sítě, počty spojů a rychlosti spojů. 188. (I) Dodavatel musí v nabídce uvést specifikaci Hraničních prvků: 1. výrobce, modelové označení zařízení 2. počet zařízení 3. označení feature licencí 189. (I) Dodavatel musí v nabídce uvést specifikaci aktivních síťových prvků: 1. výrobce, modelové označení zařízení 2. počet zařízení #### Adresace, jmenné služby 190. Správu veškerých adresních rozsahů, jmenných rozsahů, uživatelských účtů a skupin realizuje výhradně zadavatel. 191. Adresace IP sítí řešení úložiště musí být ve shodě s adresní politikou a adresním plánem zadavatele, použité adresní rozsahy (nejsou-li již definovány v jiné části zadávací dokumentace) budou stanoveny vždy v jednání se zadavatelem. 192. Zadavatel požaduje možnost ovlivnění konfigurace DNS služeb dodávaných dodavatelem a možnost integrace vlastních DNS služeb (pohledů). 193. Zařízení a systémy úložiště musí používat přesný čas. Pro synchronizaci času se budou používat NTP servery zadavatele v síti zadavatele. #### Integrace do WAN sítě 194. Připojení do WAN sítě musí poskytovat konektivitu 4x100 Gb/s. 195. Připojení do WAN prvků zadavatele musí být redundantní. Výpadek či odstávka libovolného jednoho hraničního prvku WAN sítě zadavatele nesmí způsobit nedostupnost služeb superpočítače. 196. Každý Hraniční prvek HPCQC-AI clusteru musí být připojen na každý ze dvou hraničních prvků WAN sítě zadavatele pomocí jednoho spoje o rychlosti 100Gb/s. Pro připojení HPCQC-AI clusteru do WAN sítě zadavatele jsou ve dvou hraničních prvcích WAN sítě zadavatele (CISCO Nexus 9336C-FX2) vyhrazeny celkem čtyři porty QSFP28, po dvou v každém hraničním prvku. Součástí dodávky jsou moduly a optické kabely potřebné pro připojení Hraničních prvků HPCQC-AI clusteru do hraničních prvků WAN sítě zadavatele. Propojení musí využívat moduly kompatibilní s propojovanými zařízeními. Je požadováno natažení síťové kabeláže v podhledech datového sálu. WAN síť zadavatele je popsána v kapitole WAN síť, kde jsou rovněž znázorněny kabelové trasy.
Page 24
197. Propojení Hraničních prvků HPCQC-AI clusteru s hraničními prvky WAN sítě zadavatele bude realizováno přes Ethernet a privátní IPv4 adresy vyhrazené pro tyto účely zadavatelem. 198. (I) Dodavatel musí v nabídce uvést popis řešení integrace do WAN sítě. ##### WAN síťové brány 199. Jako součást integrace do WAN sítě zadavatele dodávka musí obsahovat minimálně dvě WAN Síťové brány. WAN Síťové brány propojují Výpočetní síť HPCQC-AI clusteru s WAN síti zadavatele prostřednictvím LAN sítě HPCQC-AI clusteru. Řešení WAN Síťových bran je určeno ke zpřístupnění internetu a služeb zadavatele provozovaných v jeho síti Výpočetním serverům HPCQC-AI clusteru. 200. Každá WAN Síťová brána musí splňovat následující požadavky: - Fyzický server - Architektura x86-64 - Operační systém Linux 64-bit - Minimálně jeden procesor, celkem minimálně 32 CPU jader - Paměť RAM minimálně 128GiB, DDR5 s ECC - Paměť RAM musí být tvořena paměťovými moduly shodných parametrů - Teoretická propustnost procesoru/procesorů do paměti RAM minimálně 160 GB/s (v nabízené konfiguraci serveru) - Minimálně 2 lokální SSD disky o kapacitě minimálně 480 GB v RAID1 - Za provozu vyměnitelné (hot-swap) disky - Redundantní, za provozu vyměnitelné (hot-swap) napájecí zdroje, redundantní napájení 201. Každá WAN Síťová brána musí být připojena: - do Výpočetní sítě HPCQC-AI clusteru s celkovou, agregovanou rychlostí minimálně 100 Gb/s a - do LAN sítě HPCQC-AI clusteru (do jejich hraničních prvků) s celkovou, agregovanou rychlostí minimálně 100 Gb/s. 202. Konektivita mezi Výpočetní sítí HPCQC-AI clusteru a WAN síti zadavatele musí být zajištěna i v případě výpadku či odstávky libovolné jedné WAN Síťové brány. 203. Součástí dodávky je implementace softwarového řešení WAN Síťových bran, řešení musí poskytovat NAT (Network Address Translation), v řešení bude použit software keepalived. Zadavatel může použít WAN Síťové brány rovněž pro běh dalších služeb. 204. (I) Dodavatel musí v nabídce uvést detailní konfiguraci WAN Síťových bran obsahující: 1. počet WAN Síťových bran 2. výrobce a modelové označení serveru 3. počet, výrobce a modelové označení procesorů 4. počet CPU jader a základní frekvenci procesoru 5. TDP procesoru 6. velikost operační paměti RAM 7. počet paměťových kanálů serveru – celkový a využitý 8. počet, velikost, typ, rychlost a vlastnosti (např. ECC) paměťových modulů 9. počet, výrobce a modelové označení adaptérů Výpočetní sítě 10. typ, rychlost a počet portů adaptéru Výpočetní sítě 11. počet adaptérů LAN sítě
Page 25
12. typ, rychlost a počet portů adaptéru LAN sítě 13. počet, velikost, typ a vyměnitelnost za provozu disků, konfigurace RAID 14. počet, redundanci a vyměnitelnost za provozu napájecích zdrojů 15. název a verze operačního systému serveru #### Integrace do storage sítě 205. Pro realizaci integrace do storage sítě zadavatele dodávka musí obsahovat minimálně dvě Storage Síťové brány. Storage Síťové brány propojují Výpočetní síť HPCQC-AI clusteru se storage sítí zadavatele, zajišťují konektivitu těchto dvou sítí, a tak síťově zpřístupňují serverům HPCQC-AI clusteru úložiště zadavatele připojená do storage síti zadavatele 206. Každá Storage Síťová brána musí splňovat následující požadavky: - Fyzický server - Architektura x86-64 - Operační systém Linux 64-bit - Minimálně jeden procesor, celkem minimálně 16 CPU jader - Paměť RAM minimálně 64GiB, DDR5 s ECC - Paměť RAM musí být tvořena paměťovými moduly shodných parametrů - Teoretická propustnost procesoru/procesorů do paměti RAM minimálně 160 GB/s (v nabízené konfiguraci serveru) - Minimálně 2 lokální SSD disky o kapacitě minimálně 240 GB v RAID1 - Za provozu vyměnitelné (hot-swap) disky - Redundantní, za provozu vyměnitelné (hot-swap) napájecí zdroje, redundantní napájení 207. Každá Storage Síťová brána musí být připojena do Výpočetní sítě HPCQC-AI clusteru s celkovou, agregovanou rychlostí minimálně 100Gb/s. 208. Každá Storage Síťová brána musí být připojena rychlostí 100Gb/s do právě jednoho hraničního prvku storage sítě zadavatele, a to bez použití break-out kabeláže a bez použití protokolu LACP, nebo podobného protokolu. Pro připojení HPCQC-AI clusteru do storage sítě zadavatele jsou ve dvou hraničních prvcích storage sítě zadavatele (CISCO Nexus 9336C-FX2) vyhrazeny celkem dva porty QSFP28, po jednom v každém hraničním prvku. Součástí dodávky jsou moduly a optické kabely potřebné pro připojení do hraničních prvků storage sítě zadavatele. Propojení musí využívat moduly kompatibilní s propojovanými zařízeními. Je požadováno natažení síťové kabeláže v podhledech datového sálu. Storage síť zadavatele je popsána v kapitole 7.5 Storage síť. 209. Konektivita mezi Výpočetní sítí HPCQC-AI clusteru a storage sítí zadavatele musí být zajištěna i v případě výpadku či odstávky libovolné jedné Storage Síťové brány. 210. Součástí dodávky je implementace softwarového řešení Storage Síťových bran, v řešení bude použit software keepalived. Zadavatel může použít Storage Síťové brány rovněž pro běh dalších služeb. 211. (I) Dodavatel musí v nabídce uvést detailní konfiguraci Storage Síťových bran obsahující: 1. počet Storage Síťových bran 2. výrobce a modelové označení serveru 3. počet, výrobce a modelové označení procesorů 4. počet CPU jader a základní frekvenci procesoru 5. TDP procesoru
Page 26
6. velikost operační paměti RAM 7. počet paměťových kanálů serveru – celkový a využitý 8. počet, velikost, typ, rychlost a vlastnosti (např. ECC) paměťových modulů 9. počet, výrobce a modelové označení adaptérů Výpočetní sítě 10. typ, rychlost a počet portů adaptéru Výpočetní sítě 11. počet adaptérů Storage sítě 12. typ, rychlost a počet portů adaptéru Storage sítě 13. počet adaptérů LAN sítě 14. typ, rychlost a počet portů adaptéru LAN sítě 15. počet, velikost, typ a vyměnitelnost za provozu disků, konfigurace RAID 16. počet, redundanci a vyměnitelnost za provozu napájecích zdrojů 17. název a verze operačního systému serveru ### Obecné technické požadavky 212. Paměti RAM všech serverů a řadičů diskových polí musí používat mechanismus detekce a opravy chyby – Error-correcting code memory (paměť ECC). 213. Běžný provoz a dostupnost deklarovaných kapacit zařízení nesmí vyžadovat zásah obsluhy. 214. Všechna zařízení a systémy musí být spravovatelné vzdáleně. 215. Servery musí mít vzdálený síťový management nezávislý na provozu operačního systému serveru poskytující ovládání napájení, reset, grafickou konzoli a připojení virtuálních médií. 216. Požaduje-li se podpora protokolu SSH, SCP a/nebo SFTP musí být podporována verze 2 protokolu a je požadováno použití silných šifer, silných klíčů a silných hashovacích algoritmů. 217. Všechna zařízení HPCQC-AI clusteru musí být fyzicky označena jednoznačnou identifikací, která musí být na zařízeních snadno dostupná a čitelná, a vhodným způsobem evidována. ### Software 218. Součástí HPCQC-AI clusteru musí být komplexní softwarové řešení provozu a správy HPCQC-AI clusteru. Pro veškeré softwarové vybavení musí být zajištěna možnost bezplatného používání po neomezenou dobu. #### OS a aplikace 219. Všechny servery musí používat operační systém Red Hat Enterprise Linux nebo Rocky Linux, verze 9 nebo novější. Servery určené výhradně na řešení Zálohování mohou používat operační systém Microsoft Windows Server verze 2022 nebo novější. 220. Všechny Výpočetní a Přístupové servery musí používat stejnou distribuci a stejnou verzi operačního systému. 221. Licence operačního systému musí pokrývat všechny dodávané servery. 222. Dodané operační systémy a softwarové vybavení musí mít dobrou dostupnost aktualizací, zejména těch, které jsou určeny ke zvýšení bezpečnosti, spolehlivosti, odstranění funkčních či výkonových nedostatků. 223. Součástí dodávky je poskytování a provádění aktualizací softwarového vybavení, podmínky jsou uvedeny ve smlouvě.
Page 27
224. Dodávka musí obsahovat softwarové vybavení potřebné pro provedení akceptačních testů a pro možnost opakování těchto testů v záruční době (s výjimkou software poskytnutého zadavatelem). Zadavatel poskytne kompilátory a MPI/MKL knihovny Intel v poslední dostupné stabilní verzi pro variantu Výpočetních a Přístupových serverů na platformě x86-64. Dodavatel poskytne kompilátory, knihovny pro MPI a knihovny pro akceleraci matematických operací (především BLAS) optimalizované a vhodné pro variantu Výpočetních a Přístupových serverů s CPU na platformě ARM64. 225. Komplexní správu uživatelského aplikačního vybavení (tj. software pro výpočty), jeho získání, sestavení, instalaci, konfiguraci a nastavení bude zajišťovat zadavatel. 226. Dodávka musí obsahovat softwarové řešení pro simulaci kvantových výpočtů (quantum computing simulator) akcelerované pomocí dodávaných GPU. V případě licencovaného softwarového řešení musí licence pokrývat všechny Výpočetní a Přístupové servery. 227. (I) Dodavatel musí v nabídce uvést 1. technický popis navrhovaného softwarového řešení/stacku 2. názvy a počet licencí navrhovaného software 3. popis softwarové řešení pro simulaci kvantových výpočtů #### Prostředí 228. HPCQC-AI cluster musí poskytovat koncovým uživatelům transparentní, jednotné, sdílené uživatelské prostředí. 229. HPCQC-AI cluster musí poskytovat koncovým uživatelům v maximální míře shodné prostředí na všech uživatelsky dostupných serverech – tj. na Přístupových serverech a Výpočetních serverech. Uživatelské prostředí na serverech stejného typu musí být shodné. Uživatelské prostředí serverů různých typů musí být v maximální účelné míře shodné, rozdíly vyplývají pouze z rozdílů povahy a služeb serverů. Servery musí poskytovat en_US a C locale. 230. Přístupové servery musí uživatelům poskytovat koncovým uživatelům řádkové (command-line) rozhraní a grafické rozhraní. #### Uživatelské účty 231. HPCQC-AI cluster musí poskytovat koncovým uživatelům jednotný účet a jednotnou autentizaci. Účet koncového uživatele musí být dostupný a shodný na všech Přístupových a Výpočetních serverech. 232. Realizace uživatelských účtů musí používat technologie LDAP a SSSD. Účty uživatelů budou uloženy a spravovány v LDAP databázi. Pro realizaci uživatelských účtů a skupin budou použita LDAP schémata posixAccount a posixGroup. Správa uživatelských účtů a skupin bude realizována zabezpečeným protokolem LDAP (LDAP STARTTLS, nebo LDAPS). Správu uživatelských účtů a skupin bude realizovat výhradně zadavatel. Zadavatel provádí centralizovanou správu všech uživatelů centra IT4Innovations, informace o uživatelích a skupinách HPCQC-AI clusteru budou zadavatelem synchronizovány z centrální repository zadavatele do LDAP databáze HPCQC-AI clusteru. Správu domovských adresářů uživatelů bude rovněž realizovat výhradně zadavatel.
Page 28
LDAP služba musí být realizována dvojicí LDAP serverů s replikovanou databází. LDAP služba bude realizována dodavatelem na vhodných Infrastrukturních serverech, které nemusí být vyhrazeny pouze pro běh této služby. Přístup k LDAP záznamům bude zabezpečen pomocí specifických servisních účtů, autentizace a ACL. Pro řešení služby LDAP zadavatel preferuje software OpenLDAP. Na serverech poskytujících uživatelské účty bude použita služba SSSD využívající LDAP službu zabezpečeným LDAP protokolem. Na Přístupových serverech bude použita SSSD LDAP enumerace. Zadavatel pro uživatelské účty využívá uid a gid čísla z rozsahu <10 000, 50 000>. Dodavatel nesmí na serverech použít uid a gid z uvedeného rozsahu. 233. Realizace jednotné autentizace uživatelů bude používat SSH klíče. SSH klíče budou spravovány zadavatelem nebo uživatelem a budou uloženy v LDAP databázi nebo v domovském adresáři uživatele. Služba SSH musí umožňovat ověřování autorizovaných SSH klíčů uživatele proti LDAP záznamu uživatelského účtu a použití SSH certifikátů, předpokládaná realizace je konfigurací vlastností sshd a sssd. Pro autentizaci se nepředpokládá použití hesel. Zadavatel si upraví konfiguraci služby SSH dle svých potřeb. #### Plánovač 234. HPCQC-AI cluster musí poskytovat jednotný přístup k výpočetním zdrojům. HPCQC-AI cluster musí pro přístup k výpočetním zdrojům, pro vykonávání výpočetních úloh na Výpočetních serverech používat pokročilý plánovač úloh a manažer zdrojů (dále jen Plánovač). 235. Jako Plánovač HPCQC-AI clusteru bude použit Slurm [https://slurm.schedmd.com/](https://slurm.schedmd.com/) aktuální verze, ve standardním provedení. 236. Serverová část Plánovače musí být provozována na (vybraných) Infrastrukturních serverech. V případě virtuálních serverů servery musí být vyhrazené pro běh této služby, v případě fyzických serverů servery nemusí být vyhrazeny pouze pro běh této služby. Pro data Slurmu (informace o úlohách a Slurm accounting databáze) bude použit lokální SSD nebo NVME disk Infrastrukturního serveru (vyhrazená kapacita 100 GB). 237. Dodavatel zajistí prvotní, základní instalaci a konfiguraci Plánovače, tak aby předvedl základní funkčnost clusteru a provedl akceptační testy. Není požadována HA konfigurace plánovače. Zadavatel si poté řešení Plánovače komplexně upraví a bude spravovat, upravovat a provozovat dle svých představ a potřeb. Podpora na Slurm není požadována. #### Správa 238. HPCQC-AI cluster musí obsahovat nástroje a řešení pro správu (management) všech systémů a služeb, které jsou součástí dodávky. 239. HPCQC-AI cluster musí obsahovat vzdálenou správu a monitoring všech hardwarových zařízení (servery, disková pole, switche atd.) poskytující zejména konfiguraci a ovládání zařízení, detekci závažných stavů a událostí a jejich oznamování prostřednictvím SMTP (email) nebo SNMP. 240. HPCQC-AI cluster musí poskytovat vzdálené ovládání napájení a reset serverů bez závislosti na operačním systému ovládaného serveru (předpokládáme použití protokolu IPMI). Funkcionalita musí být realizovatelná command-line nástrojem.
Page 29
Funkcionalita musí být dostupná na vybraných Infrastrukturních serverech (určených pro správu). 241. HPCQC-AI cluster musí poskytovat zobrazení a ovládání systémových konzolí serverů po síti v terminálovém režimu bez závislosti na operačním systému ovládaného serveru (předpokládáme použití protokolu IPMI). Funkcionalita musí být realizovatelná command-line nástrojem. Funkcionalita musí být dostupná na vybraných Infrastrukturních serverech (určených pro správu). 242. HPCQC-AI cluster musí poskytovat efektivní centralizovanou vzdálenou správu operačních systémů serverů, a to jak jednotlivě (jeden server) tak hromadně (po skupinách serverů nebo všechny servery). Systém musí poskytovat zejména vzdálené vykonávání příkazů, přenos, modifikaci a odstraňování souborů, porovnávání výstupu příkazů a návratových hodnot příkazů. Systém musí umožňovat paralelní provádění akcí. Vzdálená správa musí efektivně pracovat i v případech, kdy některé spravované servery nekomunikují nebo nepracují korektně, musí identifikovat chyby prováděných akcí a oznamovat je. Dodavatel zajistí vhodné pojmenování serverů a definici skupin serverů pro efektivní používání centralizované vzdálené správy. Funkcionalita musí být realizovatelná command-line nástrojem. Funkcionalita musí být dostupná na vybraných Infrastrukturních serverech (určených pro správu). Pro řešení bude použit software ClusterShell [https://github.com/cea-hpc/clustershell](https://github.com/cea-hpc/clustershell). 243. Funkcionalita popsaná v SPEC_240 až SPEC_242 musí být komplexně (a současně) dostupná na minimálně jednom Infrastrukturním serveru (určeném pro správu). #### Vzdálená instalace a bootování 244. HPCQC-AI cluster musí poskytovat efektivní vzdálenou instalaci serverů a bootování serverů po síti z centrálního úložiště obrazů. Řešení musí umožňovat instalaci/bootování jednoho serveru, tak hromadnou instalaci/bootování více serverů současně (paralelně). Řešení musí poskytovat správu (instalačních a bootovacích) obrazů (image) serverů – zejména vytváření, modifikaci a odstraňování obrazů. Serverová část řešení musí být provozována na (vybraných) Infrastrukturních serverech, které nemusí být vyhrazeny pouze pro běh této služby. 245. Řešení vzdálené instalace a bootování serverů dle SPEC_244 musí být použito pro bootování Výpočetních serverů a pro instalaci Přístupových serverů. Pro servery shodného typu se použije shodný instalační obraz. 246. Centrální úložiště obrazů serverů dle SPEC_244 musí pojmout obrazy o celkové velikosti minimálně 1TB. Centrální úložiště obrazů může být realizováno na Úložišti infrastruktury. 247. Servery využívající bootování po síti musí po nastartování běžet z operační paměti, nesmí používat pro provoz operačního systému úložiště poskytované jiným serverem (tj. pro běh operačního systému se nesmí použít např. NFS share). 248. Realizace serverů dle SPEC_245 musí probíhat ve dvou fázích: 1. Instalace, resp. bootování serveru z centrálního úložiště obrazů za využití vybraného obrazu pro daný typ serveru. Obraz serveru obsahuje zejména aplikační balíky (package) potřebné pro chod serveru. Součástí obrazu je jen minimální konfigurace (zejména konfigurace sítě) tak, aby bylo možno realizovat následující fázi. 2. Konfigurace systému serveru aplikací Ansible předpisů. Konfigurace systému bude popsána pomocí Ansible předpisů, které se budou aplikovat po instalaci (resp. bootu) operačního systému a dále dle potřeby. Ansible předpisy budou rozděleny do dvou skupin: Ansible předpisy dodavatele – komplexní konfigurace serveru tak, aby byl zajištěn správný a efektivní chod serveru a naplnění požadavků zadavatele. Vytvoření a údržbu těchto předpisů zajišťuje dodavatel. Ansible předpisy zadavatele – úprava konfigurace, nastavení prostředí a služeb zadavatele. Vytvoření a údržbu těchto předpisů zajišťuje zadavatel. Na servery budou aplikovány aktuální verze Ansible předpisů, Ansible předpisy nejsou obsaženy v obrazech serverů. Ansible předpisy budou organizovány v GIT repozitáři. #### Monitoring 249. HPCQC-AI cluster musí obsahovat monitoring dostupnosti komponent a služeb systému. Monitoring musí poskytovat informace o dostupnosti a stavu relevantních služeb všech dodávaných serverů (včetně výpočetních serverů), úložišť atd. Pro řešení bude použit software Icinga2 provozovaný na vybraném Infrastrukturním serveru, který nemusí být vyhrazen pouze pro běh této služby. Instalaci a konfiguraci Icinga2 zajistí dodavatel. Zadavatel doplní řešení sadou svých testů a začlení Icinga2 instanci do svého Icinga2 clusteru. #### Logování 250. Systémy HPCQC-AI clusteru musí zaznamenávat a centralizovaně uchovávat záznamy o aktivitách, činnostech, změnách stavu, událostech apod. (logování). Záznamy musí obsahovat časové razítko, identifikaci systému, služby, uživatele a popis události. Řešení musí poskytovat efektivní prohledávání velkého množství záznamů. Záznamy (logy) musí být uchovávány po dobu minimálně 3 měsíců. Řešení logování musí poskytovat kapacitu pro sbíraná data o celkové velikosti minimálně 1TB. Řešení logování musí být provozováno na (vybraných) Infrastrukturních serverech, které nemusí být vyhrazeny pouze pro běh této služby. #### Mail 251. HPCQC-AI cluster musí veškerou mailovou komunikaci realizovat výhradně prostřednictvím SMTP serverů zadavatele. Zadavatel poskytne SMTP servery. #### Bezpečnost IT4Innovations národní superpočítačové centrum je držitelem certifikátů systému managementu bezpečnosti informací podle normy ISO 27001 (ISO/IEC 27001:2013, ČSN ISO/IEC 27001:2014). Implementace HPCQC-AI clusteru bude realizována v souladu s vnitřními předpisy zadavatele.
Page 30
252. HPCQC-AI cluster musí poskytovat přístup a služby pouze oprávněným uživatelům a systémům. Systém nesmí umožnit či poskytovat přístup a služby neoprávněným uživatelům a systémům. Systém musí být zabezpečen proti úniku dat, proti zneužití služeb, proti kompromitaci služeb a systémů. 253. Systémy a služby musí používat bezpečná, silná hesla, bezpečné klíče, bezpečné šifrování a protokoly. Je nepřípustné použití výchozích (default) hesel a klíčů a slabých hesel. Je nepřípustné používat stejné autentizační údaje pro různé účty či služby. 254. Řešení HPCQC-AI clusteru musí poskytovat nastavení různých úrovní oprávnění uživatelů, tak aby byl poskytován přístup jen k nezbytným službám a datům. Systém musí zejména rozlišovat koncové uživatele, kteří využívají poskytované služby a mají přístup k některým (zejména vlastním) datům, a uživatele správy systému, kteří dohlížejí a spravují celý systém. 255. Služby, které nejsou pro provoz řešení a zajištění funkcionality potřeba, nebudou na serverech spouštěny/provozovány, nejlépe ani instalovány. 256. HPCQC-AI cluster nesmí bez souhlasu zadavatele komunikovat s jinými systémy. ### Integrace do datového centra zadavatele 257. Dodavatel je povinen realizovat a zprovoznit HPCQC-AI cluster v infrastruktuře zadavatele – v datovém centru IT4Innovations (tzv. integrace do datového centra zadavatele). 258. Integrací do datového centra zadavatele se rozumí veškeré dodávky a činnosti, jejichž výsledkem bude zprovoznění HPCQC-AI clusteru v prostorách a infrastruktuře datového centra IT4Innovations. 259. Integrace systémů do datového centra zadavatele musí být provedena dle platné legislativy a předpisů a dle požadavků a doporučení výrobců jednotlivých systémů. Pro instalované systémy musí být provedeny revize požadované legislativou a předpisy. 260. Dodavatel je povinen respektovat infrastrukturu zadavatele. Infrastruktura zadavatele je popsána v kapitole 8 Infrastruktura zadavatele. Nabídka nesmí používat či předpokládat parametry infrastruktury datového centra, které se liší od těch, které zadavatel specifikoval v zadávací dokumentaci. 261. Rozšíření infrastruktury zadavatele, která jsou nezbytná pro realizaci zakázky, musí být součástí dodávky. Jedná se zejména, nikoli však výlučně, o napojení na chladicí okruhy, na elektrické napájecí větve, úpravy podlahy a osazení stropních prostupů určenými průchodkami. 262. Dodavatel nesmí měnit provozní parametry datového centra zadavatele. Nabídka nesmí předpokládat parametry datového centra zadavatele, které jsou odlišné od parametrů specifikovaných v zadávací dokumentaci.
Page 31
263. Veškeré dodávky a činnosti řešení integrace do datového centra zadavatele musí být projednány se zadavatelem a zadavatelem schváleny. Veškeré použití a případné úpravy zařízení či technologií datového centra zadavatele (potřebné pro realizaci integrace do datového centra zadavatele) musí být projednány se zadavatelem, zadavatelem schváleny a provedeny na náklady dodavatele v součinnosti se smluvní společností zadavatele poskytující servis datového centra. Zadavatel si vyhrazuje právo na změnu, úpravu technických návrhů integrace (vedení tras, přípojná místa, použité materiály apod.) s ohledem na provozní podmínky a best-practices provozu datového centra. #### Umístění 264. Umístění zařízení musí respektovat dispozice prostor datového centra zadavatele. Zadavatel explicitně upozorňuje na přítomnost sloupů v prostoru datového sálu. 265. Všechna dodávaná ICT zařízení musí být určena pro instalaci do racku a musí být nainstalována do racků, nebo musí jít o zařízení, jejichž konstrukce má charakter racku. 266. Zařízení musí být umístěna do racků dodaných dodavatelem. 267. Součástí dodávky je připojení racků potřebných pro realizaci řešení na infrastrukturu zadavatele. 268. Dodavatel zajistí veškerou údržbu a servis dodaných racků po sjednanou záruční dobu. 269. Dodávaná zařízení budou umístěna ve vymezeném prostoru vyznačeném na následujícím obrázku červenou linií. Předpokládané/ilustrační umístění racků je vyznačeno modrošedou barvou a popisy „HPCQC-AI“. Umístění může být předmětem změny ze strany zadavatele, nebo po dohodě se zadavatelem.  Obrázek 2 Předpokládané umístění HPCQC-AI clusteru
Page 32
270. Vzdálenost racků od překážek (zdí, sloupů, řad dalších racků) a způsob instalace zařízení v racích musí umožňovat bezproblémový návoz, instalaci, výměnu a následný servis všech zařízení. 271. Umístění a připojení veškerého instalovaného zařízení dodaného řešení nesmí omezit možnosti servisních a revizních zásahů na elektroinstalaci, chladicích rozvodech, vzduchotechnice a bezpečnostních systémech (čidla apod.). 272. Postavení racků na podlaze datového sálu musí být stabilní a bezpečné, hmotnost racků musí být vhodně rozložena. Musí být respektována konstrukce a únosnost podlahy (25 kN/m2). V případě, že by rack působil zátěž bodově nebo na malou plochu, musí být použit roznášecí rám. Úpravy podlahových dlaždic (prostupy do prostoru zdvojené podlahy) musí být provedeny způsobem, kterým nedojde ke snížení únosnosti podlahy. Úpravy podlahových dlaždic musí být provedeny na náklady dodavatele, se souhlasem zadavatele a v součinnosti se smluvní společností zadavatele poskytující servis datového centra. 273. Provedení veškeré kabeláže uvnitř i vně racků musí zajišťovat spolehlivé připojení, umožňovat manipulaci se zařízeními (např. při servisu zařízení) a bránit poškození kabelů při manipulaci. Prostupy do podvěšeného kovového podhledu datového sálu musí být osazeny průchodkami [Panduit RFG10X8Y](https://www.panduit.com/emea/en/products/cabinets-thermal-management-racks-enclosures/thermal-management-containment/air-sealing-accessories/p205083.html?pn=RFG10X8SMY), které jsou aktuálně použity na datovém sálu, nebo, po předchozím schválení ze strany zadavatele, kabelovými průchodkami s textilním neprodyšným návlekem s obdobnými funkčními, rozměrovými a materiálovými vlastnostmi. Dodavatel je povinen zajistit osazení průchodkami včetně vyřezání otvoru do kovové stropnice. Kabeláž do storage sítě a do WAN racku bude vedena kabelovými žlaby. 274. Veškeré kabeláže uvnitř i vně racku musí být jednoznačně identifikovatelné, tzn. opatřeny štítky s údaji odkud a kam kabeláž vede. U kabeláže vně racku zadavatel dále požaduje označení kabeláže tak, aby bylo zřejmé, ke kterému systému kabeláž náleží. 275. Zařízení umístěná v racku musí být orientována tak, aby všechna nasávala vzduch na stejné straně racku. 276. (I) Dodavatel musí v nabídce uvést schéma navrhovaného umístění zařízení HPCQC-AI clusteru v datovém sálu datového centra zadavatele. #### Napájení 277. Řešení napájení a provoz HPCQC-AI clusteru musí respektovat omezení zadavatele, zejména parametry napájecích okruhů. 278. Pro napájení HPCQC-AI clusteru jsou k dispozici nezávislé napájecí větve A a B datového centra. 279. Výpadek či odstávka napájecího okruhu nebo napájecí větve nesmí způsobit poškození žádného zařízení a nesmí způsobit ohrožení zdraví osob či majetku. 280. Výpadek či odstávka libovolného jednoho napájecího okruhu nebo napájecí větve nesmí způsobit: - nedostupnost či výpadek služeb superpočítače s výjimkou služeb Výpočetních serverů - nedostupnost více než 67 % Akcelerovaných výpočetních serverů Po obnovení napájení napájecího okruhu nebo napájecí větve musí být automaticky zajištěna redundance napájení všech zařízení. 281. Pro řešení redundance napájení zařízení nesmí být použity ATS switche. 282. Systémy HPCQC-AI clusteru musí rovnoměrně zatěžovat napájecí větve a jednotlivé fáze elektrického napájení. 283. Dodavatel je povinen na své náklady zajistit implementaci měření spotřeb racků do monitorovacích systémů zadavatele. 284. Pro distribuci napájení zadavatel využívá rozvaděče označované jako PDB (power distribution box). Pro instalaci systému je dodavatel povinen dodat kompatibilní PDB s odpovídajícím jištěním v počtu odpovídajícímu požadavkům dodávaného systému. 285. Technické parametry dodávaných PDB musí dodavatel konzultovat se smluvní společností zadavatele poskytující servis datového centra. Jedná se zejména o typ a rozměry skříně, stanovení počtu přípojných bodů v závislosti na požadovaném jištění, návrh vnitřního vystrojení včetně částí pro vzdálený monitoring, integraci do stávajícího systému Měření a regulace (MaR) zadavatele, návrh a zajištění instalace systému měření parametrů napájení. 286. Pro měření parametrů napájení využívá zadavatel systém Socomec Digiware. Dodavatel musí v rámci realizace jím nabízeného řešení zajistit plnou kompatibilitu se stávajícím systémem zadavatele. Na základě zmapování trhu doporučuje zadavatel použit systém Socomec Digiware i pro řešení dodavatele, a to zejména ve snaze předejít dodatečným nákladům na straně dodavatele. Obecně však zadavatel připouští využití jakéhokoli řešení zajišťujícího plnou kompatibilitu se stávajícím systémem zadavatele. Množství modulů použitých v PDB a jejich typy jsou závislé na konkrétním vystrojení PDB a aktuální nabídce výrobce. Na sběrnici RS485 bude jako komunikační protokol MODBUS RTU. Příklady instalovaných modulů jsou: - komunikační modul C31, - napěťový modul U30, - modul měření 3f proudu S135 adresovatelný jako tzv. MODBUS adresa. V případě použití nových typů modulů musí být zajištěn původní nebo větší rozsah měřených veličin a parametrů modulů uvedených v příkladu. 287. V případě nutnosti dělení napájení z 3f připojení na 1f vedení je nutné použití splitter boxů. Zadavatel pro realizaci řešení vyčlenil až 8 ks splitter boxů s jištěním 32 A. Náklady za provedení revizí zadavatelem poskytnutých splitter boxů před jejich uvedením do provozu nese dodavatel. Případné nové splitter boxy musí mít jištění každé fáze a musí být parametrově shodné s typem výrobku GEIST SB-3P32A-SP32A. 288. Zadavatel pro realizaci řešení vyčlenil 4 ks PDB s jištěním 32 A a šesti třífázovými přípojnými body opatřenými koncovkami PKY32G435. Zadavatel pro realizaci řešení vyčlenil i až 2 ks PDB s jištěním 63 A a čtyřmi třífázovými přípojnými body opatřenými koncovkami Schneider 81683. Dodavatel může tyto PDB využít pro realizaci jím nabízeného řešení a zohlednit využití PDB boxů ve své nabídce. Veškeré náklady spojené s přesunem a přeadresací jakýchkoli PDB boxů zadavatele vyvolaných instalací systému HPCQC-AI do nových pozic, např. z důvodu kolize s vedením rozvodů chlazení či napájení, a s provedením revizí před jejich uvedením do provozu nese dodavatel. 289. Řešení musí počítat s maximálním provozním příkonem všech dodaných zařízení.
Page 33
290. HPCQC-AI cluster musí umožňovat vypnutí celého systému. HPCQC-AI cluster musí umožnit korektní vypnutí celého systému nejdéle za 30 minut. 291. (I) Dodavatel musí v nabídce uvést energetickou kalkulaci. Energetická kalkulace musí obsahovat: 1. maximální elektrický příkon celého řešení 2. elektrický příkon pro každý osazený rack či samostatně umístěné zařízení 292. (I) Dodavatel je povinen v nabídce předložit schéma elektrického napojení HPCQC-AI clusteru na napájecí infrastrukturu datového centra včetně specifikace relevantních technických parametrů všech relevantních napájecích prvků. Schéma musí jednoznačně znázorňovat: 1. vedení napájecí kabeláže od jednotlivých racků řešení k příslušným PDB, 2. předpokládané obsazení zásuvek na jednotlivých PDB, 3. umístění a zapojení splitter boxů a přípojných krabic, jsou-li součástí řešení, 4. napojení jednotlivých PDB na napájecí větve A a B datového centra. Všechny prvky uvedené ve schématu, včetně napájecí kabeláže, PDB a případných splitter boxů a přípojných krabic, musí být jednoznačně identifikovány a opatřeny základními technickými parametry. U napájecí kabeláže musí být uvedeno minimálně jištění a počet fází. U PDB musí být uvedeno minimálně jištění, počet fází a počet zásuvek. Označení prvků musí být provedeno ve formátu umožňujícím jejich jednoznačnou identifikaci, například pro PDB** – PDB 6×32 A/3f**, pro kabeláž** – 32 A/3f, **pro přípojnou krabici nebo splitter box je dostačující označení prvku názvem**.** #### Chlazení 293. Řešení chlazení a provoz HPCQC-AI clusteru musí respektovat omezení zadavatele, zejména parametry chladicích okruhů datového centra a limity prostoru pod zdvojenou podlahou. 294. Řešení musí zajistit dostatečné chlazení všech dodaných zařízení. 295. Veškeré systémem generované teplo musí být odvedeno do kapalinových chladicích okruhů datového centra. Chlazení HPCQC-AI clusteru musí jako zdroj chladu používat výhradně dostupných chladicích kapalinových okruhů studené a teplé vody, tyto jsou považovány za primární. Vnitřní chladicí okruhy zařízení dodavatele (např. CDU) jsou považovány za sekundární. Požadavek je mandatorní pro všechna zařízení dodaná v rámci veřejné zakázky. Zadavatel předpokládá, že pro chlazení zařízení, která nepodporují přímé chlazení do kapaliny (DLC) - jako jsou síťové prvky a datová uložiště atp., uvedená v dotazu, bude využito chlazení na úrovni racku například použitím vodou chlazených zadních dveří racků, či racků vybavených tepelným výměníkem (či výměníky) vzduch-voda. V těchto případech se předpokládá odvedení tepla do okruhů se studenou vodou. 296. Teplo emitované zařízeními HPCQC-AI clusteru do prostoru vně racků (týká se zejména zařízení chlazených pomocí okruhů teplé vody) musí být dochlazeno/kompenzováno pomocí chlazení napojeného na chladicí okruhy studené vody. 297. Řešení nesmí pracovat s tepelnou kapacitou vzduchu datového sálu anebo s předpoklady proudění vzduchu v datovém sálu, zejména mimo prostor použitý pro umístění HPCQC-AI clusteru. Provoz HPCQC-AI clusteru nesmí způsobovat lokální oblasti vysoké teploty, anebo proudění horkého vzduchu datového sálu mimo uzavřené prostory zařízení HPCQC-AI clusteru.
Page 34
298. Řešení HPCQC-AI clusteru musí poskytovat dlouhodobý provoz pod plnou zátěží při vstupní teplotě primárních chladících okruhů teplé vody (okruhů chlazení datového centra zadavatele) 38°C. 299. Výpočetní servery musí používat přímé kapalinové chlazení (Direct Liquid Cooling – DLC). Pomocí DLC musí být chlazeny zejména tyto komponenty Výpočetních serverů: CPU, GPU a síťové adaptéry Výpočetní sítě. DLC chlazení musí využívat chladicí okruhy teplé vody. 300. Výpadek či odstávka chladicího okruhu nesmí způsobit poškození žádného zařízení a nesmí způsobit ohrožení zdraví osob či majetku. V případě rizika překročení maximální provozní teploty zařízení či komponent zařízení (např. při výpadku chladicího okruhu) musí automaticky a včas proběhnout odstávka postižených zařízení tak, aby nedošlo k přehřátí nebo poškození zařízení či komponent. Výpadek či odstávka libovolného jednoho chladicího okruhu nesmí způsobit nedostupnost či výpadek služeb superpočítače s výjimkou služeb Výpočetních serverů. Rozložení zátěže na chladicí okruhy musí být koncipováno tak, aby byly obsahově naplněny požadavky SPEC 302 až 304. 301. Připojení HPCQC-AI clusteru k primárním chladicím okruhům studené vody musí umožňovat samostatné vzdáleně řízené přepínání mezi dvěma primárními chladicími okruhy. Pro vyloučení pochybností – takové připojení lze použít pro chlazení více zařízení/racků. Přepínání okruhů nesmí způsobit nedostupnost či výpadek služeb či poškození žádného zařízení. Přepínání okruhů nesmí způsobit nežádoucí propojení primárních okruhů. Přepnutí mezi chladicími okruhy musí proběhnout v čase kratším než 3 minuty. Vzdáleně řízené přepínání chladicích okruhů musí být integrováno do systému Měření a regulace (MaR) zadavatele. Integraci provede dodavatel, na náklady dodavatele, ve spolupráci se zadavatelem. Řešení musí být kompatibilní s technologií MP-Bus, musí poskytovat rozhraní MP-Bus a fungovat jako zařízení MP-Bus Slave řízené MaR MP-Bus Masterem. 302. Připojení HPCQC-AI clusteru k primárním chladicím okruhům teplé vody musí umožňovat manuální přepínání mezi dvěma primárními chladicími okruhy. Pro vyloučení pochybností – takové připojení lze použít pro chlazení více zařízení/racků. Použité ventily pro manuální přepínání musí umožnit dodatečnou případnou instalaci vzdáleně řízených servopohonů. Tato možnost přepínání nesmí být uvažována pro standardní provoz. Standardním provozem je myšlen rutinní každodenní provoz zařízení. Přepínání nebude používáno pro tento typ provozu, ale pro provádění servisních zásahů, nucených odstávek chladicích okruhů nebo při řešení havarijních situací, kdy možnost manuálního přepínání vyloučí nebo minimalizuje nutnost odstavení zařízení z provozu. V rámci standardního provozu však k přepínání nebude docházet. 303. Úpravy rozdělovačů chlazení datového centra a připojení na rozdělovače chlazení datového centra musí být provedeny v součinnosti se smluvní společností zadavatele poskytující servis datového centra, a to na náklady dodavatele.
Page 35
304. Dodavatel se zavazuje doplnit zadavateli množství chladicí směsi vyplývající z objemových potřeb dodaných zařízení, nově instalovaných rozvodů a úniků spojených s instalací řešení. Základem chladící směsi je mrazuvzdorné médium [DECOTHERM P EKO](https://ancfod.cz/data/pdf/produkty/TL-Decotherm-P-ANCFOD.pdf) ředěné demineralizovanou vodou v poměru 1:2 tak, aby konečná hodnota %OBJ byla 33,3 a hodnota bodu tuhnutí -18 °C. Konkrétní parametry chladící směsi pro %OBJ a bodu tuhnutí budou upřesněny na základě průběhu aktuálně probíhající akce „Modernizace infrastruktury“ na straně Zadavatele. 305. (I) Dodavatel musí v nabídce uvést řešení chlazení dodávaných technologických celků a způsob chlazení položek uvedených v energetické kalkulaci dle SPEC_291, včetně uvedení, jaká část příkonu (potažmo generovaného tepla) je chlazena teplou vodou a jaká studenou vodou. Dodavatel musí v nabídce uvést komponenty Výpočetních serverů, které používají přímé kapalinové chlazení (DLC). 306. (I) Dodavatel musí v nabídce uvést schéma napojení HPCQC-AI clusteru na chladicí okruhy datového centra, včetně specifikace relevantních technických parametrů. Schéma musí jednoznačně znázorňovat: 1. vedení chladicích tras od jednotlivých racků nabízeného řešení a jejich napojení na teplovodní a studenovodní chladicí okruhy datového centra, 2. všechny prvky uvedené ve schématu (včetně připojovacích hadic), které musí být jednoznačně identifikovány a opatřeny základními technickými a rozměrovými parametry (např. připojovací hadice 4“ /102 mm). #### Transport 307. Při transportu a instalaci zařízení musí být respektována prostorová transportní omezení budovy a možných transportních tras. Návoz technologií do budovy IT4Innovations je možný ze severovýchodní strany objektu, kde je k tomuto účelu připravena rampa. Rampa je široká 2850 mm a vysoká 1030 mm. Pro transport je výhodné použití nákladních aut s hydraulickým čelem. Z prostoru rampy je vstup do budovy, resp. místnosti č. 218. Vstupními dveřmi vedoucími do místnosti č. 218 je možné transportovat předměty o rozměrech 2410x1540 mm (výška x šířka). Místnost č. 218 o rozměrech 5,3 x 5,6m je možné použít pro sejmutí transportních obalů či jako malý mezisklad v době transportu. Z místnosti č. 218 vede přístupová chodba (místnost č. 219) k datovému sálu. Mezi místností č. 218 a místností č. 219 jsou dveře, jimiž je možné transportovat předměty o rozměrech 2340x1600 mm (výška x šířka). Část této chodby, konkrétně v délce 8,5m, je v provedení šikminy o sklonu 6,5°. Vstup na datový sál (místnost č. 223) je v horní části přístupové chodby. Vstupními dveřmi je možné transportovat předměty o rozměrech 2360x1520 mm (výška x šířka). Tyto dveře mohou zůstávat otevřené pouze po nezbytně nutnou dobu. Předmět, který se projde všemi třemi dveřmi, může mít max. rozměry 2340x1520mm (výška x šířka). Pro transport předmětů v datovém sále je možné využít více variant transportních cest, žádná z nich však není překážkou pro předměty maximálních rozměrů danými dveřmi, viz výše.  Obrázek 3 Přístupová cesta 308. Při transportu a instalaci zařízení nesmí být překročena únosnost podlahy přepravní trasy.
Page 36
Únosnost podlahy datového sálu a jeho přístupové chodby (místnosti 219 a 223) je 25 kN/m2. Únosnost podlahy přístupových prostor (místnosti 217 a 218) je 5 kN/m2. Tento úsek musí být pro transport materiálu dodavatelem dočasně ošetřen instalací ochranných desek pro rozklad zatížení (kupříkladu položením překližkových desek) tak, aby výsledné zatížení podlahy v průběhu fyzické dodávky nepřekročilo 5 kN/m2 a předešlo se tak poškození podlahy. Ochranné desky je povinen si zajistit dodavatel. 309. Veškeré přechodové lišty, prahy a šikminu v m. č. 219 je nutné při transportu technologií ochránit dřevěnými deskami nebo silnou vrstvou gumy, které si zajistí dodavatel. 310. Z důvodu nižší nosnosti podlahy v m. č. 218 (5,0 kN/m2) není možné v tomto prostoru nic dlouhodobě skladovat. 311. Odstranění transportních obalů musí proběhnout mimo prostor datového sálu, m. č. 223. #### Prostředí 312. Při integraci a provozu musí být zajištěny tyto vlastnosti a parametry prostředí: - Teplota vzduchu 22 °C až 25 °C - Nekondenzující vlhkost - Relativní vlhkost 20-60 % 313. V prostoru datového sálu je snížená hladina kyslíku na 15 % a platí zde režimová opatření. Osoby nacházející se na datovém sále musí sledovat délku svého pobytu na sále a každé 2 hodiny musí alespoň na 15 minut odejít do normoxického prostředí. ## Implementace a další aktivity ### Implementace 314. Součástí dodávky musí být komplexní implementace HPCQC-AI clusteru tak, aby byly splněny všechny požadavky zadavatele. 315. Součástí dodávky musí být návrh, doprava, instalace, zprovoznění, konfigurace, ladění, testování všech systémů a provedení akceptačních testů. ### Školení 316. Součástí dodávky musí být školení v rozsahu a detailu dostatečném pro získání a osvojení znalostí potřebných pro samostatné provozování a správu HPCQC-AI clusteru. 317. Školení musí poskytnout informace potřebné pro pochopení vnitřního fungování systémů, funkčních celků, hardware a software. Školení musí zahrnovat důkladné seznámení s provozními postupy a správou systému. 318. Školení musí být v rozsahu minimálně 12 hodin, počet účastníku školení nesmí být omezen na méně než 16 účastníku. Účastníky školení budou pracovníci IT zadavatele se zkušenostmi s IT problematikou na různé úrovni v různých oblastech. 319. Školení musí zahrnovat představení technologií, postupů a nástrojů pro správu systému, praktické ukázky a práci s reálným systémem. Praktické ukázky a práce s reálným systémem musí probíhat na HPCQC-AI clusteru. 320. Školení musí vést erudovaní školitelé. Školení musí probíhat v českém nebo v anglickém jazyce. 321. Součástí dodávky musí být i poskytnutí výukových materiálů a prezentací v anglickém jazyce. 322. Časový harmonogram a detailní plán školení bude vypracován ve spolupráci s projektovým manažerem zadavatele. 323. (I) Dodavatel musí v nabídce uvést základní harmonogram a obsah školení. ### Dokumentace 324. Součástí dodávky musí být vypracování a dodání komplexní dokumentace HPCQC-AI clusteru. 325. Dokumentace musí komplexně pokrývat všechny dodávané systémy a musí být logicky navržena a strukturována. Součástí dokumentace musí být dokumentace skutečného stavu a dokumentace provozních postupů (provozní manuály). Dokumentace musí pokrývat rovněž postup zapnutí a vypnutí systému. 326. Součástí dokumentace musí být též poskytnutí dokumentace dodávaného hardware a software (manuály) v anglickém jazyce. Dokumentace musí být poskytnuta v elektronické podobě umožňující kopírování textu. ### Prohlášení o shodě 327. Ke všem dodaným systémům a zařízením musí být doloženo prohlášení o shodě. ### Likvidace odpadů 328. Součástí dodávky musí být průběžná likvidace veškerých odpadů vzniklých realizací dodávky. Zadavatel není povinen a nebude uchovávat obaly, obalový materiál. ## Infrastruktura zadavatele Systém HPCQC-AI cluster bude instalován a provozován v datovém sálu datového centra zadavatele v budově IT4Innovations. Budova IT4Innovations se nachází v areálu kolejí Vysoké školy báňské – Technické univerzity Ostrava na adrese Studentská 6231/1B, 708 00 Ostrava-Poruba. V datovém sále jsou umístěny stávající systémy zadavatele, včetně superpočítačů Barbora, Barbora NG a Karolina. Datový sál není vybaven racky pro umístění systému HPCQC-AI cluster. ### Dispozice sálu Ve druhém nadzemním podlaží budovy IT4Innovations se nachází datový sál (místnost č. 223) o výměře 511,1 m2, rozměrech 24,97 x 20,47 m a světlé stavební výšce 4,5 m. Sál je koncipován jako samostatný, stavebně nedělený prostor. V datovém sále je instalována systémová zdvojená antistatická podlaha rastru 600x600 mm a výšky 900 mm a dále těsný stropní podhled rastru 600x600 mm, podvěšený 700 mm pod stavebním stropem. Světlá výška mezi systémovou podlahou a stropním podhledem činí 2,9 m. #### Podlaha Zdvojená podlaha výška 980 mm – systémové řešení. Zatížení 2500 kg/m2 (25 kN/m2).
Page 37
Rámová konstrukce je tvořena z ocelových "C" profilů v rastru 600x600 mm. Podpůrné sloupky tvořeny výškově rektifikovanými stojkami s montážně nastavitelnou hlavou. Sloupky a vodorovné rámy jsou propojeny pevným šroubovaným spojením. Zakrytí je provedeno z panelů s jádrem na minerální bázi (třída reakce na oheň dle EN 13501 A2). Spodní líc panelu s AL folií. Boky panelů jsou opatřeny plastovou hranou. Horní povrch s nalepeným PVC. Povrch v antistatické úpravě. #### Stropní podhled Pod stropem je podvěšený kovový podhled z galvanizované oceli 600x600x33 mm, zkosená hrana o 3 mm zaklapnutá do skryté konstrukce, hladký povrch bez perforace, UV stabilní elektrostaticky nanášený polyesterový lak. Revizní kazety doplněny klipy pro vyklápění kazet směrem dolů. Skrytá závěsná kovová konstrukce s U-profilem a kolmým DP-profilem je zavěšená pomocí závitových tyčí. ### Napájení <u>**Hlavní napájecí větev:**</u> Topologie: Dvě nezávislé napájecí větve, redundance 1+1 Rozvodná soustava NN: 400/230 V;3+N+PE; 50 Hz; TN-S <u>**Distribuční přípojnice:**</u> Počet distribučních přípojnic: 5ks pro každou napájecí větev Jmenovitý proud distribučního systému: 800 A Napájecí soustava distribuční přípojnice: TN-S 3x400/230 V 50 Hz Jmenovitý výkon distribuční přípojnice: 552 kVA Umístění distribučního systému : pod zdvojenou podlahou Způsob napojení na distribuční systém: pomocí rozvaděče PDB Způsob připojení IT technologie: pomocí průmyslových zásuvek IEC60309
Page 38
 Obrázek 4 Rozvody napájení ### Chlazení Chlazení pro datový sál poskytuje pět samostatných chladicích kapalinových okruhů – dva okruhy teplé vody teploty a tři okruhy studené vody. V datovém sále jsou ve zdvojené podlaze vyhotoveny tři větve z každého z pěti chladicích okruhů. Na větvích jsou pro napojení technologie připraveny odbočky s bezúkapovými uzávěry DN65. Odbočky jsou umístěné pod technologickou podlahou datového sálu a jsou přístupné po vyjmutí některé z dlaždic technologické podlahy. Základní parametry chladicích okruhů, včetně údajů pro připojení: TV1 – okruh Teplé Vody – červený: - Hydraulické zakončení: Victaulic UK 76,1 - Pracovní tlak: 4,5 bar - diferenční tlak pro datový sál: 50 kPa - Průtok: 40 m3/hod - Vstupní teplota chladícího média: 30 °C TV2 – okruh Teplé Vody – žlutý: - Hydraulické zakončení: Victaulic UK 76,1 - Pracovní tlak: 4,5 bar - diferenční tlak pro datový sál: 50 kPa - Průtok: 40 m3/hod - Vstupní teplota chladícího média: 30 °C SV1 – okruh Studené Vody – zelený:
Page 39
- Hydraulické zakončení: Victaulic UK 76,1 - Pracovní tlak: 4,5 bar - diferenční tlak pro datový sál: 100 kPa - Průtok: 20 m3/hod - Vstupní teplota chladícího média 11,5 °C SV2 – okruh Studené Vody – modrý: - Hydraulické zakončení: Victaulic UK 76,1 - Pracovní tlak: 4,5 bar - diferenční tlak pro datový sál: 100 kPa - Průtok: 20 m3/hod - Vstupní teplota chladícího média 11,5 °C SV3 – okruh Studené Vody – tyrkysový: - Hydraulické zakončení: Victaulic UK 76,1 - Pracovní tlak: 4,5 bar - diferenční tlak pro datový sál: 100 kPa - Průtok: 20 m3/hod - Vstupní teplota chladícího média 11,5 °C Jedná se o stávající hodnoty parametrů chladicích okruhů. Pro akceptaci HPCQC-AI clusteru budou použity chladící okruhy Studené vody výše uvedených parametrů. Chladicí okruh Teplé vody použitý pro akceptaci HPCQC-AI clusteru bude mít následujících parametry: - Hydraulické zakončení: Victaulic UK 76,1 - Pracovní tlak: 4,5 bar - diferenční tlak pro datový sál: 50 kPa - Průtok: 40 m3/hod - Vstupní teplota chladícího média: 38 °C (dojde k navýšení vstupní teploty chladicího média z 30 °C na 38 °C) Výše uvedené parametry chladících okruhů studené vody budou pro instalaci a akceptaci HPCQC-AI clusteru zachovány.
Page 40
 Obrázek 5 Rozvody chlazení
Page 41
Page 42
### WAN síť WAN síť zadavatele je postavena na technologii 100Gb/s Ethernet a je tvořena dvěma hraničními prvky – L3 switchi Cisco Nexus 9336C-FX2 s porty QSFP28. Hraniční prvky jsou vzájemně propojeny čtyřmi 100Gb/s propoji. Hraniční prvky WAN sítě zadavatele jsou umístěny ve WAN racku. Hraniční prvky WAN sítě nejsou osazeny transceivery, je potřeba je dodat.  Obrázek 6 Kabelové trasy a síťové racky ### Storage síť Storage sítí zadavatele je nazývána ethernetová síť, která připojuje centrální úložiště zadavatele a zpřístupňuje je (pomocí specializovaných síťových bran a připojením do WAN/LAN sítě) na výpočetní a další systémy zadavatele. Do storage sítě zadavatele jsou v době přípravy dokumentu připojeny čtyři bloky úložiště PROJECT. Storage síť zadavatele je postavena na technologii 100Gb/s Ethernet a je tvořena dvěma hraničními prvky – L3 switchi Cisco Nexus 9336C-FX2 s porty QSFP28. Hraniční prvky jsou vzájemně propojeny čtyřmi 100Gb/s propoji. Storage síť je připojena do centrální 100Gb/s WAN/LAN sítě zadavatele čtyřmi 100Gb/s propoji.
Page 43
Hraniční prvky storage sítě zadavatele jsou umístěny ve dvou racích úložiště PROJECT, v horní části racku. Hraniční prvky storage sítě nejsou osazeny transceivery, je potřeba je dodat. ### OOB síť Stávající OOB síť zadavatele je tvořena prvky: - OOB konzolový server Blackbox LES1532A, 32 sériových portů RJ-45 - OOB switch Cisco C3750X-48TS-S, porty 10/100/1000BaseTX OOB zařízení jsou umístěna ve WAN racku.
[{"source":"image_ocr","message":"Image 5 OCR failed: OCR error: Tesseract OCR failed: Image processing failed: Parsing error: Failed to decode image: The image format could not be determined"},{"source":"image_ocr","message":"Image 2 OCR failed: OCR error: Tesseract OCR failed: Image processing failed: Parsing error: Failed to decode image: The image format could not be determined"},{"source":"image_ocr","message":"Image 1 OCR failed: OCR error: Tesseract OCR failed: Image processing failed: Parsing error: Failed to decode image: The image format could not be determined"},{"source":"image_ocr","message":"Image 4 OCR failed: OCR error: Tesseract OCR failed: Image processing failed: Parsing error: Failed to decode image: The image format could not be determined"},{"source":"image_ocr","message":"Image 3 OCR failed: OCR error: Tesseract OCR failed: Image processing failed: Parsing error: Failed to decode image: The image format could not be determined"},{"source":"image_ocr","message":"Image 0 OCR failed: OCR error: Tesseract OCR failed: Image processing failed: Parsing error: Failed to decode image: The image format could not be determined"}]
Source and processing details
- File fetched
- 17 Nov 2026, 13:15
- Text extracted
- 15 Nov 2026, 11:05
- Parser version
- xberg-1.0.14:markdown-pages-tables-ces-eng-v2
- File fingerprint (SHA-256)
- 1b75f630edd6b5d1f1a9198720958a86062ffed16181fcbbfaebf6385720075c
cz.profile.xml · HPCQC-AI výpočetní cluster ↗
About document collection
Original files remain with the publisher. Newly collected IT document links enter the reading queue, which runs every five minutes. The full catalog is reconciled hourly; known files are due for a daily check, subject to the queue and each source’s refresh schedule.
A failed update retains the last successful text. Some publisher links lead to web pages rather than attachments. Extracted qualification facts support source review; they are not an eligibility decision.