Przegląd techniczny i scenariusze zastosowania
Serwery plików o wysokiej dostępności, korporacyjna pamięć masowa w chmurze, strumieniowanie wideo online, pamięć masowa do monitoringu cyfrowego i podobne zastosowania wymagają urządzeń pamięci masowej o dużej pojemności. Urządzenia NAS ogólnego przeznaczenia mają ograniczenia w architekturze sprzętowej i programowej i trudno je dostosować do korporacyjnych środowisk wysokiego obciążenia i wysokiej dostępności. Tradycyjne systemy plików nie są również zoptymalizowane pod kątem dużych pojemności – mają ograniczenia rozmiaru/pojemności, nie posiadają zintegrowanych mechanizmów sprawdzania integralności danych ani innych funkcji.
QNAP ES NAS oferuje takie funkcje jak niemal nieprzerwana wysoka dostępność, samoleczenie, kompresja i deduplikacja danych, nieograniczona liczba migawek, natychmiastowe tworzenie macierzy dyskowych i wiele innych. Oprócz wszystkich niezbędnych funkcji zapewnia również najbardziej opłacalne rozwiązanie pamięci masowej o dużej pojemności.
Przykładowy scenariusz
Tworzenie poolu pamięci masowej o dużej pojemności
Przygotowanie obudowy rozszerzającej
System QNAP QES umożliwia tworzenie poolu pamięci masowej obejmującego wiele obudów rozszerzających. ES1640dc ma 16 wbudowanych kieszeni dyskowych i można do niego podłączyć wiele obudów rozszerzających w celu zwiększenia pojemności pamięci masowej. Dwukontrolerowy ES NAS oraz jego obudowy rozszerzające mają po 16 kieszeni dyskowych. Na podstawie projektu serii ES1640dc z dwoma kontrolerami można podłączyć maksymalnie 7 obudów rozszerzających, zapewniając pojedynczemu systemowi nawet 128 kieszeni dyskowych.
ES1640dc v2 obsługuje obudowę rozszerzającą EJ1600 v2. Obudowa rozszerzająca łączy się z ES NAS przez interfejs SAS 12 Gb/s, zapewniając mniejsze opóźnienia niż USB. Obudowy rozszerzające serii EJ również wykorzystują projekt dwukontrolerowy i mogą wzajemnie się wspierać. Każda grupa kontrolerów ma 2-portowe porty rozszerzenia SAS, dzięki czemu ES NAS i obudowy rozszerzające EJ można połączyć w architekturze z podwójną pętlą i 4 portami SAS. Łączna wzajemna przepustowość może osiągnąć do 48 Gbps, umożliwiając wysokowydajne i niezawodne środowisko wysokiej dostępności.
Zalecana architektura połączeń między QNAP ES NAS a obudowami rozszerzającymi EJ
ES NAS i obudowy rozszerzające serii EJ mają architekturę dwukontrolerową. Każda grupa kontrolerów ma 2 wbudowane zewnętrzne porty SAS. Aby skutecznie zbudować topologię z podwójną pętlą, zaleca się podłączenie każdej grupy obudów zgodnie z powyższym diagramem w celu zapewnienia, że system pamięci masowej będzie w stanie utrzymać normalną pracę w przypadku wystąpienia pojedynczego punktu awarii. Po zakończeniu połączenia z podwójną pętlą kontroler NAS po obu stronach systemu będzie odporny na błędy wraz z kontrolerem obudowy rozszerzającej po obu stronach. Nawet jeśli którekolwiek z połączeń zostanie przerwane, system nadal będzie mógł uzyskiwać dostęp do danych z innej grupy.
Uwaga: Dolna obudowa JBOD wymaga dwóch dłuższych kabli SAS do podłączenia z powrotem do hosta ES NAS (pętla zwrotna). Szczegółowe dane techniczne sprzętu i kabli można znaleźć w poniższej tabeli materiałów.
Obsługiwane dyski i odpowiednia lista materiałów
| QNAP ES NAS | Obudowa rozszerzająca QNAP EJ | Krótki kabel SAS 0,5 m | Długi kabel SAS do pętli zwrotnej | Łączna liczba kabli SAS | Liczba dysków do zainstalowania | Maks. pojemność surowa* |
|---|---|---|---|---|---|---|
| 1 | 0 | 0 | 0 | 0 | 16 | 160 TB |
| 1 | 1 | 2 | 2 (0,5 m) | 4 | 32 | 320 TB |
| 1 | 2 | 4 | 2 (1 m) | 6 | 48 | 480 TB |
| 1 | 3 | 6 | 2 (1 m) | 8 | 64 | 640 TB |
| 1 | 4 | 8 | 2 (1 m) | 10 | 80 | 880 TB |
| 1 | 5 | 10 | 2 (2 m) | 12 | 96 | 960 TB |
| 1 | 6 | 12 | 2 (2 m) | 14 | 112 | 1120 TB (1,12 PB) |
| 1 | 7 | 14 | 2 (2 m) | 16 | 128 | 1280 TB (1,28 PB) |
* Na podstawie dysków twardych o pojemności 10 TB.
Aby oszacować dostępną pojemność dla określonych typów RAID, należy skorzystać z narzędzia ES NAS ZFS Capacity Calculation Tool:
(Najlepszy wybór w zakresie niezawodnej pamięci masowej z systemem plików ZFS | QNAP)
Czy potrzebujesz dysków SSD?
Dwukontrolerowy system ES NAS obsługuje używanie dysków SSD jako pamięci podręcznej odczytu. Podczas konfigurowania ES NAS należy wziąć pod uwagę małą pojemność, koszt i zajęcie kieszeni dyskowej przy używaniu dysków SSD. Dyski SSD zapewniają odpowiedzi z małym opóźnieniem i liczbę IOPS znacznie przewyższającą dyski twarde, co czyni je przydatnymi w zastosowaniach takich jak bazy danych i wirtualne pulpity. Jeśli głównym zastosowaniem ES NAS jest serwer plików, należy priorytetowo traktować dużą pojemność i przepustowość odczytu/zapisu, co sprawia, że dyski twarde są bardziej odpowiednie niż dyski SSD.
Planowanie architektury RAID i dysków zapasowych
W miarę jak systemy pamięci masowej przechowują coraz więcej danych, wzrasta również ryzyko utraty danych w wyniku awarii sprzętu. Niezawodność i plany tworzenia kopii zapasowych stają się zatem niezwykle ważne. Przed zbudowaniem całego systemu można zaplanować architektury RAID zgodnie z ważnością danych, wykorzystaniem pojemności i poziomem tolerancji na utratę danych.
Ponieważ QES bazuje na systemie ZFS, kładzie większy nacisk na ochronę danych, w tym technologię Global Hot Spare, która umożliwia jednoczesną awarię do trzech dysków w trybie RAID TP, trzykrotną ochronę danych w trybie Triple-Mirror i nie tylko. W środowiskach wymagających wielu kopii zapasowych QES pozwala poświęcić wydajność i wykorzystanie pojemności w celu osiągnięcia absolutnej niezawodności.
Do ogólnego użytku zaleca się stosowanie architektury ZFS RAID Group. Używając od 10 do 15 dysków dla każdego urządzenia NAS/obudowy rozszerzającej jako jednostki do ustanowienia trybu RAID 6 i odkładając pusty dysk z technologią globalnej gorącej rezerwy, można osiągnąć zarówno pełną ochronę danych, jak i odporność na awarie. Zalecane ustawienie przedstawiono w poniższej tabeli i na poniższych rysunkach.
Przykład konfiguracji RAID dla 128 dysków
| Lokalizacja | Zainstalowana liczba dysków | Typ RAID | Dysk zapasowy |
|---|---|---|---|
| ES NAS | 16 | 11 RAID 6 (4 dyski systemowe nie są uwzględnione w poolu pamięci masowej) | 1 |
| EJ JBOD#1 | 16 | 15 RAID 6 | 1 |
| EJ JBOD#2 | 16 | 15 RAID 6 | 1 |
| EJ JBOD#3 | 16 | 15 RAID 6 | 1 |
| EJ JBOD#4 | 16 | 15 RAID 6 | 1 |
| EJ JBOD#5 | 16 | 15 RAID 6 | 1 |
| EJ JBOD#6 | 16 | 15 RAID 6 | 1 |
| EJ JBOD#7 | 16 | 15 RAID 6 | 1 |
| Łącznie | 128 | 8 grup RAID 6 Pool pamięci masowej RAID 60 | 8 |
Podczas tworzenia macierzy RAID zaleca się zarezerwowanie pustego dysku twardego bez włączania go do żadnej macierzy. W zależności od mechanizmu architektury systemu QES zarezerwowane dyski będą traktowane jako dyski zapasowe bez konieczności dodatkowej specjalnej konfiguracji. Jeśli system napotka awarię dysku twardego, zostanie uruchomiony globalny mechanizm gorącej rezerwy, który automatycznie przechwyci dowolny pusty dysk w ES NAS lub JBOD i aktywnie odbuduje macierz RAID.
Konfiguracja dysków NAS:
Konfiguracja dysków JBOD #1:
Konfiguracja dysków JBOD #7:
Na rysunku, od góry do dołu, przedstawiono odpowiednio zalecaną konfigurację dla 1 urządzenia ES NAS i 7 urządzeń rozszerzających EJ JBOD. Jeśli pierwszy ES NAS jest skonfigurowany z czterema dyskami SSD jako pamięcią podręczną systemu, macierz RAID 6 może składać się z 11 dysków i 1 rezerwowego dysku hot spare. Jeśli w systemie nie jest wdrożona pamięć podręczna SSD, można użyć 15 dysków do zbudowania macierzy RAID 6; pozostałe obudowy rozszerzające korzystają z macierzy RAID 6 złożonej z 15 dysków, z 1 dyskiem hot spare w konfiguracji.
Jak zbudować RAID 60
Na podstawie powyższej architektury, po skonfigurowaniu pierwszej grupy RAID, można dodawać kolejne grupy RAID poprzez rozszerzenie poolu (Expand Pool). Ponieważ każda grupa RAID jest względem siebie w relacji Striping, podczas zapisu danych będą one zapisywane jednocześnie do kilku grup RAID, analogicznie jest w przypadku odczytu, dzięki czemu w QES można utworzyć pool RAID 60 zapewniający zarówno wydajność, jak i niezawodność.
Podstawowe zastosowania i dane dotyczące wydajności
W tej sekcji, na podstawie powyższej architektury, tworzymy super pool o pojemności do setek terabajtów i montujemy go dla odpowiednich scenariuszy zastosowań za pośrednictwem folderu udostępnionego jako przykład. Scenariusz testowy symuluje podstawowy scenariusz zastosowania i mierzy dane dotyczące wydajności.
Platforma testowa
| System pamięci masowej | |
|---|---|
| NAS | 1 x QNAP ES1640dc v2 |
| Obudowy rozszerzające | 7 x QNAP EJ1600 v2 |
| Metoda połączenia | 4 x Mini-SAS 12Gb/s, Dual Loop |
| Model SSD | 4 x Samsung PM863 240GB |
| Model HDD 1 | 12 x HGST HUH721010AL5200 10TB |
| Model HDD 2 | 112 x Seagate ST8000NM0075 8TB |
| Łączna liczba dysków | 4 x SSD + 124 x HDD |
| Karta sieciowa portu danych NAS | Intel X520-SR2 SFP+ |
| Metoda połączenia SFP+ | Światłowód |
| GBIC SFP+ | Intel FTLX8571D3BCV |
| Wersja systemu | QES 1.1.3 |
| Struktura poolu | 8 grup RAID 6, łącznie 124 dyski HDD |
Dziesięć hostów z systemem Windows Server 2012 R2 montuje ten sam folder udostępniony i jednocześnie uruchamia testy IO, testując przepustowość zapewnianą przez ES NAS przy symulacji jednoczesnego zapisu/dostępu przez wiele hostów.
Wydajność odczytu/zapisu przy niskim poziomie pojemności
Z poniższych zmierzonych danych wyraźnie wynika, że przyspieszenie za pomocą pamięci podręcznej SSD jest znacząco pomocne dla wydajności losowego odczytu bloków.
Test z jednym klientem
| Element testu | Tryb obciążenia | Bez pamięci podręcznej SSD | Z pamięcią podręczną SSD |
|---|---|---|---|
| Sekwencyjny odczyt AJA System Test | HD-1080i, 16GB, 10bit YUV | 603 MB/s | 410 MB/s |
| Sekwencyjny odczyt Iometer 256K | Thread=1, Queue depth=1 | 304,36 MB/s | 236,71 MB/s |
| Losowy odczyt Iometer 4K | Thread=1, Queue depth=1 | 48,8 IOPS | 108,29 IOPS |
| Losowy odczyt Iometer 4K | Thread=1, Queue depth=16 | 974,5 IOPS | 4434 IOPS |
| Sekwencyjny zapis AJA System Test | HD-1080i, 16GB, 10bit YUV | 520 MB/s | 500 MB/s |
| Sekwencyjny zapis Iometer 256K | Thread=1, Queue depth=1 | 233,18 MB/s | 295,78 MB/s |
| Losowy zapis Iometer 4K | Thread=1, Queue depth=1 | 1474 IOPS | 2959,64 IOPS |
| Losowy zapis Iometer 4K | Thread=1, Queue depth=16 | 2281 IOPS | 2801,89 IOPS |
Test jednoczesnego dostępu wielu klientów
| Element testu | Tryb obciążenia | Bez pamięci podręcznej SSD | Z pamięcią podręczną SSD |
|---|---|---|---|
| Sekwencyjny odczyt AJA System Test | HD-1080i, 16GB, 10bit YUV | N/A (uwaga) | N/A (uwaga) |
| Sekwencyjny odczyt Iometer 256K | Thread=1, Queue depth=1 | 1017,34 MB/s | 1017,17 MB/s |
| Losowy odczyt Iometer 4K | Thread=1, Queue depth=1 | 476,1 IOPS | 7027,98 IOPS |
| Losowy odczyt Iometer 4K | Thread=1, Queue depth=16 | 974,76 IOPS | 18821,64 IOPS |
| Sekwencyjny zapis AJA System Test | HD-1080i, 16GB, 10bit YUV | N/A (uwaga) | N/A (uwaga) |
| Sekwencyjny zapis Iometer 256K | Thread=1, Queue depth=1 | 796,38 MB/s | 659,79 MB/s |
| Losowy zapis Iometer 4K | Thread=1, Queue depth=1 | 2628,61 IOPS | 3200,6 IOPS |
| Losowy zapis Iometer 4K | Thread=1, Queue depth=16 | 2602,41 IOPS | 2863,7 IOPS |
Uwaga: AJA System Test nie obsługuje testowania jednoczesnego dostępu wielu klientów, dlatego brak danych.
Test zapisu dużej liczby plików
Aby spełnić wymagania dotyczące obciążeń z dużą liczbą plików, test w tej sekcji wykorzystuje narzędzie Disk tools (File Generator) do regulacji rozmiaru plików, ich liczby i zawartości (zduplikowany lub losowy tekst), w celu symulacji wydajności podczas zapisu dużej liczby plików.
Metoda połączenia sieciowego
Pod względem topologii sieci, dwa foldery udostępnione na ES NAS są montowane na hoście serwera za pośrednictwem dwóch portów sieciowych 10Gb.
Źródło obciążenia testowego
| Ścieżka 1 (\\33.31.1.102) (Z:\) | Ścieżka 2 (\\33.31.1.102) (Z:\1) | Ścieżka 3 (\\33.32.1.102) (Y:\2) | ||
|---|---|---|---|---|
| Obciążenie zapisu 1 Rozmiar pojedynczego pliku 30MB | Obciążenie zapisu 3 Rozmiar pojedynczego pliku 40MB | Obciążenie zapisu 5 Rozmiar pojedynczego pliku 20MB | Obciążenie zapisu 7 Rozmiar pojedynczego pliku 60MB | Obciążenie zapisu 9 Rozmiar pojedynczego pliku 50MB |
| Obciążenie zapisu 2 Rozmiar pojedynczego pliku 30MB | Obciążenie zapisu 4 Rozmiar pojedynczego pliku 50MB | Obciążenie zapisu 6 Rozmiar pojedynczego pliku 50MB | Obciążenie zapisu 8 Rozmiar pojedynczego pliku 80MB | Obciążenie zapisu 10 Rozmiar pojedynczego pliku 100MB |
Aby zweryfikować obciążenie zapisu o dużej intensywności, generowane pliki będą miały rozmiar od 20 do 100MB, z całkowicie losową zawartością. Pliki są następnie przez długi czas zapisywane do systemu pamięci masowej, a wyniki są następujące.
Wyniki testu zapisu
- Łączna ilość zapisanych danych: 722TB
- Łączny czas zapisu: 713 godzin
- Średnia prędkość zapisu: 294,75MB/s (około 1TB na godzinę)
- Użycie procesora NAS: 50–55%
- Użycie procesora hosta: 80–90%
- Rzeczywista przepustowość zapisu niskopoziomowego systemu plików ZFS wynosi 850–1000MB/s, IOPS wynosi około 9K–11K, a średni rozmiar IO wynosi 94KB
- Niskopoziomowe wzmocnienie zapisu ZFS wynosi około 3-krotności
Wydajność przy wysokim poziomie pojemności
Po długim okresie intensywnego zapisu łączna pojemność i liczba plików osiągną bardzo dużą wartość. Monitorując wydajność odczytu systemu pamięci masowej w takich warunkach, symulowana stabilność przy intensywnym użytkowaniu jest następująca.
Pomiar wydajności odczytu
| Element testu | Tryb obciążenia | Wynik |
|---|---|---|
| Sekwencyjny odczyt Iometer 256K | Thread=1, Queue depth=1 | 421,40 MB/s |
| Thread=1, Queue depth=2 | 719,17 MB/s | |
| Thread=1, Queue depth=4 | 751,45 MB/s | |
| Thread=4, Queue depth=4 | 1084,06 MB/s | |
| Losowy odczyt Iometer 4K | Thread=1, Queue depth=1 | 2240,47 IOPS |
| Thread=1, Queue depth=4 | 8225,18 IOPS | |
| Thread=4, Queue depth=4 | 14141,09 IOPS |
W rzeczywistych pomiarach, przy pojemności bliskiej nasyceniu, wydajność odczytu NAS może być utrzymana na określonym poziomie, a najwyższa wydajność sekwencyjnego odczytu nadal zbliża się do górnej granicy przepustowości sieci 10Gb, zapewniając efektywnie długoterminową stabilną wydajność wyjściową.
Odtwarzanie po awarii i rekonstrukcja macierzy
Podczas budowania systemu pamięci masowej o dużej pojemności, gdzie pool wymaga wsparcia wielu dysków twardych, a dziesiątki, a nawet setki dysków twardych może pracować jednocześnie, reagowanie na awarię dysku twardego staje się istotną kwestią. Jak wspomniano w powyższej sekcji, QES zapewnia wielopoziomową ochronę danych dzięki technologii sprzętowej i programowej; nawet jeśli dysk twardy ulegnie awarii, nadal dostępne są 2 mechanizmy bezpieczeństwa zapewniające niezawodność danych: globalna gorąca rezerwa i technologia szybkiego odtwarzania danych.
Proces obsługi awarii dysku
Korzystając z powyższej architektury testowej jako przykładu, pool składa się z 8 grup RAID złożonych łącznie ze 116 dysków twardych, z 8 dyskami twardymi zarezerwowanymi jako dyski zapasowe. Jeśli wykorzystanie dysku osiągnie do 722 TB, a poziom pojemności osiągnie saturację 99,97%, to w przypadku wystąpienia awarii dysku twardego, QES natychmiast przejmie dysk zapasowy za pomocą globalnego mechanizmu gorącej rezerwy i użyje technologii szybkiego odtwarzania danych do rekonstrukcji danych, aby zminimalizować wpływ awarii dysku.
Pomiar czasu rekonstrukcji macierzy
W przypadku niemal nasyconego poolu, jeśli dysk twardy o pojemności 8 TB ulegnie awarii, system zostanie odbudowany przy użyciu innego gorącego dysku zapasowego 8 TB. Poniższe dane testowe pokazują przybliżony czas wymagany do odtworzenia danych.
| Poziom pojemności poolu | Zajęte miejsce | Czas odtwarzania po awarii dysku HDD 8 TB |
|---|---|---|
| 99,97% | 722,0 TB/722,2 TB | 276 godz. 23 min (około 11,5 dnia) |
Obsługa awarii obudowy rozszerzeń
W przypadku awarii obudowy rozszerzeń, w celu zapewnienia integralności istniejących danych, QES aktywnie chroni pool za pomocą mechanizmów ochrony danych w trybie offline. Gdy obudowa rozszerzeń powróci do trybu online i pool zostanie przywrócony, będzie nadal świadczyć usługi w normalny sposób.
Wnioski
QNAP QES posiada wiele funkcji, takich jak wielopoziomowa technologia ochrony danych, duża pojedyncza przestrzeń pamięci masowej, kompresja danych w czasie rzeczywistym, deduplikacja danych i wiele innych. Są to przydatne funkcje do tworzenia środowiska aplikacyjnego o dużej pojemności. W połączeniu z różnymi konfiguracjami RAID i pooli może skutecznie pomagać użytkownikom w elastycznym planowaniu ich pamięci masowej. Nawet w przypadku wypadków i awarii może wykorzystywać technologię szybkiej rekonstrukcji, aby w jak największym stopniu ograniczyć wpływ awarii sprzętu poprzez proces odtwarzania. Dysponuje wieloportowym interfejsem sieciowym 10 Gb, obsługuje protokoły komunikacyjne iSCSI, NFS, CIFS i inne, i doskonale nadaje się do różnorodnych scenariuszy aplikacyjnych.