Pomoc HDD Raid - zapas alokacji puli?

[ghost212]

Hej, może ktoś podpowie, na stronach qnapa w temacie "Zapasu alokacji puli" wszędzie pojawia się temat korzyści dla SSD, dłuższej trwałości itp.
Natomiast nie znalazłem ani słowa odnośnie puli z HDD, czy to raid czy nie, a QTS (Hero) zezwala to ustawić przy każdej puli.
Pytanie:
1. Czy ma to jakiś sens dla HDD i czy ma sens tracić zalecane 10% czy wystarczy 1-3% czy w ogóle sobie darować bo nic to nie zmieni ?
2. Czy dla SSD faktycznie zalecane 10% jest w pełni rozsądne? Przy dysku 1TB mamy 872gb dostępnego, tracąc 10% na alokację zostaje niecałe 700gb, to już duży ubytek. I nie pytam bo mi szkoda tracić miejsce kosztem czegoś. Bardziej szkoda mi tracić miejsce kosztem nieracjonalnie minimalnego zysku

 

[Usunięty użytkownik pigers]

1. Czy ma to jakiś sens dla HDD

Nie.

2. Czy dla SSD faktycznie zalecane 10% jest w pełni rozsądne?

Pytasz czy warto zabrać sobie 10% żeby było szybciej i dłużej działało ? Aha - ja myślę że tak .. a testy mówią że nawet 30% czasami robi jeszcze lepsza robotę.

 

[ghost212]

1. Dzięki
2. Tak jak wyjaśniłem, pytałem czy warto zabrać sobie 10% żeby na 10 lat użytkowania zyskać 1 dzień. Jeżeli ten zysk faktycznie jest realny a 30% jeszcze go zwiększa to nie będę się krępował poświęcić 10-15 i o to mi chodziło
Dzięki x2 !

 

[Usunięty użytkownik pigers]

odpal ten test dla ssd, to wypluje ci excela i popatrz na to gdzie wszystko jest najwyżej, a zabiera mało % miejsca

typowa mini-max

 

[Silas Mariusz]

Jeśli kupujesz dyski serwerowe lub enterprise to nie ma sensu.
Jeśli wrzucasz jakiś gamingowy shit SSD to alokacja podobno ma sens. Ale ja sie nie znam bo takich dysków nie używam.
Musiałby się wypowiedzieć faktyczny specjalista odnośnie dysków SSD.

 

[ghost212]

odpal ten test dla ssd, to wypluje ci excela i popatrz na to gdzie wszystko jest najwyżej, a zabiera mało % miejsca

typowa mini-max

Jaki test ?

Jeśli kupujesz dyski serwerowe lub enterprise to nie ma sensu.
Jeśli wrzucasz jakiś gamingowy shit SSD to alokacja podobno ma sens. Ale ja sie nie znam bo takich dysków nie używam.
Musiałby się wypowiedzieć faktyczny specjalista odnośnie dysków SSD.

Hmm czyli jednak zdania mamy nieco podzielone.
Co do HDD to używam WD Gold'ów
Odnośnie SSD nie uważam że to shity ani że gamingowe(ale mogę się mylić), samsungi 980pro

 

[Usunięty użytkownik pigers]

SSD Profiling Tool

 

[pimposh]

W świecie centrów danych przyjmujemy 28% bardzo często jako złoty środek jeżeli chodzi o OP dla dysków tejże klasy. Specyfikacje producenta bardzo często gwarantują pewne osiągi dla mniej więcej 20-30% OP. DWPD bardzo często podany jest dla 7% i 30%.
Inaczej sprawy się mają w zależności od scenariusza w jaki sposób dysk jest eksploatowany - odczyt, odczyt/zapis, przeważający zapis. To dosyć złożona kwestia, na tyle, że sami producenci dysków DC mają inne modele, a nawet inny FW, dla różnych scenariuszy.
W większości zagadnienia z zakresu metrologii opisuje JESD218B.02, JESD219A.01.

A teraz dyski konsumenckie, (980 Pro to dobry choć niczym szczególnie nie wyróżniający sie NVMe pomijając zdychajace przez problem w FW modele 1/2T) to inna para kaloszy, bo te zupełnie nie nadają się do pracy w scenariuszu ciągłych zapisów, i zauważysz autorze wątku, że najlepsze wyniki da Ci OP typu 40-50% i nie jest to błąd aplikacji QNAPa tylko zwyczajnie tak jest.

40% jeżeli chcesz włożyć i zapomnieć. Wypij więc szklanę 40%. Zdrowie.

 

[ghost212]

40% uhh, martwiłem się stratą 10%, ale widzę że muszę poświęcić więcej ale damy radę, mam dwa dyski
chciałem odpalić to profilowanie SSD ale nie widzę tego toola na nowym qnapie w ogóle ani w app center.. jest jakieś profilowanie ZFS, które z drugiej strony nie widzi żadnego dysku.
Pozostaje wypić wspomnianą szklanę i zapomnieć

 

[buri]

Ja mam 10% alokacji na zwykłych Kioxia 500GB w Raid 1. Alokację można zrobić tylko na początku czy muszę postawić całość od nowa czy np. da radę pojedynczo podnieść alokację w tych dyskach?

 

[Usunięty użytkownik pigers]

da radę pojedynczo podnieść alokację w tych dyskach?

możesz zmniejszyć overprovision, ale iść w góre się nie da .. chcesz dane stracić ?!

Połączono posty: 16 Kwiecień 2023

 

[buri]

Dobra koniec takich pomysłów. Kiedyś jak zdechnie jeden to kupie sobie typowe pod NAS i postawię wszystko od nowa.... albo założę bardzo długi temat jak to zrobić rozsądnie.
Wracam do zasady — działa, nie ruszaj.

 

[pimposh]

Jutro wkleje testy profilowania dwóch modeli. Zwykłego jakiegoś i SN700.

 

[pimposh]

Żebyście nie musieli na krzyżu wisieć zrobiłem to za was.

Założenia były takie.
* NAS osiągalny dla wszystkich - więc TS-264 (464/664 to to samo dla niewtajemniczonych) jako dobra średnia półka w 2023, sloty z uwagi na braki w CPU przycięte są do 3x1 (i dobrze inaczej w tych modelach NVMe by się usmażyły).
* Dyski SSD nowe nieużywane,
* Dyski o pojemności osiągalnej dla wszystkich... testy tych samych pojemności bo porównywanie różnych mija się z celem. Więc 500GB.
* Dyski z różnych półek cenowych.

Więc mamy tak

1) Crucial P3 500GB - dysk zwykły, budżetowy. Pomiar powtarzałem 2x żeby się upewnić... coś a'la WD Blue 550/570 z mojego skromnego doświadczenia. Po testach SOH spadł do 96%.

Zasadniczo zatem nie pomyliłem się w poprzednim postem. Pijemy szklankę 40% dla kurażu przed instalacją takiej pamięci jako coś innego jak SSD-Scratchdisk. Jasne, będzie szybciej niż na HDD....
-----------

2) WD SN700 Red 500GB - konsumencki dysk marketingowo przeznaczony do NAS.

Brzęczałem coś w poprzednim poście o złotej regule 28%. Wybrzęczałem. 28% to chyba żołądkowa gorzka ma ? Więc łyknąć należy małpkę przed żabką....
-----------

3) Samsung 970 Evo Plus (1 wersja, jeżeli dostępna gdzieś w sprzedaży to jako leżak - SLC cache mały (42GB) widać na wykresach pięknie gdzie się kończy). Aktualna wersja (115GB SLC) - strzelam, że paradoksalnie będzie lepiej na początku a dużo gorzej dalej.
Nikt nie reklamuje go jako do NAS, a jednak SN700 bije bez skrupułów.

Tu też XLS coś fajnego pokazuje.
-----------
Niestety nic innego w parkach 500 GB nie mam. Jak znajdę wolną chwilę (na innej platformie bo dysku 100mm nie wrzuce do TS-x64) puszczę jeszcze dwa testy - 980 Pro 1TB vs PM9A3 960GB - bo tam wyniki też będą ciekawe (ale to już będzie pełen gwizdek 4x4).
A za chwilę jeszcze coś z szuflady - 980 250GB tylko się ukrzyżuje...
Jak ktoś ma coś mądrego do dodania, zapraszamy do reklamy.

Połączono posty: 17 Kwiecień 2023

XLS

 

[ghost212]

Test dla 980pro 1tb byłby dla mnie kluczowy, właśnie takie mam u siebie w tvs-h674

 

[pimposh]

980 ale 250GB. Znowu bez 40% trunku smuteczek.

 

[ghost212]

Dobra a teraz na poważnie, QUTS Hero i ZFS w tym temacie coś zmienia? W ogóle nie mam dostępnej apki do profilowania SSD w AppCenter, jest jakieś profilowanie ZFS ale nie mam do wyboru żadnego dysku żeby zrobić test ? Szukałem jakiś informacji na Qnapach ale nie wiele widzę połączeń Hero i profilowania.
Jedyny test jaki znalazłem to w Pamięć Masowa-->Dyski/JBOD jako odczyt IOPS i dla mojego 980 Pro 1TB niezależnie od ustawionego OP 0%, 10%, 30% wyniki są podobne średnio 315k-325k IOPS

 

[pimposh]

40% jest poważne. Ile ludzkość złych decyzji podjęła kiedy % wchodziły w grę
Narzędzie do profilowania pamięci typu SSD ma za zadanie ujawnić jak niedojrzałe i złe to są urządzenia w zależności od wybranego modelu.
W oparciu o uzyskane dane można oszacować przydatność takowego do użycia w różnych scenariuszach:

1) pula zwykła dla ciotki szwagra syna - praktycznie co wrzucone, to leży i nie martwimy się do momentu kiedy przestaje brakować nam miejsca...
2) pula zwykła ale z udziałem WORM,
3) pula dla maszyn VM, gdzie stosunek RW jest już zupełnie inny w kierunku zapisu,
4) pula do zadań cache/QTier.
5) pula systemowa gdzie będą kontenerki.

I takie oszacowanie pozwala nam dobrze ustawić OP, żeby nie kwękać, że odkąd wrzuciłem 100GB danych wydajność spadła, chyba coś jest popsute.

Idziemy dalej. To, że kuchnia jest pomieszczeniem, nie oznacza, że pasuje tam dywan.

Takoż jest z systemami plików. ZFS/OpenZFS który wykorzystywany jest w QuTS Hero działa zupełnie inaczej niż ext3/4/brtfs.
Jego transakcyjność powoduje, że zanim paczka danych zostanie zapisana na dysku, to ląduje w ZIL. A ten jest w RAM Twojego urządzenia.
Jaki by to RAM nie był, w chwili dzisiejszej, zawsze jest szybszy niż pamięć SSD. Z ZIL leci do miejsca docelowego.
W ujęciu systemowym stosowanie cache w ZFS ma dużo mniejszą przydatność niż w takim EXT4. Co nie oznacza, że jej nie ma, ale to raczej w specyficznych scenariuszach. Pewnie dlatego Q nie zamieścił tożsamego z SSD Profiling Tool narzędzia w dystrybucji Hero.

 

[ghost212]

Hmmm rozumiem różnicę jaką opisałeś w kotenkście ZFS do EXTów, natomiast co to oznacza dla nas w praktyce?
Na 'chłopski' rozum możnaby pomyśleć że skoro Hero nie zawiera narzędzia do profilowania to uważa, że nie jest wyjątkowo potrzebne owe ustawienie (?)
Z drugiej strony mam przeczucie że mimo wszystko może być przydatne, teraz tak naprawdę nie mam pewności jak to praktycznie ustawić, wstępnie dałem po prostu po 30% na obu dyskach, choć nie przewiduję ich 'zażynania', raczej setup będzie wyglądał:
1. system + jakieś przejściowe pliki przerzucane szybciej i ciszej niż po HDD
2. VMki (windows z apkami + linux z gitlabem i bazą danych(nieduża ale ciągłe transakcje przez 8h dziennie) + ewentualnie jakieś dockery
Oba dyski to jak mówiłem 1tb 980 pro

Czy te 30% jest rozsądne/za skromne/przesadzone(ze względu na ZFS)?

 

[pimposh]

Szerszy kontekst:

1) QNAP nie wymyślił Linuxa, a jedynie korzysta z jego dobrodziejstw. Korzystając z ext4, QTS korzysta z systemowego dmcache@lvm (mozesz poczytac np. tu Using LVM cache for storage tiering - Luc de Louw's Blog)
Sposób zapisu danych w ext4 wymusza co do zasady wielkość cache. W skrócie - cache musi być duży, żeby nie został momentalnie zapchany.

Moge się tylko domyślać, że narzędzie dostępne w QTS było stworzone dawno temu (kiedy to dyski ssd były bardziej problematyczne niż dzisiejsze), i wiedza jaką za jego pomocą uzyskujesz, jest przydatna w kontekście stosowania go zarówno jako cache jak i woluminu do przechowywania danych.


2) Zagadnienie nr 2 to ZFS i wspomniany wcześniej sposób zapisu danych. W gruncie rzeczy dopóki mamy jakąś sensowną ilość (8GB) pamięci RAM oddelegowanej tylko do ZFS (czyli w praktyce 16+ bo przecież sam OS i Qtoolsy zżerają + VM) to dane zawsze szybciej zlecą na dysk z RAM niż nawet (pomijając Optane3Dx) najlepszego SSD.
Stack OpenZFSowy (którego znowu QNAP nie wymyślił) dla dwóch dysków 1.75TB domyślnie wylicza raptem 10GB ZIL:

Jak bardzo ciulowaty dysk SSD by nie był, to i z OP10% praca w zakresie (to jest ZAPIS przypominam do ZIL@NVM/SSD SATA) 10GB będzie szybka (ale wolna w porównaniu do RAM). W kontekście - kupie SSD tylko do cache.
Może celowo QNAP nie dał tego samego narzędzia, żeby nie mącić użytkownikowi w głowie. Z jednej strony reklamują super hero, a z drugiej cache który nie działa.... Bo takie wrażenie można odnieść.

Bo w ujęciu przechowywania danych/VM bardzo dobrze zrobiłeś, że użyłeś, jeden powie aż, inny tylko, 30% OP bo w opisanych przez Ciebie punktach 1. 2. zapewniasz większą wydajność, dłuższy (potencjalnie) czas bezawaryjnej pracy.
Dla SSD nie ma już znaczenia system plików, tylko
w skrócie zjawisko WA i mechanizmy GC.