Help Przyspieszenie z użyciem pamięci podręcznej - dziwne zachowanie

paweb

Nowy użytkownik
Noobie
Nov 21, 2024
3
0
1
33
netlogic.pl
QNAP
TS-x77
Ethernet
10 GbE
Witam wszystkich,

Zanim utworzę ticket w Qnapie, chciałbym zapytać czy któryś z Was mierzył się z podobnym problemem. Przekopałem internet wzdłuż i wszerz lecz nie spotkałem się z podobnym problemem.

Środowisko:
  1. 2x TS-h1277XU-RP (8x12 TB RAID 10 + 4x 2TB SSD RAID 10 (Cache), QTS 5.2.2.2950, R7-3700X, 32GB RAM - konfiguracja 1:1 taka sama.
  2. Połączenie "P2P" realizowane za pomocą QXG-25G2SF-CX6 zestawione z prędkością 25 Gb/s.
  3. Połączenie z LAN zestawione z prędkością 10 Gb/s.

Mam dwie macierze skonfigurowane tożsamo, które służą do przechowywania kopii zapasowych Veeam. Wspomniana kopia ląduje na pierwszym urządzeniu - tutaj prędkości są zadowalające, pełna saturacja połączenia 10Gb/s. Dostęp SMB również na zadowalającym poziomie ~700-900 MB/s w zależności od przenoszonych danych. Problem pojawia się w momencie gdy chce wspomnianą kopię przenieść na drugie urządzenie za pomocą HBS'a (lub cokolwiek na nim zapisać). Prędkość transferu zarówno przez HBS (RTRR) jak i SMB po niespełna sekundzie spada do ~190-200 Mb/s i utrzymuje się na stałym, niskim poziomie aż do zakończenia operacji. Co ciekawe, gdy uruchomię tożsame zadanie w drugą stronę (Q2 > Q1), to transfer utrzymuje się na wysokim poziomie i wynosi znów ~700-900 MB/s. Sprawdzałem IPerfem - brak problemów. Robiłem testy poszczególnych dysków (zarówno tych w głównej puli jak i cache) - brak problemów. Moją uwagę zwrócił "% przypisania pamięci podręcznej na urządzeniu Q2" - od początku jej funkcjonowania, czyli od jakiegoś pół roku, utrzymuje się na wartości 0% i ani drgnie (zrzut poniżej), potwierdza to również "% zużycia dysków SSD", który na tą chwilę wynosi 98%, dla porównania w Q1 jest to 83%:

1732227869581.png


Na urządzeniu Q1, przypisanie pamięci Cache wynosi 99% co objawia się zadowalającymi prędkościami pracy:

1732228105139.png


Z moich obserwacji wynika, że:
Serwer > Q1 - prędkość transferu ~700-900 MB/s (saturacja połączenia10Gb/s)
Q1 > Q2 - prędkość transferu ~200MB/s (dramatycznie wolno)
Q2 > Q1 - prędkość transferu znów ~700-900MB/s (połączenie 25Gb/s, dobijam pewnie do limitów pamięci a niżeli do saturacji łącza)

Wyniki polecenia qcli_storage -T force=1 oraz qcli_storage -t force=1 dla Q1:
Performance test is finished 100.000%...
Enclosure Port Sys_Name Throughput RAID RAID_Type RAID_Throughput Pool
NAS_HOST 1 /dev/sda 256.07 MB/s /dev/md1 RAID 10 1.58 GB/s 288
NAS_HOST 2 /dev/sdb 262.40 MB/s /dev/md1 RAID 10 1.58 GB/s 288
NAS_HOST 3 /dev/sde 259.15 MB/s /dev/md1 RAID 10 1.58 GB/s 288
NAS_HOST 4 /dev/sdd 261.99 MB/s /dev/md1 RAID 10 1.58 GB/s 288
NAS_HOST 5 /dev/sdh 250.31 MB/s /dev/md1 RAID 10 1.58 GB/s 288
NAS_HOST 6 /dev/sdg 247.22 MB/s /dev/md1 RAID 10 1.58 GB/s 288
NAS_HOST 7 /dev/sdc 260.08 MB/s /dev/md1 RAID 10 1.58 GB/s 288
NAS_HOST 8 /dev/sdf 256.46 MB/s /dev/md1 RAID 10 1.58 GB/s 288
NAS_HOST P2-1 /dev/nvme0n1 3.31 GB/s /dev/md2 RAID 10 6.56 GB/s 256
NAS_HOST P2-2 /dev/nvme1n1 3.31 GB/s /dev/md2 RAID 10 6.56 GB/s 256
NAS_HOST P2-3 /dev/nvme2n1 3.31 GB/s /dev/md2 RAID 10 6.56 GB/s 256
NAS_HOST P2-4 /dev/nvme3n1 3.31 GB/s /dev/md2 RAID 10 6.56 GB/s 256

Performance test is finished 100.000%...
VolID VolName Pool Mapping_Name Throughput Mount_Path FS_Throughput
1 DataVol1 288 /dev/mapper/cachedev1 985.00 MB/s /share/CACHEDEV1_DATA 1.40 GB/s

Wyniki polecenia qcli_storage -T force=1 oraz qcli_storage -t force=1 dla Q2:
Performance test is finished 100.000%...
Enclosure Port Sys_Name Throughput RAID RAID_Type RAID_Throughput Pool
NAS_HOST 1 /dev/sda 249.83 MB/s /dev/md1 RAID 10 1.49 GB/s 288
NAS_HOST 2 /dev/sdb 247.47 MB/s /dev/md1 RAID 10 1.49 GB/s 288
NAS_HOST 3 /dev/sde 253.36 MB/s /dev/md1 RAID 10 1.49 GB/s 288
NAS_HOST 4 /dev/sdd 225.70 MB/s /dev/md1 RAID 10 1.49 GB/s 288
NAS_HOST 5 /dev/sdh 239.33 MB/s /dev/md1 RAID 10 1.49 GB/s 288
NAS_HOST 6 /dev/sdg 257.24 MB/s /dev/md1 RAID 10 1.49 GB/s 288
NAS_HOST 7 /dev/sdc 248.50 MB/s /dev/md1 RAID 10 1.49 GB/s 288
NAS_HOST 8 /dev/sdf 251.60 MB/s /dev/md1 RAID 10 1.49 GB/s 288
NAS_HOST P2-1 /dev/nvme0n1 3.32 GB/s /dev/md2 RAID 10 6.42 GB/s 256
NAS_HOST P2-2 /dev/nvme1n1 3.33 GB/s /dev/md2 RAID 10 6.42 GB/s 256
NAS_HOST P2-3 /dev/nvme2n1 3.32 GB/s /dev/md2 RAID 10 6.42 GB/s 256
NAS_HOST P2-4 /dev/nvme3n1 3.33 GB/s /dev/md2 RAID 10 6.42 GB/s 256

Performance test is finished 100.000%...
VolID VolName Pool Mapping_Name Throughput Mount_Path FS_Throughput
1 DataVol1 288 /dev/mapper/cachedev1 870.05 MB/s /share/CACHEDEV1_DATA 699.45 MB/s

Na urządzeniu Q2 próbowałem utworzyć na nowo pulę pamięci cache w różnych trybach (odczyt/zapis/odczyt zapis) oraz z wykorzystaniem różnej ilości dysków (1/2/3/4) niestety rezultaty w dalszym ciągu są tożsame. Wymieniałem wkładki światłowodowe, sprawdzałem tłumienność połączenia światłowodowego, lecz wszystko wygląda jakby było w najlepszym porządku a wcale tak nie jest. Synchronizacja 4 TB danych zamiast trwać 2h trwa 8-10h co nie ukrywam przyspaża mnie o ból głowy.

Pytanie czy ktoś z Was widział kiedykolwiek podobny problem?

Będę wdzięczny za wszelakie merytoryczne wskazówki.

Pozdrawiam,
Paweł.
 
Hej,

Zostawiam informację gdyż udało mi się rozwiązać problem, być może komuś to pomoże. Przyczyną problemu była uszkodzona karta QM2-4P-384. Po jej wymianie cache od razu zaczął prawidłowo funkcjonować i synchronizacja osiągnęła oczekiwany 1GB/s.
 
Hej,

Zostawiam informację gdyż udało mi się rozwiązać problem, być może komuś to pomoże. Przyczyną problemu była uszkodzona karta QM2-4P-384. Po jej wymianie cache od razu zaczął prawidłowo funkcjonować i synchronizacja osiągnęła oczekiwany 1GB/s.
i tak wolno .. ale strzelam że zależy to
Sama karta to ponoć PCI-E Gen 3 x8 - co w teorii daje przepustowość rzędu 8GB/s. Mnie mój gigabajt w pełni wystarcza :)