Witajcie,
dysk 12TB podpięty do USB 3.0.
Transfer przy użyciu ssh i mc wynosi 70MB/s (dużo małych plików) i około 150MB/s duże pliki - czyli może być.
Te same zasoby próbuję kopiować przy użyciu HBS3 i transfer jest żenująco niski - tego nawet nie ma jak policzyć no chyba, że około 1-2 pliki na 3-4 sek.
Wielkość plików małych 1B do 5MB. Duże pliki idą wystarczająco szybko. Ilość małych plików 300tys..
NAS w tym czasie "nic" innego nie robi (obciążenie procesora i7 na poziomie 2% do 6%). Kopia idzie z Raid6 (4 dyski) lub z pojedynczych dysków (2 dyski). Oczywiście każdy zasób testowany indywidualnie.
Nie ma znaczenia czy na dysku USB jest NTFS czy EXT4 - na razie bez szyfrowania.
Będę robił porządki z macierzami i muszę mieć 2 kopie danych. Jedna idzie na TS-112P (jeden dysk 6TB), a druga miała być na dysku USB.
Jak przyśpieszyć transfer małych plików? Czy komuś udało się rozwiązać ten problem?
Chyba spakuję je na NASie w kilka większych zipów ale to to samo co ręcznie skopiować przy pomocy ssh i mc - a miał być automat i wersjonowanie, bo muszę sprawdzić czy kopie są jednakowe - a to trwa.
Jakieś pomysły?
Wersja oprogramowania Firmware: 4.5.2.1566 Build 20210202
Model serwera: QNAP TVS-671 16GB Intel Core i7-4790S
dysk 12TB podpięty do USB 3.0.
Transfer przy użyciu ssh i mc wynosi 70MB/s (dużo małych plików) i około 150MB/s duże pliki - czyli może być.
Te same zasoby próbuję kopiować przy użyciu HBS3 i transfer jest żenująco niski - tego nawet nie ma jak policzyć no chyba, że około 1-2 pliki na 3-4 sek.
Wielkość plików małych 1B do 5MB. Duże pliki idą wystarczająco szybko. Ilość małych plików 300tys..
NAS w tym czasie "nic" innego nie robi (obciążenie procesora i7 na poziomie 2% do 6%). Kopia idzie z Raid6 (4 dyski) lub z pojedynczych dysków (2 dyski). Oczywiście każdy zasób testowany indywidualnie.
Nie ma znaczenia czy na dysku USB jest NTFS czy EXT4 - na razie bez szyfrowania.
Będę robił porządki z macierzami i muszę mieć 2 kopie danych. Jedna idzie na TS-112P (jeden dysk 6TB), a druga miała być na dysku USB.
Jak przyśpieszyć transfer małych plików? Czy komuś udało się rozwiązać ten problem?
Chyba spakuję je na NASie w kilka większych zipów ale to to samo co ręcznie skopiować przy pomocy ssh i mc - a miał być automat i wersjonowanie, bo muszę sprawdzić czy kopie są jednakowe - a to trwa.
Jakieś pomysły?
Wersja oprogramowania Firmware: 4.5.2.1566 Build 20210202
Model serwera: QNAP TVS-671 16GB Intel Core i7-4790S
targetem nie musi być urządzenie sieciowe 
