Pomoc TS-451 / TS-251 Koszmarnie wolne kopiowanie - dysk HDD USB 3.0

[badsector]

Cześć!

Kupiłem niedawno Qnap TS-451 i TS-251. Podłączyłem zewnętrzny dysk HDD USB 3.0 i niestety dane kopiują się koszmarnie wolno:

Qnap kopiuje już 48GB przez 10h30m

Dysk:
Seagate FreeAgent GoFlex Desktop 2TB USB 3.0 (w środku Seagate Barracuda Green Desktop Hard Drive ST2000Dl003 2TB)
NTFS

[~] # lsusb
Bus 001 Device 002: ID 1c05:2074
Bus 001 Device 003: ID 051d:0002 American Power Conversion Uninterruptible Power Supply
Bus 001 Device 004: ID 1005:b155 Apacer Technology, Inc.
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 002 Device 002: ID 1c05:3074
Bus 002 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 002 Device 004: ID 0bc2:50a5 Seagate RSS LLC
Bus 002 Device 003: ID 0bc2:50a5 Seagate RSS LLC

Indeksowanie biblioteki multimediów wyłączyłem Multimedia Management -> Media Library

QNAPy mają najnowsze firmware 4.20 2016/01/30, 8GB i 2GB, TS-451 ma zaszyfrowany cały dysk, TS-251 nie ma zaszyfrowanego - różnica w prędkości ok. 20%

Czytałem, że kiedyś był problem z biblioteką obsługującą NTFS w firmware, ale miała ona zostać już dawno poprawiona. Zainstalowałem najnowsze firmware i nic nie pomogło. Innego rozwiązania nie znalazłem.

W czym problem? Firmware, ustawienia QNAP, NTFS? Jedyna szansa to przeformatowanie na EXT3/EXT4?

Pozdrawiam!

 

[killjoy]

Dziwne - sam mam zewnętrzny 1TB ADATA usb 3, sformatowany w ntfs i transfery mam normalne jak na dyski usb 3 czyli ok 50MB/s ( tak, wiem ,że powinno być więcej ale przeważnie jest mniej niż teoria ).
Coś masz nie tak w systemie, bo czekanie 10h to trochę za dużo

 

[badsector]

Coś masz nie tak w systemie, bo czekanie 10h to trochę za dużo

W tych procesach powyżej nic nie widać?

 

[mariuszsal]

Jakie media są kopiowane ? Może to tysiące malutkich plików ?

 

[badsector]

Jakie media są kopiowane ? Może to tysiące malutkich plików ?

Filmy po kilkaset mega, kilka giga...
nadal przegrywa

teraz procesy są takie:

Przerwałem ten wielogodzinny proces i sprawdziłem ile plus minus wynosi transfer dla kopiowania tylko jednego pliku:

HDD USB 3.0 -> QNAP : 50 MB/s
QNAP ->HDD USB 3.0 : 65 MB/s

Wszystko zaczyna koszmarnie zwalniać jak w "File Station" przerzucę więcej katalogów za jednym razem. Opcja np. "Move and Skip". "Merge selected items into one task" nie ma znaczenia.

Czy ktoś może sprawdzić u siebie transfer przy przegrywaniu wielu katalogów jednocześnie ?
Okazuje się, że zwalnia chyba tylko przy "Move and Skip". Transfer w innych opcjach jest ok.50-60MB/s. Przy "Move and Skip" chyba góra 1MB/s... Hmmm....
OK. Sprawdziłem chyba już wszystkie opcje. "Move and Skip" jest problemem.

Czy może ktoś to u Siebie sprawdzić? Np. Skopiować "Copy and Skip", kilka katalogów z filmami na USB 3.0 a potem jeszcze raz w to samo miejsce "Copy and Overwrite", potem "Move and Skip" i "Move and Overwrite" ?

 

[Usunięty użytkownik pigers]

ja bym od strony SSH sie zalogował
i kopiował sobie pracowicie dane za pomocą rsynca w screenie
tam będzie widać cały postęp i całkiem całkiem.

dla przykładu :
Link: https://youtu.be/aC7uJyUPv2I

 

[badsector]

ja bym od strony SSH sie zalogował
i kopiował sobie pracowicie dane za pomocą rsynca w screenie
tam będzie widać cały postęp i całkiem całkiem.

dla przykładu :
Link: https://youtu.be/aC7uJyUPv2I

niezła muza
metodą rsync wyszło coś takiego:

3.27G 100% 29.37MB/s 0:01:46 (xfer#1, to-check=0/1)

sent 3.27G bytes received 31 bytes 30.68M bytes/sec
total size is 3.27G speedup is 1.00

też trochę słabo (Seagate Barracuda Green 2TB HDD USB 3.0 NTFS, QNAP Seagate NAS 4TB zaszyfrowany cały wolumin)

 

[killjoy]

Czekaj, czyli ty masz te dane zaszyfrowane ??
Jak tak, to nie dziwi słaba wydajność - masz tylko dwa rdzenie w procku.
Jeszcze pytanie ile masz ramu ? To też ma wpw na szyfrowanie ( wydajność ).

 

[badsector]

Czekaj, czyli ty masz te dane zaszyfrowane ??
Jak tak, to nie dziwi słaba wydajność - masz tylko dwa rdzenie w procku.
Jeszcze pytanie ile masz ramu ? To też ma wpw na szyfrowanie ( wydajność ).

Wcześniej już o tym pisałem:

QNAPy mają najnowsze firmware 4.20 2016/01/30, 8GB i 2GB, TS-451 ma zaszyfrowany cały dysk, TS-251 nie ma zaszyfrowanego - różnica w prędkości ok. 20%

HDD USB 3.0 nie jest zaszyfrowany, TS-451 ma zaszyfrowany cały dysk, TS-251 nie ma zaszyfrowanego. Dzisiaj resetuje fabrycznie wszystkie QNAP i ich dyski. Zobaczymy co będzie.

killjoy możesz sprawdzić transfer u siebie w File Station przy opcji "Move and Skip" (kilka katalogów z dużymi plikami przenoszone na USB 3.0 do katalogu z kilkoma takimi samymi katalogami i plikami)?

 

[killjoy]

Czekaj, czyli ty masz te dane zaszyfrowane ??
Jak tak, to nie dziwi słaba wydajność - masz tylko dwa rdzenie w procku.
Jeszcze pytanie ile masz ramu ? To też ma wpw na szyfrowanie ( wydajność ).

Wcześniej już o tym pisałem:

QNAPy mają najnowsze firmware 4.20 2016/01/30, 8GB i 2GB, TS-451 ma zaszyfrowany cały dysk, TS-251 nie ma zaszyfrowanego - różnica w prędkości ok. 20%

HDD USB 3.0 nie jest zaszyfrowany, TS-451 ma zaszyfrowany cały dysk, TS-251 nie ma zaszyfrowanego. Dzisiaj resetuje fabrycznie wszystkie QNAP i ich dyski. Zobaczymy co będzie.

killjoy możesz sprawdzić transfer u siebie w File Station przy opcji "Move and Skip" (kilka katalogów z dużymi plikami przenoszone na USB 3.0 do katalogu z kilkoma takimi samymi katalogami i plikami)?

Cały czas mam ok 50MB/s

 

[badsector]

Zreinicjanizowałem całego QNAPA (konfiguracja i dysk), zrobiłem staticvolume bez szyfrowania. Niestety tylko trochę lepiej.

rsync:

sent 220.94G bytes received 16.30K bytes 18.94M bytes/sec
total size is 235.19G speedup is 1.06

Na Windows mam ok 40-70 MB/s...

Zauważyłem że kopiowane są jakieś thumbnails:

Movies/West Bank Story - Xvid/
Movies/West Bank Story - Xvid/West Bank Story - Xvid.txt
660 100% 4.64kB/s 0:00:00 (xfer#834, to-check=7/1003)
Movies/West Bank Story - Xvid/West Bank Story Xvid.avi
529.27M 100% 31.53MB/s 0:00:16 (xfer#835, to-check=6/1003)
Movies/West Bank Story - Xvid/.@__thumb/
Movies/West Bank Story - Xvid/.@__thumb/a100West Bank Story Xvid.avi
44.66K 100% 45.14kB/s 0:00:00 (xfer#836, to-check=4/1003)
Movies/West Bank Story - Xvid/.@__thumb/adefaultWest Bank Story Xvid.avi
397.57K 100% 390.21kB/s 0:00:00 (xfer#837, to-check=3/1003)
Movies/West Bank Story - Xvid/.@__thumb/defaultWest Bank Story Xvid.avi
29.60K 100% 28.65kB/s 0:00:01 (xfer#838, to-check=2/1003)
Movies/West Bank Story - Xvid/.@__thumb/s100West Bank Story Xvid.avi
4.59K 100% 4.38kB/s 0:00:01 (xfer#839, to-check=1/1003)
Movies/West Bank Story - Xvid/.@__thumb/s800West Bank Story Xvid.avi
36.61K 100% 34.88kB/s 0:00:01 (xfer#840, to-check=0/1003)

Wydaje mi się, że już wszystkie wyłączyłem (medialibrary, wszystkie photo, music i video station wyłączone)

Nie widzę natomiast w File Station katalogów .@__thumb nawet po zaznaczeniu żeby pokazywał ukryte.

Może w tym jest problem że jednak cały czas generuje mi jakieś thumbnails/miniaturki tych plików wideo i zdjęć. Hmmm.... Jak to na 1000000% wyłączyć i wykasować wszystkie .@__thumb?

 

[Usunięty użytkownik pigers]

Wyłącz media library

a ".@__thumb" pokasuj sobie z poziomu WinSCP

PS:
ja bym poszukał sobie po komendzie FIND zeby za mnie pokasowała

 

[badsector]

kopiowanie innych plików (nie filmy i zdjęcia):

sent 2.21G bytes received 871 bytes 65.92M bytes/sec
total size is 2.21G speedup is 1.00

Do kasowania podkatalogów ".@__thumb" polecam skryt w pythonie z forum qnapa. Trzeba zapisać jako np. removethumbs.py, skopiować do katalogu, którego podkatalogi mogą zawierać miniaturki i uruchomić przez SSH: python removethumbs.py:

import os, shutil

for root, dirs, files in os.walk('.', topdown=False):
print "Root: %s" % root
for dir in dirs:
if dir == '.@__thumb':
delpath = os.path.join(root, dir)
print "Removing %s" % delpath
shutil.rmtree(delpath)
for file in files:
if file == '.hightlight':
delpath = os.path.join(root, file)
print "Removing %s" % delpath
os.remove(delpath)
elif file == 'Picasa.ini':
delpath = os.path.join(root, file)
print "Removing %s" % delpath
os.remove(delpath)
elif file == 'Thumbs.db':
delpath = os.path.join(root, file)
print "Removing %s" % delpath

 

[Silas Mariusz]

Nie szukaj maksymalnych możliwości działania portu USB w serwerach opartych na tzw. SOC'ach, w których karta graficzna, kontroler i etc. znajduje się w jednym scalaku. Serwery TS-x51 oraz x53 oparte o generacje "Goodbye Atom, Hello Celeron" i tak przeganiają barierę procesorów ATOM czy ARM'ów oferując znacznie lepsze wyniki pracy, ale to nadal energooszczędne konstrukcje.
System-on-a-chip – Wikipedia, wolna encyklopedia