Pomoc archiwizacja dużej ilości danych

[szybki]

Witam wszystkich,

Borykam się od początku pracy z QNAPem z następującym problem. Na QNAP'ie mam około 900000 plików w około 160000 folderach w sumie około razem około 1,8T danych. Głównie są to pliki małe. W sieci mam dwa urządzenia jeden to TVS-1282, drugi to TS-201. Z racji tego żę chciałbym mieć dla bezpieczeństwa kopie poza głównym urządzeniem to próbowałem wykonać pełny backup z TVS na TS. Niestety efekt jest taki ze wykonanie takiej kopi zajmuje strasznie długo czasu przez sieć - kilka dni. Niestety na rodzaj wykonywanej działalności, ciągłe modyfikacje plików, nie mogę sobie pozwolić na takie rozwiązanie. Poszukuję jakiegoś rozwiązania które spakowało by dane na TVS do archiwum i w następnym kroku, najlepiej automatycznym, wysłało spakowane dane do TS jako jeden duży plik, który byłby wstanie skopiować się w nocy z urządzenia na urządzenie. Tak żeby wykorzystać cały potencjał który drzemie w połączeniu sieciowym 1Gb. Obecnie przy małych plikach wykorzystanie prędkości interfejsu na mierzone na switchu jest d0 10%
Z góry dziękuję za wszelkie porady, podpowiedzi i sugestie.

Pozdrawiam,
zigzag

Wersja oprogramowania Firmware: 4.3
Model serwera: QNAP TVS-1282

 

[Usunięty użytkownik pigers]

pierwsza kopia tar -c /path/to/dir | ssh remote_server 'tar -xvf - -C /absolute/path/to/remotedir'

kolejne - rsync -avW -e ssh /path/to/dir/ remote_server:/path/to/remotedir

 

[Fixer]

W takich przypadkach (dużo małych i często zmieniających się plików) sprawdza się zwykła synchronizacja zamiast tradycyjnej archiwizacji gdzie wszystko łączone jest do jednego dużego zbiorczego pliku. Jest generalnie procesem mniej zawodnym i odpornym na przerwanie bo nie musimy zaczynać wszystkiego od nowa.
Przy nieco sprytniejszych ustawieniach procesu synchronizacji możesz nawet zarządzać kilkoma kopiami/wersjami tych samych plików co jest czasami bardzo przydatne. Niestety przy tym rozwiązaniu użytkownikom często brakuje tutaj elementu kompresji czy szyfrowania w locie.