Szybki uplad plikow

[z-ka]

Witajcie,
Musze skopiowac duza ilosc ilosc plikow na Qnapa (TS-101). Jest to okolo 250 gb. W tej chwili Qnap jest podlaczony pod Ovislinka do ktorego rowniez jest podlaczony Desktop. Uploaduje je za pomoca Total Commandera. Qnap jest zmapowany pod dektopem. Przyznam, ze transfery sa kiepskie i zaladowanie wszystkich plikow mi troche zajmie. Czy jest jakas szansa na przyspieszenie tej operacji? Moze bardziej doswiadczeni uzytkownicy podziela sie w tej kwestii doswiadczeniem? Wiekszosc uslug jest powylaczana w Qnapie. Aktywny jest jedynie slimserver.
Bardzo prosze o jakas rade, bo troche przeraza mnie perspektywa kopiowania tego przez tydzien.
Pozdrawiam

 

[carolinus]

przy sieci 100Mbit - ~5,5 do 12 godzin (5,5 przy założeniu że teoretyczna przepustowość sieci 100Mbit = praktycznie osiąganym wynikom, 12 godzin jak coś jest nie tak - obciążony komp, kiepskie kable itp. itd.)

przy sieci gigabitowej 0d około 30 minut do trochę ponad godziny

zazwyczaj realne jest osiągnięcie około 75-85% teoretycznych osiągów sieci co przełożyłoby się 8,5-9 godzin przy sieci 100Mbit i około 40-50 minut przy gigabitowej

tydzień czasu (a w zasadzie niecałe 5 dni - ponad 111 godzin ) trwałoby kopiowanie na Base-T 10Mbps

to nadal nie jest tragedia - jeśli potrzebujesz kopiować często i dużo to qnap (może poza tymi najdroższymi i najszybszymi modelami) nie jest najlepszym rozwiązaniem ;P


kopiowanie dane z dysku qnapa > inny dysk - wymontować dysk z qnapa i podłączyć do kompa
kopiowanie dysk > dysk w qnapie - tu jest większy problem - qnap ma jakiś niezgodny ze specyfikacją system plików i nie ryzykowałbym przenosin danych z nieqnapowego systemu na dysk który ma pracować pod kontrolą qnapa


pozdrawiam, c.

 

[z-ka]

Witaj,
Dziekuje za odpowiedz. Juz mowie jak sprawa wyglada. Teraz od kilku godzin transfer jest na poziomie 600-700 kbytes/s. Jako, ze teraz wgrywa sie kolekcja muzyki i sa to male pliki i jest ich sporo jestem w stanie zrozumiec. Tu na forum wyczytalem, ze przy duzej ilosci malych plikow Qnap nie ma szansy sie "rozbujac". Wieksze pliki beda pozniej. Mam nadzieje, ze troche sie poprawi.

jeśli potrzebujesz kopiować często i dużo to qnap (może poza tymi najdroższymi i najszybszymi modelami) nie jest najlepszym rozwiązaniem ;P

Nie. W tej skali jest to operacja jednorazowa. Przesiadlem sie z Linksysa NAS200, wiec transfer jest znacznie szybszy niz ten oferowany przez Linksysa, niemniej caly czas mam wrazenie, ze nie jest optymalny. Moze jakis hint jak jeszcze poprawic?

kopiowanie dysk > dysk w qnapie - tu jest większy problem - qnap ma jakiś niezgodny ze specyfikacją system plików i nie ryzykowałbym przenosin danych z nieqnapowego systemu na dysk który ma pracować pod kontrolą qnapa

Niestety. Tylko ta opcja ma miejsce. Bo juz w pewnym momencie zastanawialem sie nad podpieciem dysku pod desktop. Zrezygnowalem gdy zobaczylem, ze to Linuksowy system plikow i WIN napewno tego nie zobaczy.

 

[carolinus]

Witaj,
Dziekuje za odpowiedz. Juz mowie jak sprawa wyglada. Teraz od kilku godzin transfer jest na poziomie 600-700 kbytes/s. [...] niemniej caly czas mam wrazenie, ze nie jest optymalny. Moze jakis hint jak jeszcze poprawic?
[...]
Niestety. Tylko ta opcja ma miejsce. Bo juz w pewnym momencie zastanawialem sie nad podpieciem dysku pod desktop. Zrezygnowalem gdy zobaczylem, ze to Linuksowy system plikow i WIN napewno tego nie zobaczy.

co do hintu to niestety nie wiem co może być przyczyną tak niskiego transferu - bo moim zdaniem (ale sądzę że nie tylko ja tak myślę) kilkaset kilobajtów to zdecydowanie za mało i w żaden sposób nie jest to optymalna prędkość :/


czy Ty na pewno masz sieć 100 Mbit? może masz Base-T 10 Mbit - a nie 100 Mbit (nawet jeśli sprzęt jest odpowiedni - to może być np. uszkodzony kabelek - i jeśli karty sieciowe obsługują tryb auto to dostosowują prędkość do możliwości - to można sprawdzić jakimś testerem, programem testującym lub ostatecznie podpinając np. innego kompa zamiast qnapa i przerzucić kilka..naście plików między nimi)
spróbuj może zalogować się do qnapa i spróbuj spod konsoli skopiować kilka plików - ewentualnie qnapowym webmanagerem

co do linuksowego systemu plików
- coś czytałem (ale nie pamiętam gdzie - czy tu czy na forum ang.) o modyfikacjach - gdyby nie one to można by śmiało uruchomić kompa z livecd (rescuecd, slax albo cokolwiek z obsługa NTFS-3g) z podpiętym qnapowym dyskiem i przerzucać dane - a tak jest to ryzykowne.

Wydaje mi się że taka operacja jest możliwa w przypadku qnapa z jednym dyskiem (bez obsługi RAID) - choć lepiej niech się wypowie ktoś komu ta sztuka (z kopiowaniem w kompie) się udała

pozdrawiam, c.

 

[z-ka]

Witaj,
Wlasnie sprawdzilem Twoje propozycje ladujac bezposrednio z webfile managera. Plik ponad 300mb poszedl w mgnieniu oka. Nie wiem co jest grane. Total Commander wlecze sie okrutnie. I nawet nie mam w tej chwili pojecia gdzie szukac przyczyny aby cos poprawic. Zrobilbym to tak jak z tym jednym plikiem, problem w tym, ze nie moge wybrac katalogow tylko pojedyncze pliki. Wersja softu u mnie to: 2.4.0 build 1023T
Gdzies wyczytalem, ze mozliwe jest wgranie midnight commandera. Myslisz, ze poszloby szybciej?
Dziekuje za pomoc i pozdrawiam

 

[TheJa]

Sieć gigabitowa:

700 mb plik z HDD na zmapowany dysk QNap'a = ok. 1 min.
ściągnięcie go z powrotem przez sambę o połowę szybciej
ściągnięcie go przez ftp'a o połowę szybciej
ale wysyłanie go przez ftp'a na QNap'a o połowę wolniej (to jest zastanawiające)
dysk w desktopie to sata II; na sata I, mim o sieci gigabitowej, prędkości są znacznie niższe;
wszystko zaś nieco szybciej przy wyłączonym Kasperskim.

 

[z-ka]

No dobrze. Jako, ze nie mam pojecia jak gdzie szukac przyczyny tak slabych transferow postaram i widzac wasze zainteresowanie moim problemem opisze dokladne jakie sa polaczenie miedzy NASem i desktopem.

Desktop->Ovislink Wl-5460->Qnap TS-101 . Wszystko po LANie

"Public" jest zmapowany pod desktopem i proba transferu konczy takim mniej wiecej wynikiem jak kopiowanie przy uzyciu TC.
Jako, ze mam kilka zapasowych kabli sieciowych zmienilem na te, ktore nie nosza oznak uzytkowania. Transfer bez zmian.

Jako, ze Ovislink dziala w mojej sieci jako CLIENT (do niego wlasnie jest podpiety Qnap i Desktop), a glownym urzadzeniem z dostepem do netu jest Fritz!Box, ktory z Ovislinkiem "gada" po WIFI. Karta sieciowa w desktopie ustawiona na 100mbps/Full Duplex (zalecacie wlaczyc AutoDetect?). Desktop Ip dostaje z DHCP. Jesli jeszcze jakies szczegoly bylyby potrzebne z checia zaraz napisze.

Pozdrawiam

 

[z-ka]

Jako, ze nastapila pewna poprawa mysle, ze warto wspomniec o tym. Czesciowym rozwiazaniem problemu byly zle ustawienia karty sieciowej w desktopie. Bylo sztywno 100mbs/full duplex. Teraz jest Auto Detect i transfery skoczyly do ok. 4000 kbytes/s. Jako, ze na zalaczonym skrinie od TheJa transfery sa znacznie wyzsze zastanawiam sie co mozna jeszcze poprawic i gdzie ewentualnie czai sie ten "szkolny" blad.
Jak macie jakies rady piszcie,
Dziekuje.

 

[carolinus]

mc - o ile webfilemanager dał radę a problemem jest w tej chwili przenoszenie całych katalogów to spróbuj spod konsoli (o ile nie jesteś zaprawiony w bojach z linuksową konsolą to mc jest sporym ułatwieniem)

ponieważ narzędzia w qnapie są w większości bez manuali i czasem help jest niewystarczający poczytaj to i owo n/t konsoli - manuale debiana
8.3 Kopiowanie oraz archiwizacja całych katalogów
(a dlaczego akurat debiana? bo jest to jedna z najstarszych dystrybucji z bogatą dokumentacją nie dość że po polsku to jeszcze w miarę zrozumiale )

po zalogowaniu do konsoli doinstaluj mc (ipkg install mc) - u mnie po instalacji nowszego firmware był mc i jestem niemal pewien że był również w 'fabrycznym' tj. 624T firmware, a na pewno była obsługa qpkg / ipkg w firmware 624T jakie miałem po zakupie

 

[TheJa]

Jako, ze na zalaczonym skrinie od TheJa transfery sa znacznie wyzsze zastanawiam sie co mozna jeszcze poprawic i gdzie ewentualnie czai sie ten "szkolny" blad.

Raczej masz już wszystko OK, gdyż moja sieć jest gigabitowa (a Twoja to "setka") stąd też moje transfery są wyższe. Weż pod uwagę również prędkość Twojego dysku twardego w desktopie: jak pisałem na Sata II prędkości są takie jak na screenie, zaś na Sata I zdecydowanie wolniejsze.
Reasumując: raczej więcej nie wyciągniesz, bo o ile się nie mylę to Twój QNap ma kartę 100 mbit. Możesz jeszcze sprawdzić wydajność transferów poprzez bezpośrednie podłączenie QNap'a do desktopa (zapomniałem dodać, że u mnie "po drodze" jest switch, choć również gigabitowy, to mimo wszystko parę mega ograniczający prędkości przesyłu.

 

[z-ka]

Po calonocnym przenoszeniu plikow w tym momencie transfer jest stabilny (na poziomie ok 4300-4400 kbytes/s). Idzie w miare sprawnie. Mialbym jeszcze jedno pytanie. Troche poczytalem wczoraj o instalacji MC pod Qnapem. Linux nie jest moja najsilniejsza strona i strona i probowalem pokombinowac tym sposobem: http://glomde.blogspot.com/2008/01/inst ... ap-ts.html
Niestety wyskakuja bledy. Czy jest jakis sposob by zainstalowac skutecznie MC pod Qnapem? I czy taka instalacja jest znaczaca ingerencja w software? Na Qnapie odpalilem juz Slimserver tym sposobem: http://www.progressiveav.com/ts101_upda ... index.html i w sumie nie chcialbym juz zbyt wiele kombinowac, by nie zachwiac stabilnosci oryginalnego softu.
Pozdrawiam

 

[z-ka]

A czy moze ktos z Was bawil sie w kopiowanie po eSata? Czy w ogole jest mozliwe kopiowanie danych z zewnetrznego dysku po eSata do Qnapa? Jesli tak to na jaka predkosc moge liczyc?
Pozdrawiam

 

[carolinus]

co do transferu na 100Mbit - u mnie jest podobnie - kopiowanie z zamapowanego udziału w qnapie na dysk lokalny pod windows XP
tzn plik ~666 mb pokazywało od 3 do trochę ponad 6 - średnia około 4 mega na sekundę

dla tego samego pliku:
kopiowanie metodą przeciągnij_i_upuść wynik około 3,7 (obciążenie sieci w granicach 60%*)
kopiowanie z wiersza poleceń wynik około 4,0 (obciążenie sieci w granicach 20% *)

*) - obciążenie - w managerze zadań Windows 'wykorzystanie sieci' w %

pozdrawiam, c.

p.s. w drugą stronę też - tzn około 4 mega na sekundę - nie mam jak dziś sprawdzić jak to się ma do wielu małych (<1000kb) plików - ale przypuszczam że wynik nie będzie się znacznie różnił

[edit] - nie pomogę z instalacją optware - poczekaj aż ktoś bardziej kompetentny się wypowie
sprawdź najpierw bo być może już masz zainstalowane?

po zalogowaniu do konsoli sprawdź wynik działania komendy ipkg

[~] # ipkg
ipkg: ipkg must have one sub-command argument
ipkg version 0.99.163
usage: ipkg [options...] sub-command [arguments...]
where sub-command is one of:
[...]

jeśli będzie podobny to tego powyżej to możesz zainstalować mc bo masz już optware

[~] # ipkg install mc
[...]
Successfully terminated.
[~] #

sama instalacja optware nie jest prosta dla kogoś kto w ogóle nie miał styczności z linuksową konsolą, a dla mnie osobiście instalacja paczek spod webowej opcji jest bardziej skomplikowana niż konsolowe ipkg install nazwa_paczki


na temat eSata poszperaj na naszym forum m.in. w tym temacie

pozdrawiam, c.