Jak przekierować dane czyli robimy trafic compresor ;)

[kisiel291]

Witam,
Może ktoś na forum bedzie wiedział w jaki sposób rozdzielić text od grafiki, zip, mp3? po co? Chciałbym przekierowywać text przez compresowany tunel a grafike puszczać po normalnym łączu. Podobnie jak działa trafic compresor. Tym oto sposobem stałbym sie posiadaczem tańszego internetu. Nie wiem czy to da sie jakość zrobić prosto za pomocą proxy serwerów ale chciałbym aby to chodziło pod XP (wiem że da sie to zrobić pod linuxem letkim piqsiem)
Aha cały pic polega na tym ze jak puszcze strumień cały przez tunel to niestety zysku z tego niema.

[pimosz]

Ciekawe... Napisz jaki to tunel i coś więcej

[kisiel291]

no akurat coś więcej to możesz znalesć w googlach. tunel putty. A skrótowo stawiasz sobie połączenie szyfrowane tzw. tunel przez który przepuszczasz dane, jeżeli po drugiej stronie tunelu masz ustawiony serwer a w przeglądarce przekierowałeś http itp. to uzyskujesz szyfrowane łącze. Dodatkowo możesz włączyć kompresje tunelu wtedy działa to mniej wiecej jak pakowanie z zip level 6. Więc tracisz na jpg a zyskujesz na stronkach. Spowolnienie mędzy pakowaną stroną przez tunel a nie pakowaną bez tunelu jest porównywalne. Jeżeli stronka nie zawiera grafiki ładuje sie szybciej przez pakowany.
No to teraz kto potrafi?

[seboo]

trzeba miec putty i konto shellowe na ktore mozna sie "zasshowac" - w ssh wlaczamy kompresje - robimy w putty tunel i tyle

[kisiel291]

trzeba miec putty i konto shellowe na ktore mozna sie "zasshowac" - w ssh wlaczamy kompresje - robimy w putty tunel i tyle

to jak <font color="#FF00FF"><b>»»na razie««</b></font> nic nie wnosi ... może tak jednak ktoś sie poświęci i napisze jak to by sie dało zrobić?

[seboo]

ok
ale co chcesz uzyskac takim sposobem ?

po za tym czy masz dostep do konta shellowego na serwerze ktory bedzie kompresowal i mozliwosci kompilowania aplikacji na prawach roota na tym serwerze ?


innymi slowami - samo postawienie tulenu to tylko polowa sukcesu - bedziesz mial przekierowany port lokalny na port na serwerze ssh - ale to pozwoli tylko na laczenie sie z tego serwera na adresy ip opisane konfiguracja tunelu - oprocz tego potrzebna jest bramka np sockv

[kisiel291]

kolego jak dla mnie to gadasz od rzeczy... nie jest problemem konto tunel czy putty czy localhost czy su. Co zyskujesz? To samo co w przypadku TC tylko bez czekania na zalogowanie do mojego servera bo to przy jego przepustowpsci to on czeka na mnie a nie ja na niego;) Jak byś przeczytał to co napisałem wcześniej to byś zajażył że mam to już poustawiane i działam na tym serwerze od kilku tygodni.
AHA....Jak TC to robi? Przechwytuje zapytania przeglądarki i rozdziela je na dwa strumienie kompresowany i nie. Dlatego oglądając strony które zawierają tylko zdjęcia TC potrafi pokazywać zysk.
Na moje można to zrobić tylko stawiając serwer który przechwytuje zapytania i przekierowuje je na strumień .html->localhost:123456 oraz gif,jpg,zip,exe itp.-> w3cache.icm.edu.pl:8080. Tylko nie wiem jak to zrobić pod windą XP

[luki]

polaczenie ssh z kompresja i ustawienie tunelu np na proxy w3cache.icm.edu.pl dziala bez problemu (wystarczy wtedy ustawic w przegladarce proxy na localhost i port ktory sie forwarduje). Zastanawia mnie tylko czy taka akcja daje faktycznie zysk, bo przeciez szyfrowanie chyba zwieksza objetosc przesylanych informacji, czy wtedy kompresja wyrowna ta roznice??

A sprawa z dzieleniem, ktore rzeczy powinny isc przez tunel a ktore nie to juz chyba kwestia ustawienia jakiegos skryptu w przegladarce, lub jakis program posredniczacy i wylapujacy odpowiednie tresci. Zna ktos taki?

[kisiel291]

luki specjalnie dla ciebie małe porównanie: http://www.wonder.pl/~linio/Terminale_SSH.html

[luki]

ok, wlasnie przyszedl mi do glowy pomysl ze kompresja odbywa sie pewnie PRZED szyfrowaniem wiec moge sobie odpowiedziec na swoje pytanie twierdzaco

[kisiel291]

ci co piszą programy to najczęściej myślą jak będzie lepiej
w ustawieniach przeglądarki nic ciekawego nie znalazłem. <font color="#FF00FF"><b>»»na razie««</b></font> męcze serwery proxy (programy do obsługi). Może trzeba by postawić jakiś virtualny server?

[luki]

z programami typu 'personal proxy server' jest problem poniewaz klasyfikuja polaczenia jedynie po portach przewaznie, a nam przydalby sie program klasyfikujacy po tresci, jak to robi np glupi antywirus skanujac w locie dane z netu..

[ericandor]

trzeba miec putty i konto shellowe na ktore mozna sie "zasshowac" - w ssh wlaczamy kompresje - robimy w putty tunel i tyle

to jak >>na razie<< nic nie wnosi ... może tak jednak ktoś sie poświęci i napisze jak to by sie dało zrobić?

step-by-step, kompresowany tunel po SSH, ale bez klasyfikacji.

http://ericandor.ps.pl/tunel_ssh.html

milego czytania

Ericandor

[seboo]

jesli chodzi o zysk - to kompresja ssh <font color="#FF00FF"><b>»»na pewno««</b></font> lamie sobie zeby - jak kazda inna na kompresowanych obrazkach - w przypadku tresci tekstowych pokazuje jednak bardzo duza skutecznosc - jak uzywalem simdaty - w momencie sciagniecia listy newsow i ich tresci w ilosci 1 mb na liczniku ppp mialem okolo 300 kb

Aha na stronie Kolegi ericandora jest wlasnie ten sposob o ktorym mowilem - goraco polecam !!

[kisiel291]

no a ja używam tunelu właśnie teraz
I zacząłem męczyć APACZA może ktoś sie na tym lepiej zna? Da się na tym wychwycić i przekierować zapytania przeglądarki?
PS> uruchomiłem sobie EDGA )))))

[pigmej]

Hmm

Jak zrobic tunelowanie z uwzglednieniem WWW ?

zeby chociaz troche kompresowalo dane. Nie chodzi mi nawet o same grafiki.

Przydalo by mi sie to bardzo, poniewaz bardzo duzo przegladam witryn www, forow itd dziennie. Wszytskie obrazki i tak sa w cache juz, reklamy poblokowane wiec potrzebuje kompresowac tylko tekst:)

Moze mi ktos powiedziec jak to zrobic?

[pigmej]

Ok juz sobie poradzilem:)
Przynajmniej tak mi sie wydaje:)

[kisiel291]

No i jeszcze jeden plus z tunelu... jak padnie sieć w iPlus, czyli jak nie ma połączenia ale jest bo pingi chodzą, przełączamy sie na tunel... i wio

[luki]

wczoraj, korzystajac z okazji ze padla chwilowo moja siec osiedlowa, postanowilem przeprowadzic maly test empiryczny skutecznosci tunelowania poprzez putty z kompresja
Korzystalem z netmetera, zerujac jego licznik chwilowy przy kazdym tescie i kilkukrotnie wchodzilem na strony popularnych portali sprawdzajac ilosc przeslanych danych w przypadku standardowym i 'przez tunel'.

Najlepsze rezultaty osiagnela interia.pl: ok 60% zysku (!!!),
nastepnie plasuje sie wp.pl: ok 40% zysku,
dziwna sytuacja w przypadku onet.pl: wynik z kompresja gorszy o ok 10% niz bez...
w przypadku gmaila - wynik w obu przypadkach podobny (polaczenie ssl).

Strony testowalem na najnowszej wersji Opery, z opcja wylaczajaca Flashe i wylaczonym calkowicie cachem.

Jesli ktos dysponuje chwila czasu to prosilbym o weryfikacje tych testow.

Pozdrawiam

[kisiel291]

ok to rozwiązałem problem!
pogoniłem apacza wokół sracza Ponieważ używam jedynie słusznej przeglądarki FF wersja 2.0 procedura wygląda tak:
instalujemy:
FoxyProxy z https://addons.mozilla.org/firefox/2464/
po zainstalowaniu i restarcie wtyczka sie pyta o coś... nie ważne ale raczej wszystko na yes
przechodzimy do tools/options/advanced/networks/ proxy
mamy dwa proxy default i tor (albo jakoś) przemianowujemy tor na GPRS i tak:
w default wchodzimy na zakładkę proxy general i ustwiamy na port na którym mamy tunel czyli np. localhost port: 8128
w sekcji GPRS mamy troszkę więcej ustwień:
w sekcji proxy ustawiamy np. 193.219.28.144 port 8080 czyli w3cache.icm.edu.pl (co ważne że jak pada łącze to warto to ustawić numerycznie bo w iPlus pada DNS i proxy)
pozatym w zakładce patterns usuwamy co tam było i dodajemy wg klucza
Nazwa paternu np: JPG
Url patern : *.jpg
reszte ustawień zostawiamy czyli whitelist i wildcards oraz opcja enabled(jako zaznaczone)
potem dodajemy reszte paternów plików które NIE chcemy pakowac czyli *mp3, zipy PNG!!!, gif itd co byście nie chcieli
Ustawiamy w zakładce Tools/Foxyproxy/use proxies based on their.. coś tam coś tam. Czyli ustawiamy zamienność ! proxy w zależności od typu pliku... czyli to co chcieliśmy.
No i teraz test ustawień ustawiamy proxy GPRS na 127.0.0.1 port np. 0 czyli robimy blokowanie obrazkow i innych. czyścimy cache przeglądarki i ładujemy dowolną stronkę np. wp.pl. Prawda że bez obrazków jakoś takoś bleee... ale dla nas ) ustwiamy spowrotem proxy na jakiś w3cache i wio.
Stronki pakowane ładują sie inaczej... zaoszczędzone pieniążki prosze przesłać na konto fan klubu bez-kabli
No i podstawowa sprawa po tej kołomyji mamy STABILNE łącze!
PS. C64 Rulez!!!! zapraszamy na coroczne party tym razem na śląsk
PPS: jestem po piwie więc coś mogło mi sie pokiełbasić... ale wato by było opracować metodologie pomiarów na stronkach z grafą i textem i nie tak chodzliwych jak wp, onet bo to nie będzie miarodajne.
PPPS. jak dla mnie chodzi naprawdę szybko jak na gprs po przycięciu do 4kB/s

[kisiel291]

A więc teraz już całkowicie na trzeźwo:)
Co to daje:
Strona testowa:
http://www.linuxsecurity.com/resource_f ... -dict.html
zawiera text duzą wage ok 535kB
Wyniki
putty ustawiione na SSH-2 (czyli max zabezpieczenie)
traffic UL+DL= 554,6kB 166 s
proxy ustawione na czyste GPRS
traffic UL+DL= 549,1 kB 150s
proxy ustawione na foxyproxy jak wyżej plus putty SSH-1only+kompresja
traffic UL+DL= 175,9 kB 60s
Podsumowanie:
Nie wiem jak zmiejszyć jeszcze bardziej klucz szyfrujący ale wyniki dla SSH-1.0 jest już zadowalający
pakowanie na poziomie 175,9 do 549,1 daje jakieś 68%
Warto było sie pomęczyć
CU ON SILESIA PARTY

[pimosz]

Wszystko fajnie ale skąd mam wziąć konto shellowe ? Macie jakieś linki ?

[pigmej]

Pamietaj ze na takich damowych shell nie bedzie dobrze dzialalo.

Najlepiej zeby server byl blisko Ciebie zlokalizowany. Mial wieksza przepustowosc lacza niz Ty zebys nie musial na niego czekac.

Innymi slowy nie masz konta shell nie masz traffic compressora przez ssh


Dodatkowo coraz mniej serverow akceptuje ssh1, ssh2 jest na zdecydowanej wiekszosci. No chyba ze adminowi servera nie zalezy na bezpieczenstwie to wtedy zostawi ssh1, jak zalezy to na 100% ssh1 zostalo zablokowane na docelowym serverze.

Pomysle byc moze skonfiguruje jeden albo wiecej serverow do wlasnie takich celow. Bedzie ssh1 (wszytkie komendy zostana wyciete - nic nie bedize mozna na tym ssh zrobic oprocz tego ze bedzie sie mozna zalogowac) Idle zostanie wysoko ustawiony itd, ale to musze pomyslec czy jest:
a) sens
b) zapotrzebowanie
c) czy mi sie to zwroci;D (jakies male oplaty msc by byly - powiedzmy 5 zl albo i mniej)

No ewentualnie jeszcze moge w niemczech postawic...
Sa jacys chetni?
W zaleznosci ile bedzie osob t server bedzie w PL albo w DE, lacza byly by z CIR 10 Mbit, a z czasem mogly by byc nawet i z CIR 100 Mbit

[luki]

Przed chwila wpadl mi do glowy pomysl jak TO zrobic w Operze i wyglada na to ze mi sie udalo wystarczy odpowiednio spreparowany plik automatycznej konfiguracji proxy (nazwijmy go np. proxy.pac) o nastepujacej zawartosci:

Kod: Zaznacz cały

function FindProxyForURL(url, host) {
     if (shExpMatch(url,"*.jpg"))                  return "PROXY 193.219.28.144:8080; DIRECT";
      else
     if (shExpMatch(url,"*.png"))                  return "PROXY 193.219.28.144:8080; DIRECT";
      else
     if (shExpMatch(url,"*.mp3"))                  return "PROXY 193.219.28.144:8080; DIRECT";
      else
     if (shExpMatch(url,"*.tar"))                  return "PROXY 193.219.28.144:8080; DIRECT";
      else
	 if (shExpMatch(url,"*.zip"))                  return "PROXY 193.219.28.144:8080; DIRECT";
      else
     if (shExpMatch(url,"*.rar"))                  return "PROXY 193.219.28.144:8080; DIRECT";
      else
     
     return "PROXY 127.0.0.1:8080; PROXY 193.219.28.144:8080; DIRECT";
  }

wystarczy juz tylko wklepac sciezke do tego pliku w preferencjach Opery w 'Uzyj automatycznej konfiguracji proxy' zestawic tunel putty (u mnie na porcie 8080) i voila

Testowalem rowniez pod IE ale cos nie dziala a nie mam juz sily nad tym siedziec, najwazniejsze dla mnie ze dziala dobrze pod Opera

PS. przy polaczeniu SSH-2 z kompresja u mnie transfer do testowej strony wyniosl 186,6kB

[kisiel291]

186kB ??? Kurcze to coś jest nie tak z ustawieniami po stronie serwera, bo w puty przełaczam tylko ssh 2 lub 1-only, a reszta algorytmów zostawiam bez zmian. Albo coś sknociłem z pomiarem.
No to już mamy zestaw dla OPERY i FF Zostaje jeszcze rozwiązanie systemowe, dla wszystkich i/lub IE.
@pimosz musisz sie popytać znajomych adminów np. w pracy, lub kolegów kto ci postawi shella oraz przekieruje porty dla ciebie na serwerze. Jak nie to zostaje oryginał TC.
A tak przy okazji pigmej.... co daje ci że serwer jest "blizko" ?? bo ja mam do mojego 5 km a ping i tak 1200ms

[luki]

186kB ??? Kurcze to coś jest nie tak z ustawieniami po stronie serwera, bo w puty przełaczam tylko ssh 2 lub 1-only, a reszta algorytmów zostawiam bez zmian. Albo coś sknociłem z pomiarem.

moze nie ustawiles kompresji? opcja w putty bezposrednio nad miejscem gdzie wymusza sie protokol. U mnie smiga to na pewno na SSH-2 bo gdy probowalem mu wymusic SSH-1 to wyskoczyl blad ze serwer nie przyjmuje tego typu polaczen

[pigmej]

187 niecale mi wyszlo na ssh2

Jedyniki nie da rady

Połączenie postów. -> bob

Ps opera ma jeden minus, powazny minus... nie obsluguje SOCKS...

wiec konfiguracja z putty nie przejdzie na niej bo nie zadziala po prostu

[luki]

Ps opera ma jeden minus, powazny minus... nie obsluguje SOCKS...

wiec konfiguracja z putty nie przejdzie na niej bo nie zadziala po prostu

to dziwne, bo wlasnie z takiej korzystam w tej chwili i dziala..

akurat na tym sie za bardzo nie znam, moze putty zalatwia sprawe SOCKS? albo napisz czym moze sie objawiac brak obslugi tego? bo samo przepuszczanie proxy przez tunel putty dziala na 100%

[pigmej]

SOCKS to typ proxy, ze to tak nazwe Mi za zadne skarby nie chce zadzialac z opera. Wez sprawdz dokladnie czy Ci <font color="#FF00FF"><b>»»na pewno««</b></font> dziala;)

No chyba ze w putty ustwailes proxy HTTP a nie socks5 lub socks4

Brak obslugi tego powoduje nie mozliwosc zadzialania proxy SOCKS5 z Opera;)

[luki]

ok.. po pierwsze primo - o tym ze dziala, swiadczy chocby to ze poprawnie podalem wartosc transferu w przypadku ssh-2 z kompresja, co zreszta sam potwierdziles

Zreszta sprawdzalem netstatem polaczenia, w czasie wczytywania strony pojawiaja sie tylko polaczenia lokalne na 127.0.0.1 oraz dwa czy trzy do w3cache.icm.edu.pl (obrazki).. Zadnych polaczen na port 80, wiec o pomylce nie moze byc mowy.

Po drugie primo - w putty nie ruszalem opcji w dziale Proxy, wydaje mi sie (choc moge sie mylic), ze to nie ma nic do rzeczy - nam zalezy przeciez tylko na tunelu do zewnetrznego serwera proxy (np w3cache.icm.edu.pl) -> <font color="#FF00FF"><b>»»na pewno««</b></font> probujemy w ten sam sposob?

A moze ma to cos wspolnego z serwerem ssh, na ktory sie laczymy i przez ktory tunelujemy, z jego konfiguracja? Bo jak inaczej wyjasnic ze mi dziala a Tobie nie?

PS. moglby sprawdzic to jeszcze jakis uzytkownik Opery? bo zaczne wierzyc ze mam magicznego kompa