Junior Status bei eingeschaltetem Remote Proxy

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Junior Status bei eingeschaltetem Remote Proxy

Beitragvon LA_FORGE » Mo Mär 07, 2011 8:48 pm

Hallo,

habe den Verdacht dass es ein Bug sein könnte, bei der aktuellen SVN 7509 wenn ich den Remote Proxy einschalte hat mein Peer nach einiger Zeit den Junior Status obwohl ich 'Use remote proxy for yacy <-> yacy communication' nicht aktiviert habe. Das heißt dass doch eigentlich, dass nur das Crawling über den Proxy abgewickelt werden sollte oder? Die Peers müssten doch eigentlich bei deaktiviertem 'Use remote proxy for yacy <-> yacy communication' direkt angesprochen werden, oder? Aber er macht es nicht :-(
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Junior Status bei eingeschaltetem Remote Proxy

Beitragvon LA_FORGE » Mi Mär 09, 2011 10:58 pm

Habe selbst die Lösung gefunden: Einfach unter "Advanced Settings" => "Server Access Settings" => StaticIP die Dyndns-Adresse oder feste Inet-IP eintragen und dann auf "Submit" drücken.
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Junior Status bei eingeschaltetem Remote Proxy

Beitragvon Lotus » Do Mär 10, 2011 9:11 pm

Hm, das kann keine Lösung sein. Nur, wenn der Schalter aktiv ist.
Wie du es beschreibst, ist dieser Schalter wirkungslos.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Junior Status bei eingeschaltetem Remote Proxy

Beitragvon LA_FORGE » Sa Apr 16, 2011 8:00 am

Ich wollte damit sagen, dass YaCy andere Peers über den Proxy kontaktiert obwohl ich die Option 'Use remote proxy for yacy <-> yacy communication' nicht aktiviert habe. Das ist doch komisch oder?

Würde mir auch sehr wünschen, dass das Crawling auf FTP-Servern über den Remote-Proxy abgewickelt wird, wenn er eingeschaltet ist.
@Orbiter könnt ihr das noch implementieren?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Junior Status bei eingeschaltetem Remote Proxy

Beitragvon LA_FORGE » So Apr 17, 2011 12:06 pm

Jetzt habe ich mir erst mal mit

ip route add 193.166.3.0/24 via 10.130.201.24

geholfen. Das funktioniert so auch. Allerdings wird die Verbindung nicht mehr im Netstat angezeigt und auf dem (Nat)Proxy im Connection Monitor auch nicht. Krank!!

Aber als ich das eingerichtet habe, wurde die Verbindung mit lsof -i tcp | grep ftp
noch angezeigt, jetzt aber nicht mehr, obwohl sie definitiv besteht und seit dem Eintrag in der Routingtabelle auch über meine interne 10.130.201.24 geroutet wird laut

endeavour:/var/log# route
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
193.166.3.0 10.130.201.24 255.255.255.0 UG 0 0 0 eth0
192.168.60.0 * 255.255.255.0 U 0 0 0 vmnet1
localnet * 255.255.255.0 U 0 0 0 eth0
192.168.75.0 * 255.255.255.0 U 0 0 0 vmnet8
default fritz.box 0.0.0.0 UG 0 0 0 eth0


meiner Routingtabelle... Mal tcpdump anschmeißen? :-D
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Junior Status bei eingeschaltetem Remote Proxy

Beitragvon LA_FORGE » So Apr 17, 2011 1:21 pm

tcpdump spuckt auch nicht's aus, obwohl ich's auf den Port 21 beschränkt und ein hohes verbosity level gewählt habe. Das widerspricht eigentlich jeglicher Logik, aber der Crawler rennt mit über 800 PPM und die IP-Route läuft auf jeden Fall über meinen (NAT)Proxy-Rechner den ich für diesen Adressbereich wo YaCy gerade crawlt mit einer statischen Route forciert habe. Auf dem (NAT)Proxy-Rechner steht auch aber nichts im netstat...
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Junior Status bei eingeschaltetem Remote Proxy

Beitragvon LA_FORGE » So Apr 17, 2011 3:35 pm

Die einzigste plausible Erklärung die ich noch habe wäre: Kann es sein dass die Verbindung deshalb nicht sichtbar ist, weil sie momentan gar nicht besteht? Weil YaCy beim Indexieren von einem FTP-Server im Voraus die Files lokal abspeichert und sie dann erst indexiert?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Junior Status bei eingeschaltetem Remote Proxy

Beitragvon Orbiter » Mo Apr 18, 2011 12:07 am

ich sehe momentan keine sinnvolle Art bei YaCy-über-Proxy Konfiguration den Junior-Status automatisch zu vermeiden. Das Feature ist beispielsweise wichtig wenn man bei einer Demo in einem Unternehmen hinter einem Proxy sitzt und anders nicht an die Peers kommen würde. Da ist es selbstverständlich das es schon gar keine Möglichkeit für einen offenen Port gibt. In den meisten Fällen ist es auch so dass es den nicht gibt. Wenn man aber selber einen Serverport aufmachen kann sehe ich keinen Grund für YaCy einen remote Proxy zu benutzen.

Den Junior-Status bekommt ein Peer vom remote Peer zugewiesen wenn dieser einen Back-Ping macht. Der Remote Peer muss also für alle anderen Peers entscheiden ob der fragliche Peer nun erreichbar ist oder nicht. Die einzige Hilfestellung ist die schon erwähnte Static IP. Und die kann tatsächlich möglich sein oder auch nicht, dass kommt drauf an. Ich sehe nicht wie man das automatisch machen kann.
LA_FORGE hat geschrieben:Würde mir auch sehr wünschen, dass das Crawling auf FTP-Servern über den Remote-Proxy abgewickelt wird, wenn er eingeschaltet ist.
@Orbiter könnt ihr das noch implementieren?

Standard-FTP beinhaltet im Gegensatz zu http keine Protokollspezifikation wie man einen Proxy nutzen soll. Ein Http-Proxy wird von einem http client anders angesprochen als ein http Server vom gleichen client weil es eben hier eine Proxy-Protokollspezifikation gibt. Der Unterschied ist im wesentlichen dass man im GET an den Server nur den Pfad angeben soll, bei einem GET an einen Proxy muss aber die vollständige URL folgen.
Bei FTP gibts so was nach meinem Kenntnisstand nicht. RFC 1579 definiert zwar ein paar Randbedingungen dazu, aber ein FTP Proxy hätte immer mit potentiellen Port-Konflikten zu kämpfen. Kurzum: ich kann hier nicht etwas implementieren das prinzipiell schwierig ist und nur unter ganz bestimmten Umständen funktioniert, mit unbekannte Erweiterungen im FTP Protokoll ausserdem vorrausgesetzt.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Junior Status bei eingeschaltetem Remote Proxy

Beitragvon LA_FORGE » Mo Apr 18, 2011 5:59 pm

Hallo Michael,

da reden wir anscheinend aneinander vorbei. Ich will ja auf jeden Fall dass meine 2 Peers von außen erreichbar sind. Habe deshalb auch 2 Ports geöffnet. Ich will nur das Crawling über den Proxy laufen lassen und verhindern, dass YaCy die P2P-Kommunikation über den Proxy abwickelt. Das sollte ja eigentlich nicht der Fall sein wenn 'Use remote proxy for yacy <-> yacy communication' deaktiviert ist, oder? Er macht es aber trotzdem :-(

Schade dass das mit dem Crawling von FTP-Servern über Proxy nicht ohne großen Aufwand realisieren kann. Manche Programme (auch Windows) haben doch in den Optionen wo man Proxy einstellt auch die Option 'Use HTTP Proxy for FTP-Servers', könnte man sowas nicht mit auf die Merkliste nehmen? Das es ein paar Iterationen später irgendwann eingebaut wird, muss ja nicht sofort sein, aber vielleicht irgendwann mal. Gibt doch nicht nur Firmen wo man sowohl HTTP als auch FTP nur über Proxy machen kann, garantiert auch bestimmte Staaten wo das unzensiert nur so möglich ist... also hätte auf jeden Fall jeder was davon.
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Junior Status bei eingeschaltetem Remote Proxy

Beitragvon LA_FORGE » Fr Jun 10, 2011 10:29 pm

Ich habe nochmal einen Screenshot gemacht um zu verdeutlichen was ich meine:

http://www.picpaste.de/YaCy_ProxyQuery.jpg

Obwohl ich unter "Advanced Settings" bei "Remote Proxy" die Option "Use remote proxy for yacy <-> yacy communication" deaktiviert habe, nutzt er den Proxy dafür :-(

Ja ich weiß, Asche auf mein Haupt weil es kein Squid ist :-D Ich nehme nur diese Proxy-Software nur, um die Thematik besser verdeutlichen zu können. Wollte jetzt keinen ellenlangen Wireshark- oder Tcpdump-Auszüge hier posten. In den Tiefen meines Home-RZ werkelt selbstverständlich auch ein

Code: Alles auswählen
nautilus:~# lsof -i tcp:3128
COMMAND  PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
squid3  2909 proxy   11u  IPv6 1890635      0t0  TCP nautilus.ARBEITSGRUPPE:3128->10.130.201.28:52497 (ESTABLISHED)
squid3  2909 proxy   14u  IPv6    7153      0t0  TCP *:3128 (LISTEN)
squid3  2909 proxy   19u  IPv6 1890682      0t0  TCP nautilus.ARBEITSGRUPPE:3128->10.130.201.28:52502 (ESTABLISHED)
squid3  2909 proxy   20u  IPv6 1882078      0t0  TCP nautilus.ARBEITSGRUPPE:3128->10.130.201.28:50786 (ESTABLISHED)
squid3  2909 proxy   27u  IPv6 1746458      0t0  TCP nautilus.ARBEITSGRUPPE:3128->10.130.201.28:64597 (ESTABLISHED)
squid3  2909 proxy   50u  IPv6 1883429      0t0  TCP nautilus.ARBEITSGRUPPE:3128->10.130.201.28:51409 (ESTABLISHED)


Squid als Main-Proxy :-)))))))) sogar als ipv4to6-Gateway :-D
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Junior Status bei eingeschaltetem Remote Proxy

Beitragvon LA_FORGE » Sa Mai 26, 2012 10:07 pm

Lotus hat geschrieben:Hm, das kann keine Lösung sein. Nur, wenn der Schalter aktiv ist.
Wie du es beschreibst, ist dieser Schalter wirkungslos.


Ja, das ist definitiv der Fall, auch bei aktuellen SVN-Releases >1.0
Der Schalter ist wirkungslos :-(
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Junior Status bei eingeschaltetem Remote Proxy

Beitragvon Neugier » Mi Jun 20, 2012 3:32 pm

Hallo allerseits,

anscheinend bin ich in den gleichen Bug gelaufen http://forum.yacy-websuche.de/viewtopic.php?f=5&t=4420, habe aber eine dynamische IP. Folglich werde ich wohl bis zum Fix junior bleiben müssen. :(

http://bugs.yacy.net/view.php?id=189
http://bugs.yacy.net/view.php?id=23
Abweichend von der Beschreibung im Bugreport ist es aber nicht nötig einen eigenen Proxy aufzusetzen. Ein beliebiger Proxy im Netz, z.B. vom ISP, tut es auch.

Gruß
Neugier
Neugier
 
Beiträge: 11
Registriert: So Jun 10, 2012 2:58 pm
Wohnort: Deutschland


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron