Proxy/Crawler durch Server-Firewall geblockt?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Proxy/Crawler durch Server-Firewall geblockt?

Beitragvon Huppi » Sa Nov 01, 2008 1:18 pm

Ich habe heute auf dem MotoYaCy-Peer versucht, http://www.1000ps.at zu crawlen. Die erscheinende Firewall-Alert-Meldung (als Seitentitel) habe ich dann noch mal über die YaCy-Proxy geprüft:
Application Firewall Alert


Dein Zugriff hat einen Alarm ausgelöst! Wenn du der Ansicht bist, dass dies ungerechtfertigt geschehen ist, melde dich bitte bei dem Administrator dieser Site.

Bevor du dich meldest, lösche bitte den Cache und die zu dieser Site gehörenden Cookies aus dienem Browser und versuche es auch mit einem ANDEREN Browser noch einmal. (einige alte und "exotische" Browserkennungen werden leider auch von Hackertools verwendet)

Sollte der Zugriff noch immer nicht funktionieren, sende dem Administrator bitte folgende Daten zu, damit wir das Problem so schnell wie möglich beheben können:

* Genauer Zeitpunkt (Datum und Uhrzeit) des Zugriffs
* Deine Public IP-Adresse vom Provider (rechts oben auf http://meineipadresse.de/)
* Welche URI du genau aufrufst



Der Administrator ist erreichbar unter:


Die Robots.txt der Seite ist interessant, aber ich erkenne dort keine grundsätzlichen Probleme.
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: Proxy/Crawler durch Server-Firewall geblockt?

Beitragvon Low012 » Sa Nov 01, 2008 2:24 pm

Hmmm, Software ausschließen, weil Hackertools angeblich "exotische" Browserkennungen nutzen und selbst als Server im HTTP-Header "Apache/0.8.5" zurück liefern? Entweder brauchen die wirklich so eine Firewall, die alles blockt, was auch nur entfernt so aussieht, als ob es ihre antike Serversoftware aus dem Tritt bringen könnte oder die Angabe ist Quatsch. Wobei ich mich auch frage, was die böse Hackersoftware davon abhalten sollte, sich als IE7 auszugeben.

edit: Es scheint, als würde die WebKnight laufen lassen. Das deutet auch darauf hin, dass der HTTP-Server (IIS?) auf einem Windows-System läuft. Das würde ich auch nicht zugeben wollen! :lol:
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Proxy/Crawler durch Server-Firewall geblockt?

Beitragvon DanielR » Sa Nov 01, 2008 6:49 pm

Der Grund ist sicherlich zu viele Anfragen pro Sekunde. Evtl. sollte man bei denen mal nachfragen warum geblock wurde, mit dem Hinweis den "Fehler" zu beheben. Evtl. ist es ja auch ein ganz anderer Grund den wir nicht sehen...
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: Proxy/Crawler durch Server-Firewall geblockt?

Beitragvon Low012 » So Nov 02, 2008 11:56 am

Also ich tippe eher darauf, dass irgendwer einfach diese ominöse Software installiert hat und die blockt jetzt alles, was sie nicht kennt. Der WebKnight-Server selbst scheint die Software ja auch zu benutzen. Wenn ich mit YaCy als Proxy da drauf gehe, bekomme ich auch nur eine Fehlermeldung und Werbung zu sehen. Für mich fällt das eher in die Kategorie "wie Paranoia das Internet zerstört, ohne dass es einen wirklichen Sicherheitsgewinn gibt".

Wir könnten ja mal testen, wie sich die beiden Seiten mit anderen, etwas exotischen Proxys verhalten. Kennt da jemand etwas, was sich ohne große Installation nutzen lässt und nicht zu bekannt ist?

Alternativ könnten wir eine Email an die Entwickler schicken und denen erzählen, dass YaCy kein böses Hackertool ist.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 5 Gäste

cron