Probleme bei HTML-Datei mit JS als Crawlstart

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Probleme bei HTML-Datei mit JS als Crawlstart

Beitragvon Low012 » So Mär 08, 2009 12:23 am

Ich habe eben mal versucht, eine HTML-Seite mit einigen Links drin als Crawlstart zu benutzen. Das hat aber nicht funktioniert, weil in der Seite Javascript eingebettet war und YaCy nur ein "403 Forbidden bad post values" zurückgegeben hat. Nachdem ich in den Code geschaut habe, habe ich den Grund in de.anomic.http.httpdFileHandler.java ab Zeile 377 gefunden:

Code: Alles auswählen
// check for cross site scripting - attacks in request arguments
            if (args != null && argc > 0) {
                // check all values for occurrences of script values
                final Iterator<String> e = args.values().iterator(); // enumeration of values
                String val;
                while (e.hasNext()) {
                    val = e.next();
                    if ((val != null) && (val.indexOf("<script") >= 0)) {
                        // deny request
                        httpd.sendRespondError(conProp,out,4,403,null,"bad post values",null);
                        return;
                    }
                }
            }

Nachdem ich die HTML-Datei von Javascript befreit habe, hat es auch tatsächlich funktioniert. Die Frage ist nun, ob der Code an dieser Stelle überhaupt noch notwendig ist. Es wird ja nur ein XSS-Fall abgefangen und dann auch noch mit der Holzhammer-Methode behandelt. Haben wir aber nicht eigentlich extra Methoden, um XSS zu verhindern?
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Probleme bei HTML-Datei mit JS als Crawlstart

Beitragvon Lotus » So Mär 08, 2009 12:15 pm

Das sieht eher so aus, als ob in den Post/Get-Parametern kein "<script" vorkommen darf. In deiner Seite ist wahrscheinlich ein Link nicht wieder mit einem " abgeschlossen und wird daher falsch behandelt.

Grundsätzlich ist es richtig, dass XSS durch korrekte Behandlung der Darstellung abgefangen werden sollte. Dazu haben wir ja die entsprechenden *HTML/XML-Methoden.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Probleme bei HTML-Datei mit JS als Crawlstart

Beitragvon Low012 » So Mär 08, 2009 5:15 pm

Es handelt sich um die Seite http://www.vintageaudioberlin.de/webli/index.htm (mit wget holen, im Browser wird sonst sofort per JS auf eine andere Seite weitergeleitet). Valide ist die Seite auf jeden Fall nicht...

Meinst du, den Check kann man problemlos entfernen oder kann das negative Folgen haben?
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Probleme bei HTML-Datei mit JS als Crawlstart

Beitragvon Lotus » So Mär 08, 2009 7:15 pm

Ah, jetzt verstehe ich. Da die Seite JS enthält, kann sie nicht als Crawl-Start hochgeladen werden. Ich denke das liegt erst einmal leicht abseits vom gedachten Anwendungsfall (URL-Listen).
Die Abfrage dürfte noch nicht so lange drin sein. Wenn sie entfernt wird, werden potenziell schon vorhandene Lücken aufgedeckt. Allerdings sagt mir meine Kreativität, dass ohne script immer noch ein css-platziertes iframe oder fremde links möglich wären. Sogar eine css-platzierte Grafik 1px 100% auf den Bildschirm im Vordergrund skaliert und über onmouseover ist JS drin. Oder als Link "javascript:...". Das war jetzt ein super Kreativschub. ;) Von daher: hilft nur gegen Anfänger. Raus damit.

Zur leichteren Identifikation ausgenutzer Sicherheitslücken über diese Schnittstelle wäre ein Log-Eintrag mit nützlichen Parametern hilfreich. Z.B. in welchem Parameter auf welcher Seite wurde das Script-Tag gefunden. Dann besteht noch die Chance, dass uns über diese einfachste Möglichkeit die Fehler gezeigt werden.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Probleme bei HTML-Datei mit JS als Crawlstart

Beitragvon Low012 » Di Mär 10, 2009 10:45 pm

Lotus hat geschrieben:Raus damit.


Wer traut sich? ;)
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Probleme bei HTML-Datei mit JS als Crawlstart

Beitragvon Lotus » Do Mär 12, 2009 5:17 pm

Ich habe in r5702 den Crawl Start als Ausnahme definiert.

Einerseits ist es für YaCy unsicher, dass sich durch diese Behandlung Lücken später erkennen lassen, andererseits ist es sicherer vor der Ausnutzung durch Anfänger.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste