Blacklist - Blocking SVN 5667

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Blacklist - Blocking SVN 5667

Beitragvon Vega » Do Mär 05, 2009 8:34 pm

Hallo,

ich hab auf meinem Peer mal eine - bis jetzt noch kurze Liste - von Abzock/Abo Seiten angefangen die ich auch im Proxy blocken will.
Dabei ist mir folgendes aufgefallen - trage ich in die Blacklist ein:
Code: Alles auswählen
*.condome.tv/.*
- Seite wird nicht geblockt, trage ich ein:
Code: Alles auswählen
condome.tv/.*
- Seite wird geblockt - ist das Absicht ???
Das würde ja bedeuten das ich auch alle meine anderen Listen überarbeiten muss :shock: .

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Blacklist - Blocking SVN 5667

Beitragvon Lotus » Do Mär 05, 2009 9:31 pm

Aus dem *. am Anfang der Zeile sollte .* werden. Dann sollte auch das funktionieren.
In die Blacklist werden die Einträge im Regex-Syntax eingetragen: http://java.sun.com/j2se/1.5.0/docs/api ... ttern.html

Wieso dort es auf der Blacklist-Seite allerdings so steht wie von dir erwähnt weiß ich nicht. Das steht schon sehr lange dort. Wer weiß was darüber?
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Blacklist - Blocking SVN 5667

Beitragvon Vega » Do Mär 05, 2009 9:43 pm

mit .* funktioniert das perfekt, sowohl http://irgendwas.de als auch http://www.irgendwas.de werden geblockt - Danke !
Vielleicht könnte jemand die Beschreibung im Interface mal ändern/ergänzen ????

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Blacklist - Blocking SVN 5667

Beitragvon thq » Do Mär 05, 2009 9:49 pm

Das stimmt so nicht.

Das *.condome.tv/.* wird nach der alten Variante geprüft wo nur das rechte '.*' ein Regex ist.

Die beste Variante hierfür ist auch die Alte:

# nur ein '*' kein '.*', ist schneller, gilt aber nicht für Teilstrings weil es dann ein Regex ist
condome.tv/*
+
*.condome.tv/*

Für die alte Variante braucht man beide, ist aber trotzdem schneller.

Das was auf der Blacklistseite steht stimmt nicht, die rechten '.*', also mach dem '/' müssen ein '*' sein !

Bei der Erklärung müsste noch eine Zeile hinzugefügt werden: Pure Regex (Slow)


Ich habe meine Blacklist so umgebaut das die alte Variante mit nur einer Zeile auskommt, nur habe ich den Regex Part komplett gelöscht, von daher kann ich das nicht hochladen, es sei den es stört kein was ich aber nicht glaube.
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: Blacklist - Blocking SVN 5667

Beitragvon Vega » Do Mär 05, 2009 10:14 pm

Das ist für jemand außenstehendem etwas verwirrend, ich möchte ja auch nicht jeden Eintrag 2x in der Liste haben, von daher funktionier .*haumichblau.de/.* gut 8-) .*haumichblau/* funktioniert aber nicht - mische ich hier gerade alte + neue Syntax ?

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Blacklist - Blocking SVN 5667

Beitragvon thq » Do Mär 05, 2009 10:22 pm

Ja

Das sollte auf der Blacklistseite stehen
Code: Alles auswählen
<li>domain/fullpath</li>
<li>domain/*</li>
<li>*.domain/*</li>
<li>domain.*/*</li>
<li>*.sub.domain/*</li>
<li>sub.domain.*/*</li>
<li>pure regex (slow)</li>
</ul>
<p>The right '*', after the '/', can replaced by a <a href="http://java.sun.com/j2se/1.5.0/docs/api/java/util/regex/Pattern.html">regex.</a></p>
Ich hoffe mal das es jetzt verständlich ist.

Zumindest soll das so arbeiten. Ob mein Englisch stimmt weiß ich aber nicht !

Wichtig: ich weiß jetzt nicht ob der Blacklist-Cache gelöscht wird bei einer Änderung, also lieber neu starten um ganz sicher zu gehen das die Blacklist so arbeitet wie sie soll.
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: Blacklist - Blocking SVN 5667

Beitragvon Vega » Do Mär 05, 2009 11:01 pm

@thq - und was blockiere ich nun mit .*irgendwas.de/.* ??? - Ist das komplett neue Syntax ? Wir sollten auf der Blacklist-Seite beide Syntaxvarianten (kurz) erklären - vielleicht auch mit beispielen - und im Wiki dazu einen großen Artikel schreiben - und auf diesen aus Yacy heraus verlinken. Ich denke jemand der mit Yacy das erste mal in Berührung kommt wird da momentan eher "verschreckt"
Danke für Deine Hilfe und Geduld.... :)

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Blacklist - Blocking SVN 5667

Beitragvon thq » Do Mär 05, 2009 11:15 pm

Das habe ich doch oben ;)

Ok, hier nochmal ohne html

# alte Variante
domain/fullpath
domain/*
*.domain/*
domain.*/*
*.sub.domain/*
sub.domain.*/*
The right '*' after the '/' can replaced by a regex.
# Regex
pure regex (slow)

Deine Variante müsste als "pure regex (slow)" erfasst werden, aber wie gesagt, so sollte die Blacklist arbeiten, ich kann es nicht überprüfen. Ich glaube lulabad hat mal beide Varianten zusammengefasst.
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: Blacklist - Blocking SVN 5667

Beitragvon Vega » Di Mär 31, 2009 5:19 pm

Ich habe nochmal im Forum in alten Beiträgen gestöbert - und in diesem Thread http://forum.yacy-websuche.de/viewtopic.php?f=5&t=999
folgendes gefunden: (von lulabad)
So, SVN 4618
Um nun eine ganze Domain incl. Subdomains zu sperren genügt ein domain.tld (ohne * oder sonstwas).
Falls man nur die Subdomains sperren möchte, dann schreibt man *.domain.tld.
- Ich habe das mal probiert - scheint zu funktionieren, ich habe tagesschau.de in meine Blacklist eingetragen - daraus macht die Engine automatisch tagesschau.de/.* und sowohl http://tagesschau.de als auch http://www.tagesschau.de als auch http://www.tagesschau.de/ausland/obamarede120.html werden geblockt - ist also einfacher als gedacht - nur dokumentiert ist das leider nicht.
Kann das mal jemand von euch verifizieren ? Dann würde ich im Wiki dazu was schreiben.

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste