Blacklist & Co

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Blacklist & Co

Beitragvon intercop » So Okt 19, 2008 4:11 pm

hallo,
sorry dass ich wieder nerven muss, aber irgendwie wird mir die blacklist nicht ganz klar. wie die blacklist mit den url's funktioniert ist mir klar, verstehe jedoch nicht das mit den wörtern die man auf die blacklist sätzen will,werden die genauso eingetragen in der url-blacklist wie die url's selber oder gibts da ne extra blacklist für? was mir auch noch fehlt, ist der export butten für die blacklist fals man den knoten neu aufsätzen will.kann mit da mal bitte jemand helfen oder vielleicht nen link posten wo ich das nachlesen kann?

mfg
micha
intercop
 
Beiträge: 18
Registriert: Di Okt 14, 2008 7:02 pm
Wohnort: Hannover

Re: Blacklist & Co

Beitragvon Low012 » So Okt 19, 2008 5:16 pm

Die Blacklist ist nur für URLs. Ob es auch irgendwo eine öglichkeit gibt, bestimmte Wörter auszuschließen, weiß ich gar nicht. Wenn es so eine Liste geben sollte, gibt es jedenfalls keine Seite in der HTML-Oberfläche, um sie zu bearbeiten.

Um Blacklisten zu sichern oder zu übertragen, kannst du sie einfach aus dem Verzeichnis DATA/LISTS kopieren. Sie liegen dort als normale Textdateien. Wenn du zwei Peers hast, die gleichzeitig online sind, und wo du von einem zum anderen eine Blacklist übertragen willst, kannst du das auch auf der Blacklist-Seite unter "Import blacklist items from..." (rechts unten) machen.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Blacklist & Co

Beitragvon intercop » So Okt 19, 2008 5:32 pm

habe das in der "indexverwaltung" gefunden: " RWI-DB-Aufräumer - Räumen Sie Ihre Datenbank auf, indem Sie Wörter, die mit Ihrer Blacklist verbunden sind, löschen:"..wie ist das zu verstehen? für mich kligt das so, als ob es doch eine gebe..

mfg
micha
intercop
 
Beiträge: 18
Registriert: Di Okt 14, 2008 7:02 pm
Wohnort: Hannover

Re: Blacklist & Co

Beitragvon Low012 » Mo Okt 20, 2008 6:07 pm

In der englischen Version heißt der Satz "Clean up the database by deletion of words with reference to blacklisted urls" was ich so verstehe, dass dort die Wörter gelöscht werden, die auf URLs verweisen, die sich wiederum in einer Blacklist befinden. Entweder habe ich jetzt eine halbe Ewigkeit was falsch verstanden oder die Übersetzung ist an dieser Stelle etwas schwammig.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Blacklist & Co

Beitragvon daburna » Mo Okt 20, 2008 7:02 pm

Low012 hat geschrieben: Entweder habe ich jetzt eine halbe Ewigkeit was falsch verstanden oder die Übersetzung ist an dieser Stelle etwas schwammig.

Kann sein. Ich war mir damals über das technische nicht schlüssig und hab es daher so übersetzt. Bessere Vorschläge, die technisch korrekter sind?
daburna
 
Beiträge: 316
Registriert: Mi Jun 27, 2007 12:05 pm
Wohnort: Greifswald

Re: Blacklist & Co

Beitragvon intercop » Di Okt 21, 2008 8:32 pm

hi,
mein eigentliches problem sind wörter wie "sex" oder "porno" oder ehnliche, wie kann ich die ausschliessen oder bannen??

mfg
micha
intercop
 
Beiträge: 18
Registriert: Di Okt 14, 2008 7:02 pm
Wohnort: Hannover

Re: Blacklist & Co

Beitragvon Orbiter » Mi Okt 22, 2008 8:44 am

es gibt dieses Wort-bannen tatsächlich schon lange in YaCy, hat aber kein Web-Interface zur Pflege und nennt sich 'blue-list'. Wörter in der bluelist werden aus dem Suchstring entfernt und auch beim Indexieren, wirkt also 'doppelt', falls diese Funktion nicht im Laufe der Jahre irgendwie buggy geworden ist.

Man macht die bluelist so:
- datei namens yacy.blue in das yacy-Verzeichnis (also in das gleiche wo DATA drin ist und die Startscripte) schreiben
- pro Zeile in yacy.blue ein Wort

sollte gehen. Ich hatte in meinem Uriel-Peer immer eine große Liste von ganz fürchterlichen Wörtern in der bluelist, die ich hier auf keinen Fall poste!
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Blacklist & Co

Beitragvon Low012 » Mi Okt 22, 2008 8:58 am

Wird bei der Suche dann eigentlich angezeigt, dass Suchwörter geblockt wurden?
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Blacklist & Co

Beitragvon Orbiter » Mi Okt 22, 2008 9:33 am

nein, dem User erscheint dann ggf. das Ergebnis falsch zu sein, wenn beispielsweise nach zwei Wörtern gesucht werden, das eine Wort ist in der Bluelist und das andere nicht, dann wird nur nach dem einen Wort gesucht das niht in der Bluelist ist. Dadurch sieht der User dann Ergebnisse, wo nicht alle seine Wörter drin sind was ja eigentlich falsch ist. Ich wollte aber hier nicht das man sieht das es eine Bluelist gibt, denn dann gäbe es auch einen brute-force hack um die bluelist quasi auslesen zu können.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Blacklist & Co

Beitragvon intercop » Do Okt 23, 2008 4:07 pm

so ne blue list ist auf keinen fall was flasches und man könnte sie mit htaccess oder ehnlichen schützen.

ich weiss nicht ob ich da deine anleitung richtig verstanden habe, also:
einfach ne yacy.blue erstellen und als text speichern, richtig? egal ob ansi oder utf oder?

mfg
micha
intercop
 
Beiträge: 18
Registriert: Di Okt 14, 2008 7:02 pm
Wohnort: Hannover

Re: Blacklist & Co

Beitragvon bluumi » Do Okt 23, 2008 5:16 pm

Orbiter hat geschrieben: bluelist, die ich hier auf keinen Fall poste!


Hier ein paar Links zu dem Bad-Word thema ..
http://www.analytictech.com/mb870/bwfldata.htm
http://www.phpbb2.de/fpost156343.html#156343
http://www.schimpfwoerter.de/schimpfwoe ... chbegriff=
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Blacklist & Co

Beitragvon intercop » Fr Okt 24, 2008 9:04 pm

hi zusammen,
mal ne andere frage, kann man die blacklist irgendwie exportieren?

mfg
intercop
 
Beiträge: 18
Registriert: Di Okt 14, 2008 7:02 pm
Wohnort: Hannover

Re: Blacklist & Co

Beitragvon daburna » Fr Okt 24, 2008 10:09 pm

Äh ne. Aber du findest sie unter yacy/DATA/LISTS/ Die dort vorhandenen Dateien kannst du dann mit einem einfachen Texteditor öffnen.
daburna
 
Beiträge: 316
Registriert: Mi Jun 27, 2007 12:05 pm
Wohnort: Greifswald

Re: Blacklist & Co

Beitragvon intercop » Fr Okt 24, 2008 10:12 pm

re,
wäre doch mal ne idee ;) mal dafür nen button ein zu bauen, oder ?

mfg
intercop
 
Beiträge: 18
Registriert: Di Okt 14, 2008 7:02 pm
Wohnort: Hannover

Re: Blacklist & Co

Beitragvon daburna » Fr Okt 24, 2008 10:19 pm

Äh...keine Ahnung. Ich persönlich seh da keinen Sinn drin. Aber ich hab die ja auch noch nie anders gebraucht.
daburna
 
Beiträge: 316
Registriert: Mi Jun 27, 2007 12:05 pm
Wohnort: Greifswald

Re: Blacklist & Co

Beitragvon bluumi » Sa Okt 25, 2008 12:02 am

Also ich exportier meine "öfters", und zwar von einem Peer wieder zum andern :) Müssen halt einfach beide Online sein. Wozu willst DU sie denn sonst exportieren ;)
Und wenn es die als File gibt, wozu dann nen Button :)
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Blacklist & Co

Beitragvon Low012 » Sa Okt 25, 2008 5:51 pm

Man möchte vielleicht nicht seine Blacklist(s) öffentlich machen und sei es auch nur kurz, um sie online von einem Peer zum anderen zu übertragen. Ich bin noch am Überlegen, wie die Blacklistverwaltung sinnvoll aufgebaut sein könnte, so dass sie übersichtlicher und einfacher zu benutzen ist. Ich denke aber, ich werde eine Möglichkeit einbauen, dass man die Blacklist(s) als Datei ex- und wieder importieren kann. Das kann man zwar jetzt auch schon machen, aber eben nicht komplett über die HTML-Oberfläche.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Blacklist & Co

Beitragvon intercop » So Okt 26, 2008 10:40 pm

hi,
ich meine wenn man da schon paar hundert einträge hat und mal einen das ganze abschiesst oder es bei freunden aufsätzen will, dann hat man die mühe nicht das ganze neu eintragen zu müssen, sehe die bookmarks von firefox an, die werden auch in deinem profil ordner angelegt bzw. gespeichert, aber den export button benutzten trotzdem viele, oder?

mfg
micha
intercop
 
Beiträge: 18
Registriert: Di Okt 14, 2008 7:02 pm
Wohnort: Hannover

Re: Blacklist & Co

Beitragvon DanielR » Di Okt 28, 2008 9:13 am

intercop hat geschrieben:sehe die bookmarks von firefox an, die werden auch in deinem profil ordner angelegt bzw. gespeichert, aber den export button benutzten trotzdem viele, oder?

Es gibt einen Export-Button? :-P
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: Blacklist & Co

Beitragvon bluumi » Di Okt 28, 2008 1:04 pm

DanielR hat geschrieben:
intercop hat geschrieben:sehe die bookmarks von firefox an, die werden auch in deinem profil ordner angelegt bzw. gespeichert, aber den export button benutzten trotzdem viele, oder?

Es gibt einen Export-Button? :-P

Menu [Lesezeichen]/LesezeichenManager/Datei/Exportieren :)
Aber vielleicht gibt es ausser einem Menupunkt auch noch einen Button :P
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Blacklist & Co

Beitragvon intercop » Di Okt 28, 2008 7:14 pm

hi,
nein, meinte ja eigentlich das :"Menu [Lesezeichen]/LesezeichenManager/Datei/Exportieren ", war nur zu faul voll aus zu schreiben ;)

mfg
intercop
 
Beiträge: 18
Registriert: Di Okt 14, 2008 7:02 pm
Wohnort: Hannover

Re: Blacklist & Co

Beitragvon DanielR » Di Okt 28, 2008 11:24 pm

mir ging es nicht um den Button, sondern um die mir völlig unbekannte Funktion. Das sollte deutlich machen, das es nicht sehr viele gibt, die ihre Bookmarks (regelmäßig) exportieren!
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: Blacklist & Co

Beitragvon bluumi » Mi Okt 29, 2008 12:17 am

DanielR hat geschrieben:mir völlig unbekannte Funktion. .....deutlich machen, das es nicht sehr viele ..... exportieren!

Daniel, ich benötige die Funktion auch nie :) - Ich hab alle meine bookmarks online. Mir war klar, was Du damit sagen wolltest. Aber wo schon danach "gefragt" wurde war ich so frei nach dem Button zu suchen :P
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Blacklist & Co

Beitragvon apfelmaennchen » Mi Okt 29, 2008 7:19 am

OT:

bluumi hat geschrieben:Ich hab alle meine bookmarks online.


Darf ich fragen, wo Du Deine bookmarks online abgelegt hast bzw. ob Du mal die Bookmarks von YaCy getestet hast?
Feedback zu den Lesezeichen ist (an anderer Stelle im Forum) jeder Zeit willkommen und sei es, dass Du sagst: Ich habe meine Lesezeichen bei delicio.us weil...

Gruß!
apfelmaennchen
apfelmaennchen
 
Beiträge: 429
Registriert: Mo Aug 20, 2007 7:06 pm

Re: Blacklist & Co

Beitragvon bluumi » Mi Okt 29, 2008 12:44 pm

apfelmaennchen hat geschrieben:Darf ich fragen, wo Du Deine bookmarks online abgelegt
hast bzw. ob Du mal die Bookmarks von YaCy getestet hast?

Antwort: Bluumi hat sie auf Bluumi.ch :-D (php Anwendung installiert)
Und Nein, in Yacy noch nie probiert, schau ich bei Gelegenheit gerne an.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Blacklist & Co

Beitragvon intercop » So Nov 02, 2008 12:21 am

hi,
naja, eigentlich würde mich so ein button in YaCy interessieren und nicht in firefox ;)

mfg
intercop
 
Beiträge: 18
Registriert: Di Okt 14, 2008 7:02 pm
Wohnort: Hannover

Re: Blacklist & Co

Beitragvon Low012 » So Nov 02, 2008 11:58 am

So einen Button wird es geben, allerdings bin ich im Moment an der Blacklist-Oberfläche ziemlich am wüten und zur Zeit läuft bei mir lokal nicht alles wie es soll, weshalb ich auch derzeit nichts commite. Mein Urlaub ist leider schon wieder vorbei, mal schauen, ob ich da in den nächsten Tagen noch was hinbekomme...
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Blacklist & Co

Beitragvon intercop » Mi Nov 05, 2008 7:25 pm

hi,
@Low012 ,
lass dir zeit,läuft ja nicht weg...

mfg
micha
intercop
 
Beiträge: 18
Registriert: Di Okt 14, 2008 7:02 pm
Wohnort: Hannover

Re: Blacklist & Co

Beitragvon Low012 » Sa Dez 27, 2008 4:43 pm

Hat etwas gedauert, aber jetzt sollte der Blacklist-Im- und Export halbwegs komfortabel machbar sein. (ab Revision 5412)
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Blacklist & Co

Beitragvon Quix0r » Mi Apr 08, 2009 2:18 pm

Mit einem "normalen" Wortfilter kommt man nicht weit, jetzt im Bezug auf die Spammer (Spinner). Das muesst ihr schon einen bayesischen Filter implementieren. Vielleicht gibt es schon auf java.net dazu eine passende Lib?
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Blacklist & Co

Beitragvon Low012 » Mi Apr 08, 2009 2:36 pm

Der Ansatz mit der Blacklist hat den Vorteil, dass das Ganze relativ wenig kostet, weil nur ein kleiner String (URL) verglichen werden muss. Der Bayes-Filter dagegen muss sich erstmal durch den kompletten Text wühlen. Beim Einsatz eines Bayes-Filters könnte man aber nicht nur gut oder schlecht als Kategorie nehmen, sondern eventuell auch Themengebiete eingrenzen und diese Kategorien dann bei der Suche berücksichtigen.

edit: Das sind nur meine ersten Gedanken dazu, ich finde Bayes-Filter eigentlich auch toll und möchte die Diskussion auf keinen Fall gleich abwürgen. Ich denke nur, dass so ein Filter für den Proxy eventuell problematisch sein könnte, er im trainierten Zustand für den Crawler aber vielleicht nützlich sein könnte.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Blacklist & Co

Beitragvon Quix0r » Mi Apr 08, 2009 5:30 pm

Dazu muesste er trainierbar sein. Das heisst, falsch eingeschaetze Seiten sind nachtraeglich trainierbar. Ich glaube aber kaum, dass dies sich wo lohnt, das es einfach zu viele Seiten gibt. Hmmm, und wegen Performance mache ich mir auch Gedanken. Das kann evtl. ziemlich viel kosten, jedenfalls musste ich SpamAssassin von meinem Server wegen Ueberlastung (Load) runternehmen und auf Greylisting umsteigen...

Okay, wird Off-Topic. Wenn jemand Ideen hat, bitte hier posten! :) Solch Dienste wie Akismet, waeren bestimmt auch interessant, wuerde denen aber irgentwann zu viel Traffic bedeuten. :/
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Blacklist & Co

Beitragvon Quix0r » Do Apr 09, 2009 1:32 pm

Noch zwei weitere Fragen dazu:

1.) Werden Gross-Kleinschreibung ignoriert? Hab diverse Eintraege mit Mischschreibung.

2.) Wenn ich mehr als eine Blacklist angelegt habe, werden alle fuer die ausgewaehlten Bereiche (proxy usw.) beruecksichtigt?
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Yahoo [Bot] und 1 Gast

cron