Loesungsansatz: Geparkte Domains

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Loesungsansatz: Geparkte Domains

Beitragvon Quix0r » So Jan 17, 2010 2:40 am

Domainparker oder auch Domainhaie genannt sind die Niesnutzer des Internets. Sucht einfach mal nach "Domainhai" oder dem englischen "domain shark" (mit Anfuehrungszeichen!) und ihr werdet Informationen (meistens gut bei Wikipedia) finden.

Ich habe nun einen recht effizienten Weg gefunden, diese ausfindig zu machen und dann zu blacklisten:
- Sucht unter http://localhost:8080/IndexControlRWIs_p.html nach den Domainparanbietern. (genaue Suchworte kann ich hier nicht listen, da sonst das Forum ebenfalls gesperrt wird)
- Die gefundenen URLs anhand der Domains dann einfach blacklisten
- Alles www. rauswerfen (am besten per Texteditor wie z.B. gedit oder notepad.exe unter Windozer)
- Und fertig ist. :)
- Bitte das sharen nicht vergessen und tragt hier eure Node-Namen ein!

Hier der Anfang der Liste (Nodes, die Domainparker blockieren):
- free-search3

VG,
Quix0r
Zuletzt geändert von Quix0r am So Jan 17, 2010 8:52 pm, insgesamt 2-mal geändert.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Loesungsansatz: Geparkte Domains

Beitragvon Orbiter » So Jan 17, 2010 2:15 pm

mit der Methode bekommst du aber aufgrund der Vorgehensweise und deines Postings dieses Forum ebenfalls in die Blackliste -- und alle andere Domains die sich kritisch mit domain grabber beschäftigen.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Loesungsansatz: Geparkte Domains

Beitragvon Quix0r » So Jan 17, 2010 8:32 pm

Edit: Hab sie rausgeworfen, hast recht. :) Bis jetzt warst du aber nicht davon betroffen.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Loesungsansatz: Geparkte Domains

Beitragvon Vega » Mo Jan 18, 2010 9:53 am

Ist trotzdem kein schlechter Ansatz/keine schlechte Idee, setzt aber voraus das man die Links/Domänen gegen prüft bevor man Sie auf die Blacklist setzt, Problem ist aber - wie bei allen Blacklists, diese aktuell zu halten - nicht das eine gesperrte Domain mittlerweile wertvollen Inhalt/Informationen enthält.
Ansonsten sollten dies geparkten Domänen wirklich geblockt werden, da nur Werbeinhalt vorliegt und die Domain für Benutzer wertlos ist.

Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Loesungsansatz: Geparkte Domains

Beitragvon Quix0r » Mo Jan 18, 2010 10:29 am

Ich hab erstmal die ganzen Domain-Parking-Anbieter gesperrt, das bringt auch etwas. :) Und zudem mache ich vereinzelnt Stichproben.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Loesungsansatz: Geparkte Domains

Beitragvon Quix0r » Mi Jan 20, 2010 10:30 am

Hier mal ein einfaches Shell-Script, dass nach geparkten Domains (sedo) YaCy's Logfile durchsucht:
Bitte in meinem Wiki-Profil fuer eine aktuellere Version nachsehen.
Edit: Script ueberarbeitet. Blacklistet nun selbststaendig nur neue Domains.
Zuletzt geändert von Quix0r am Fr Jan 22, 2010 7:55 am, insgesamt 2-mal geändert.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Loesungsansatz: Geparkte Domains

Beitragvon Lotus » Mi Jan 20, 2010 10:53 am

Also wenn ich auf geparkte Domains stoße, passiert das meist durch veraltete Links anstatt durch eine Suche.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Loesungsansatz: Geparkte Domains

Beitragvon Quix0r » Mi Jan 20, 2010 11:11 am

@Lotrus: Einfach das Script per Cron-Job ausfuehren lassen und z.B. parking.sh nennen. So sieht mein Eintrag aus:
Code: Alles auswählen
*/10 * * * * /home/quix0r/yacy/parking.sh sc

Edit: Jede zweite Minute war zu viel des guten. :)
Edit2: Parameter sc dazugefuegt (Silent/Cron)

Bitte auch folgende Domain sperren:
Code: Alles auswählen
.*.boinstats.com/.*

(Grund: Es fehlt das c und ziehlt auf Tippfehler ab. Die Domain hat bei mir schon ueber 5.000 Eintraege verursacht)
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste