forced blacklist

Ereignisse, Vorschläge und Aktionen

forced blacklist

Beitragvon thq » Do Mai 14, 2009 10:28 am

Ich möchte das, damit YaCy mehr Reserven hat. Und zwar geht es mir um große Seiten wie amazon, ebay, dmoz, flickr, twitter, myspace, wikipedia ...

Auf all diese Seiten kann man besser direkt suchen und deswegen würde ich es besser finden diese Seiten zu blocken und alternative einen Link unter der YaCy-Suchmaske zu setzen damit man wenn man möchte einer dieser Seiten durchsuchen kann (also direkt über den Link). Nach Möglichkeit gleich in der richtigen Sprache, also das ein Peer aus Deutschland dann direkt bei de.wikipedia.org sucht ...

:shock: :lol:
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: forced blacklist

Beitragvon dulcedo » Do Mai 14, 2009 10:50 am

Es gibt doch die von Orbiter angestossene Diskussion wie man grosse Foren möglichst gut und res-schonend crawlt.
In dem Zuge kam die Überlegung für gängige Foren eine Art Interface zu definieren das eine Schnittstelle für Crawler bereitstellt und im Idealfall eingeschränkten Zugriff auf die Seiten-DB gewährt. Bei OpenSource würde ich mich als Betreiber darauf einlassen, mein Server wird ja geschont. Eine Art freundlicher Bundestrojaner.
Das ganze auf Wikipedia etc. ausweiten, also die Surrogate über das Interface (live) beziehen.
Möchte ein Betreiber das nicht dann kann YaCy entscheiden ob herkömmlich indexieren oder deine Blacklist verwenden.

Gross genug solch einen Standard zu setzen ist YaCy, behaupte ich.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast