Ist Yacy wild?

was weder zu YaCy noch zum Thema Suchmaschinen gehört

Ist Yacy wild?

Beitragvon disi » Di Jun 22, 2010 8:08 am

Ich habe gerade dieses Thema mit "swarm intelligence" und "wild computing".
Kann man Yacy als positives Beispiel anfuehren, wo man die Kontrolle absichtlich abgibt um Monopole zu verhindern? :?

Inwieweit hat man Kontrolle bei der computer-computer Kommunikation via DHT?
Spielen zuviele Faktoren eine Rolle, um Kontrolle ueber die Software zu erlangen? (was wird gecrawled und wann, wieviele Jobs werden an andere Peers abgegeben, wo existiert gerade wieviel des globalen RWI usw.)

Gruss,

disi
disi
 
Beiträge: 34
Registriert: Mi Jun 16, 2010 1:00 pm

Re: Ist Yacy wild?

Beitragvon Low012 » Di Jun 22, 2010 1:00 pm

disi hat geschrieben:Ich habe gerade dieses Thema mit "swarm intelligence" und "wild computing".

Ich habe mich mit diesem Thema bisher noch nicht großartig beschäftigt, wenn ich also gleich etwas schreibe, was so gar nicht da rein passt, dann liegt es daran.

Kann man Yacy als positives Beispiel anfuehren, wo man die Kontrolle absichtlich abgibt um Monopole zu verhindern? :?

Naja, über das YaCy-Netz hat ja nie jemand wirklich viel Kontrolle gehabt. Orbiter hatte die vielleicht mal ganz am Anfang des Projekts, als er aus YaCy noch alles hätte machen können. Aber es war ja von Anfang an das Ziel des Projekts, eine Suchmaschine zu schaffen, die dezentral funktioniert, um eine Kontrolle über den gesamten Suchindex zu verhindern. Jeder Betreiber für sich gibt natürlich die Kontrolle über einen Teil seiner Systemressourcen ab, wenn er YaCy installiert und im öffentlichen Netz laufen lässt. Ob das in allen Fällen geschieht, um Monopole zu verhindern, kann ich nicht beurteilen. Es gibt ja möglicherweise auch noch andere Motive und wenn es nur ein gewisser Spieltrieb ist. ;) Andereseits gibt es in YaCy ja auch einige Möglichkeiten zu steuern, was der eigene Peer darf und was nicht, damit man die Kontrolle nicht völlig abgeben muss.

Inwieweit hat man Kontrolle bei der computer-computer Kommunikation via DHT?

Man kann DHT ein- und ausschalten, man kann durch die Blacklist verhindern, dass man Informationen zu bestimmten URLs geschickt bekommt und man kann durch Manipulation des eigenen Peer-Hashs beeinflussen, welche Inhalte der Peer zugeschickt bekommt.

Spielen zuviele Faktoren eine Rolle, um Kontrolle ueber die Software zu erlangen? (was wird gecrawled und wann, wieviele Jobs werden an andere Peers abgegeben, wo existiert gerade wieviel des globalen RWI usw.)

Meinst du die Kontrolle über den eigene Peer oder über das gesamte Netz?

Was gecrawlt wird, kann man ja für den eigenen Peer beeinflussen, indem man Remote Crawling ein oder ausschaltet und Blacklists definiert. Wann und wieviele Jobs an andere Peers abgegeben werden, könnte man nur durch Änderung des Codes beeinflussen. Es läuft ja so, dass jeder Peer bekannt gibt, dass er Jobs zu vergeben hat und andere Peers sich dann die Jobs abholen. Da man üblicherweise über andere Peers keine Kontrolle hat, geschieht das für den eigenen Peer quasi zufällig. Möchte man das ganze Netz mit Crawljobs fluten, so ist man darauf angewiesen, dass die anderen Peers genug Langeweile haben, sich Jobs zu besorgen. Die anderen Peers wählen aber auch nicht immer den gleichen Peer, wo sie sich Jobs abholen, wenn es Alternativen gibt. Um das ganze Netz zu beeinflussen, müsste man eine große Anzahl (groß im Verhältnis zur Anzahl der Peers im Netz, keine Ahnung wie groß "groß" dabei ist) von Peers laufen lassen. Der Aufwand der Einflussnahme wird dabei größer, je größer das P2P-Netz wird.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Ist Yacy wild?

Beitragvon disi » Di Jun 22, 2010 3:09 pm

Uns wurde als Beispiel der Boersenkrasch (Black Monday) von 1987 gegeben. Dort fuehrten automatische Verkaeufe durch Software zum Jahrhundertcrash (vermutlich nicht mehr). Man hatte sich auf die Software verlassen, die Flut von Informationen in diesem Schwarm der Boerse zu kontrollieren.
Das ganze wurde als negative Erfahrung abgestempelt, ein Versuch durch Software das Irrationale, berechenbar zu machen.

Yacy im Senior Betrieb sehe ich da als positives Beispiel, wo man explizit darauf setzt die Kontrolle ueber den Schwarm von Peers abzugeben, damit ein moeglichst neutrales Ergebnis erreicht wird.
Natuerlich kann man fuer seinen Peer die Blacklists einsetzen, aber wie du schon sagtest braeuchte man da etliche Peers und muesste praktisch den Grossteil des Netzes alleine laufen lassen.

Teilweise werden wirklich interessante Seiten indiziert, die man von Google garnicht so kennt. Manchmal ertappe ich mich dabei den Crawl Monitor zu beobachten und suche nach interessant klingenden URLs :)

//edit: ich beziehe mich da natuerlich auf das Freeworld Netzwerk...
disi
 
Beiträge: 34
Registriert: Mi Jun 16, 2010 1:00 pm

Re: Ist Yacy wild?

Beitragvon Low012 » Di Jun 22, 2010 8:28 pm

Das mit dem Beobachten des Crawls kenne ich auch gut, ich habe so auch schon allerhand nette Seiten entdeckt. :)

Mit dem Börsen-Beispiel weiß ich jetzt auch besser, was du meinst. YaCy selbst besitzt ja eigentlich keine Komponente, die richtige Entscheidungen trifft und das Ergebnis, wenn man eine einzelne YaCy-Installation mit bestimmten Informationen (Crawl-Startpunkte) füttert ist auch immer der gleiche Index, solange sich an den Webseiten nichts ändert. Wenn YaCy selbst entscheiden könnte, dass es bestimmte Inhalte in der Datenbank lässt, weil die aus irgendwelchen Gründen nützlicher sind als andere und es nützlich wäre, bestimmte Daten zu löschen, weil nicht Speicherplatz halt begrenzt ist, könnte man vielleicht von einer Art Intelligenz sprechen, aber soweit ist es noch nicht. Bei einer einzelnen Installation ist das Ranking zwar eine Stelle, wo YaCy eine Entscheidung trifft, in welcher Reihenfolge die Suchergebnisse angezeigt werden, aber das ist ja eine mehr oder weniger starre Angelegenheit, weil es da eine feste Liste von Kriterien mit verschiedenen Gewichtungen gibt, die abgearbeitet werden und vom Benutzer festgelegt sind, ohne dass die Software selbst Anpassungen vornehmen könnte. Für mich wäre hier denkbar, dass eine YaCy-Installation die Rankingkriterien selbst anpassen könnte, wenn man ihm sagt, wie man das Ranking erwartet, YaCy also lernfähig wäre. So weit ist es aber leider auch noch nicht.

Interessant wird es halt, wenn man den P2P-Betrieb im Freeworld-Netz betrachtet, weil da dann Effekte auftreten, die man als einzelnen Nutzer nicht vorhersehen kann, weil ja jeder Peerbetreiber das Netz mit Inhalten füttert, die man selbst nicht kennt. Ob das aber der Software zu verdanken ist oder ob die Software "nur" ein Werkzeug ist, um aus der Intelligenz der Benutzer etwas Nützliches zu machen, kann ich nicht beurteilen, da weißt du wahrscheinlich mehr als ich.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm


Zurück zu Off-Topic

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron