Nicht 24/7 online

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Nicht 24/7 online

Beitragvon Irdran » Mo Mär 19, 2012 10:59 pm

Hallo,

ich hab eine schnelle Internetanbindung (> 10 MBit / sec Downstream), > 1 MBit / sec Upstream) und einen schnellen Rechner (4 Cores * 2 (Hyperthreading), 12 GB RAM), der allerdings nur zwei-drei Stunden am Tag läuft. Wie kann ich dem Netzwerk damit helfen? Ich vermute, wenn ich normal Teilnehme, aber jeden Tag nur für ein paar Stunden, schadet das der DHT mehr als es nützt, oder? Kann ich Yacy beibringen, Seiten zu crawlen und die Ergebnisse an die DHT zu übermitteln, ohne selber an der DHT teilzunehmen?
Und kann ich Yacy sowas sagen wie "pausiere/stoppe das crawlen, sende die Ergebnisse, und dann schalte dich dann ab"? (Und nach dem nächsten Start macht er dort weiter wo er aufgehört hat?)
Irdran
 
Beiträge: 30
Registriert: Di Feb 19, 2008 12:33 pm

Re: Nicht 24/7 online

Beitragvon PCA42 » Di Mär 20, 2012 5:44 am

Die normale Teilnahme am Netz sollte dafür grundsätzlich ausreichen. In einem P2P-Netzwerk muss immer damit gerechnet werden, dass sich Teilnehmer dynamisch ein- und ausschalten. Deshalb werden die Daten auch mehrfach verteilt, um dies auszugleichen.

Auch der von dir beschriebene Ansatz, Crawlen und dann verteilen ist möglich. Ich mach dafür heute Nachmittag im Wiki mal eine Eintrag, wo ich die Einstellungen mal genau aufliste.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Nicht 24/7 online

Beitragvon Lotus » Di Mär 20, 2012 4:58 pm

Nur verteilen ist der Modus, wenn dein Peer von außen nicht erreichbar ist (Junior Status).
Eine Teilnahme als Nur-DHT Teilnehmer schadet dem Netz nicht, da die Inhalte mehrfach verteilt werden. Einen Crawl-Engpass haben wir auch nicht. Ich rate dazu, einfach nur DHT laufen zu lassen, das ist der typische Anwendungsfall. Mit Junior Status werden die Inhalte nicht redundant verteilt, sodass hier mehr Upload (und Zeit) vom Netz gefordert wird um sie redundant zu verteilen.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Nicht 24/7 online

Beitragvon Irdran » Di Mär 20, 2012 10:25 pm

Vielen Dank für die Antworten. Ich werden den Rechner "normal" an Yacy mitmachen lassen, und nicht nur zum Crawlen. :-)

Aber ein paar Fragen zu dem Thema habe ich noch:
Wenn mein Rechner der DHT beitritt, wird er dann von seinen Nachbarn über die Inhalte unterrichtet, die sie bereits speichern und die er kennen müsste, oder bekommt er nur neu hinzugefügte Inhalte mit?

Falls er nur neue Inhalte mitbekommt: Was ist wenn ein Benutzer etwas sucht, was mein Rechner nicht kennt, aber kennen müsste? Wird automatisch auch auf den Nachbarn gesucht? Oder findet der Nutzer diese Inhalte dann einfach nicht?

Falls mein Rechner aber über die bisherigen Inhalte unterrichtet wird: Wie lange dauert es, bis dass alles zu ihm übertragen ist?
Irdran
 
Beiträge: 30
Registriert: Di Feb 19, 2008 12:33 pm

Re: Nicht 24/7 online

Beitragvon Quix0r » Mi Apr 25, 2012 7:36 am

Das sind viele Fragen... ich versuche die mal der Reihe nach zu beantworten:

Deine Vermutung ist richtig, deinem Peer werden beim Beitreten in die DHT nicht sofort haufenweise Daten zugesandt, das würde deinen Peer (und andere mit weniger "Power") gleich beim starten überlasten. Dein Peer kann aber über die DHT andere Peers abfragen (siehe /CrawlResults.html?process=2) bzw. im laufenden Betrieb Indexes zugeschoben bekommen (/CrawlResults.html?process=3).

Ich denke, damit habe ich dann auch Frage zwei beantwortet: Falls ein Nutzer bei dir etwas sucht und dein Peer keine lokalen Indexes hat, wird über die DHT ein "vermutlich" passender Peer ausgewählt (noch ein paar Peers mehr natürlich, um sicher zu gehen, dass mindestens ein Peer Indexes sendet) und dieser abgefragt. Dies dauert so seine Zeit. Genaueres hat Michael in einem Video auf vimeo beschrieben. Das Übertragen der Daten hängt meistens vom Upload des anderen Peers ab, da viele Peers über "Consumer DSL" angebunden sind und kann mal auch nichts liefern. Dann bitte einfach mehrfach probieren (und warten, bis die Seite komplett geladen hat).
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Nicht 24/7 online

Beitragvon Irdran » Mi Apr 25, 2012 6:16 pm

Ah, okay. Vielen Dank :-)
Irdran
 
Beiträge: 30
Registriert: Di Feb 19, 2008 12:33 pm


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: Bing [Bot] und 2 Gäste

cron