Einsteigerfragen zu YaCy

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Einsteigerfragen zu YaCy

Beitragvon cryptosteve » So Jul 14, 2013 7:38 am

Moin,
schon vor Jahren habe ich mir YaCy mal angesehen. Das ging aber nie über tageweises Interesse hinaus. Gestern bin ich eher zufällig mal wieder hier geladet, also nicht durch Prism, Tempora & Co indiziert. :L)

Nunja, ich habe also YaCy mal wieder auf meinem kleinen Heimserver installiert und ein paar Seiten komplett abcrawlern lassen. Im Nachhinein stellen sich mir da jetzt zwei Fragen, die ich durch Querlesen der Hinweisseiten nicht klären konnte (sorry, falls ich da was überlesen haben sollte, es ist halt für einen (Wieder-)Einsteiger 'ne Menge Tobak zu lesen:

a) Wenn ich Seiten crawlern lasse, überprüft YaCy diese dann auch nachträglich von Zeit zu Zeit, um etwaige Änderungen im Index aufzunehmen?
b) Wenn ich YaCy im Senior-Mode laufen lasse, müssten die von mir gecrawlten Seiten auf http://search.yacy.net/ zu sehen sein?! Falls sie das nicht sind, ist die Synchronisation noch nicht (vollständig) abgeschlossen? Oder ordnet der Algorithmus die von mir gelieferten Ergebnisse so tief ein, dass ich sie nicht finde? Kann ich lokal irgendwie kontrollieren, wieviel von meinem eigenen Index verteilt worden ist?

Sorry, falls das offensichtlich sein sollte, aber momentan bin ich von Zahlen und Fachbegriffen noch ein wenig erschlagen. :) Aber interessieren tut's mich jetzt schon ...
cryptosteve
 
Beiträge: 9
Registriert: So Jul 14, 2013 6:48 am
Wohnort: Buchholz / Nordheide

Re: Einsteigerfragen zu YaCy

Beitragvon David » So Jul 14, 2013 3:36 pm

Hallo,

A) Sobald du einen Crawl gestartet hast, wird er im Reiter "Scheduler und Profil Editor" aufgelistet, und dort kannst du dann unter "Geplante Ausführung" bestimmen in welchem Intervall der Crawl wiederholt werden soll. Der Reiter befindet sich im Menü "Indexerzeugung" unter "Crawler Überwachung".

B) Soweit ich weiss, werden die Seiten die sich in deinem Index befinden nur dann auf search.yacy.net angezeigt, wenn dein Peer entweder mit dem Peer "yacysearch01" verbunden bist, oder dieser deine Indexdaten via DHT empfangen hat. Beides ist eine Frage des Zufalls. Es muss nebenbei auch erwähnt werden, dass search.yacy.net nur als Demo gedacht ist, und nicht als "vollwertiges" Suchportal.
David
 
Beiträge: 170
Registriert: Di Mär 05, 2013 5:35 pm

Re: Einsteigerfragen zu YaCy

Beitragvon cryptosteve » So Jul 14, 2013 4:19 pm

Hi David,
zu a) Danke, ich habe schon viele Reiter gesehen - dieser war mir bislang entgangen.

zu b) Ok, danke. Prinzip verstanden. Und ja, ich weiss, dass das nur 'ne Demo ist, ich bin noch dabei, die Grundzüge von YaCy zu begreifen. Unterm Strich ist's natürlich schön, wenn am Ende alle Peers alle Infos haben und finden können.
cryptosteve
 
Beiträge: 9
Registriert: So Jul 14, 2013 6:48 am
Wohnort: Buchholz / Nordheide

Re: Einsteigerfragen zu YaCy

Beitragvon David » So Jul 14, 2013 6:00 pm

Wenn du regelmässig online bist, ist es eigentlich nur eine Frage der Zeit bis deine Indexdaten im Netzwerk verteilt sind, und dann auch höchstwahrscheinlich auf search.yacy.net miteinbezogen werden.

cryptosteve hat geschrieben:Kann ich lokal irgendwie kontrollieren, wieviel von meinem eigenen Index verteilt worden ist?

Meinst du eine Art Anzeige, die dir anzeigt wieviel Prozent von deinem Index bereits im Netzwerk verteilt worden ist?
David
 
Beiträge: 170
Registriert: Di Mär 05, 2013 5:35 pm

Re: Einsteigerfragen zu YaCy

Beitragvon Vega » Mo Jul 15, 2013 12:19 pm

Hallo,

zu search.yacy.net kann ich sagen das die Kiste aktuell nur in Ihrem lokalem Index sucht - der Grund ist schlichtweg Speichermangel. mache ich DHT wieder an schmiert wie die Kiste recht zügig ab. Die alternative wäre den Index auf dem Peer zu löschen - oder einen "dickeren" Server zu nehmen. - Wobei da noch die Finanzierung noch geklärt werden muss, siehe: http://forum.yacy-websuche.de/viewtopic.php?f=15&t=3359&start=50#p28064

Richtig ist aber auch, das es (aktuell) nur eine Demo ist, keine Portalsuche - wir brauchen ja eure Peers daheim um den Index zu halten. Trotzdem ist aber search.yacy.net wichtig - wie im anderem Thread beschrieben.

Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Einsteigerfragen zu YaCy

Beitragvon cryptosteve » Mo Jul 15, 2013 4:47 pm

Naja, ich werde mir irgendwo nochmal ein HOWTO durchlesen, wie YaCy im Hintergrund arbeitet.
Derzeit stelle ich aber auch fest, das mein kleiner Heimserver mit gerade mal 4GB RAM doch schon arg knapp bemessen ist. Zudem ist die Festplatte deutlich zu laut. :lol:

Vielleicht sollte ich mal einen Test auf meiner Workstation machen, die hat 32GB - aber das geht mein schmalen Internet (DSL16k) in die Knie. :)
cryptosteve
 
Beiträge: 9
Registriert: So Jul 14, 2013 6:48 am
Wohnort: Buchholz / Nordheide

Re: Einsteigerfragen zu YaCy

Beitragvon Vega » Mo Jul 15, 2013 10:15 pm

Dieses HOWTO gibt es noch nicht :D , aber Du kannst gern Deine Erfahrungen in einem verarbeiten.... Auch wenn es unter Umständen abschreckend sein wird - 4GB Ram sind nicht viel wenn der Index größer wird. Solr ist leider recht großzügig im benutzen von Ram.

Thomas

cryptosteve hat geschrieben:Naja, ich werde mir irgendwo nochmal ein HOWTO durchlesen, wie YaCy im Hintergrund arbeitet.
Derzeit stelle ich aber auch fest, das mein kleiner Heimserver mit gerade mal 4GB RAM doch schon arg knapp bemessen ist. Zudem ist die Festplatte deutlich zu laut. :lol:

Vielleicht sollte ich mal einen Test auf meiner Workstation machen, die hat 32GB - aber das geht mein schmalen Internet (DSL16k) in die Knie. :)
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Einsteigerfragen zu YaCy

Beitragvon cryptosteve » Di Jul 16, 2013 5:24 am

Danke für die Rückmeldung zum HOWTO ... Du hast mir vermutlich gerade eine ganze Menge Sucharbeit erspart.

Das mit dem 4GB habe ich schon gemerkt und finde ich besonders schade, da mein Homeserver mit 4GB bereits maximal ausgestattet ist (Atom D525). Da wird sich meine Hilfe zum Projekt wohl zunächst in übersichtlichen Grenzen halten. Schade eigentlich.
cryptosteve
 
Beiträge: 9
Registriert: So Jul 14, 2013 6:48 am
Wohnort: Buchholz / Nordheide

Re: Einsteigerfragen zu YaCy

Beitragvon Lotus » Di Jul 16, 2013 7:46 am

Hier ist ein wenig beschrieben, wie YaCy im Hintergrund arbeitet: http://yacy.net/de/Technik.html
Vielleicht reicht dir das schon?
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Einsteigerfragen zu YaCy

Beitragvon cryptosteve » Di Jul 16, 2013 8:04 am

Danke, das schaue ich mir mal an.

Momentan steht mein kleiner Heimserver aber leider ganz schön unter Dampf, so kann das nicht bleiben. Ich werde später mal versuchen, den Index kräftig auszudünnen. Ansonsten muss die YaCy-Instanz komplett umziehen.

Daher ist dieser Link möglicherweise nicht lange gültig: http://reed.crashmail.de:8090/Status.html
cryptosteve
 
Beiträge: 9
Registriert: So Jul 14, 2013 6:48 am
Wohnort: Buchholz / Nordheide

Re: Einsteigerfragen zu YaCy

Beitragvon Vega » Di Jul 16, 2013 3:19 pm

Hallo,

Du kannst die Last etwas runternehmen, also schau mal auf die Seite http://reed.crashmail.de:8090/RemoteCrawl_p.html - Akzeptiere Remote Crawl Anfragen sollte aus sein.
Dann geh mal auf http://reed.crashmail.de:8090/Performance_p.html - dort etwas nach unten, und bei Standard Profil benutzen: "prefer DHT und 10% der vorgegebenen Geschwindigkkeit".
Damit sollte es etwas ruhiger werden, allerdings wird Dein Peer früher oder später vollaufen, dann hilft nur Index löschen, ausdünnen. Ach ja, unter"Ressourcen Beobachter" auf http://reed.crashmail.de:8090/Performance_p.html kannst Du öbergrenfen einstellen für Speicher/Festplattennutzung.

Gruß,
Thomas

und nutze

cryptosteve hat geschrieben:Danke, das schaue ich mir mal an.

Momentan steht mein kleiner Heimserver aber leider ganz schön unter Dampf, so kann das nicht bleiben. Ich werde später mal versuchen, den Index kräftig auszudünnen. Ansonsten muss die YaCy-Instanz komplett umziehen.

Daher ist dieser Link möglicherweise nicht lange gültig: http://reed.crashmail.de:8090/Status.html
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste