Lade und Indexier Puffer (0 | 30 bzw. 82 | 80)

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Lade und Indexier Puffer (0 | 30 bzw. 82 | 80)

Beitragvon Anmibe » Do Dez 11, 2008 1:33 pm

Mal eine Verständnisfrage zu den Pufferwerten.
Was genau sagen die Puffewerte aus und wonach richten sich die Grenzwerte?
So wie ich das interpretiere handelt sich dabei um Angaben in tsd. Wörter. Aber wie kann dann mein Indexierpuffer auf eine Auslastung von 102% (82/80) steigen? Das wären dann immerhin 2000 Wörter über Maximum. Dies ist dann bei mir auch der Punkt an dem sich im Log nur noch eine Sache tut:
<MEMORY former GCs indicate to not be able to free enough memory (requested/available/average: 4096 / 1763 / -43 KB)>
Denkfehler meinerseits?
Anmibe
 
Beiträge: 48
Registriert: Mo Nov 24, 2008 12:44 pm
Wohnort: Berlin

Re: Lade und Indexier Puffer (0 | 30 bzw. 82 | 80)

Beitragvon Orbiter » Do Dez 11, 2008 1:54 pm

das sind keine tausend Wörter sondern Seiten (nicht tausend).
Daher dann auch nicht 2000 Wörter über Maximum, sondern 2 Seiten über Maximum. Das dies überschritten wird hat was mit Timing und Synchonisation der Queues zu tun. Ist aber nicht tragisch, da die Grenze 80 eh nur über den Daumen gepeilt ist. Die Queue ist nur da, damit der Indexer nicht leer läuft, während der Crawlen nicht schnell genug Seiten heran schafft.
Das ganze Queueing wollte ich auch mal überarbeiten, irgendwann mal.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Lade und Indexier Puffer (0 | 30 bzw. 82 | 80)

Beitragvon Anmibe » Do Dez 11, 2008 5:37 pm

Danke, war mein Denkfehler.
Anmibe
 
Beiträge: 48
Registriert: Mo Nov 24, 2008 12:44 pm
Wohnort: Berlin

Re: Lade und Indexier Puffer (0 | 30 bzw. 82 | 80)

Beitragvon Anmibe » Mo Dez 15, 2008 11:29 am

Orbiter hat geschrieben:da die Grenze 80 eh nur über den Daumen gepeilt ist.

Nur so als Nachtrag: in der SVN 5391 ist bei mir der Indexier Puffer auf 10.774 angewachsen.
Anmibe
 
Beiträge: 48
Registriert: Mo Nov 24, 2008 12:44 pm
Wohnort: Berlin

Re: Lade und Indexier Puffer (0 | 30 bzw. 82 | 80)

Beitragvon Orbiter » Mo Dez 15, 2008 12:06 pm

da hab ich nix dran gemacht, muss ein merkwürdiger Seiteneffekt sein??
Wo liest du das ab, auf der Status-Seite?
Hat das noch jemand?
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Lade und Indexier Puffer (0 | 30 bzw. 82 | 80)

Beitragvon Anmibe » Mo Dez 15, 2008 1:34 pm

Orbiter hat geschrieben:da hab ich nix dran gemacht, muss ein merkwürdiger Seiteneffekt sein??
Wo liest du das ab, auf der Status-Seite?
Hat das noch jemand?

Auf der Seite http://localhost:8080/Status.html im Kasten System Status. Übrigens liegt der Wert inzwischen bei 11.176. Mich interessiert der Wert nur insofern, als dass in den früheren Versionen ab >75 das YaCy-Interface nicht mehr ansprechbar war und auch surfen über Proxy nicht mehr möglich war. Gestern hatte ich einen neuen Peer aufgesetzt (siehe Beitrag -> STARTUP FATAL ERROR: -122) und über Nacht laufen gelassen. BIs heute morgen hat sich das dann so aufgeschaukelt, und YaCy ist immer noch ansprechbar und über Port 8080 bekommt der Browser noch was rein, wenn auch deutlich langsamer. Geändert hat sich also für mich definitv etwas (zum Besseren).
Anmibe
 
Beiträge: 48
Registriert: Mo Nov 24, 2008 12:44 pm
Wohnort: Berlin

Re: Lade und Indexier Puffer (0 | 30 bzw. 82 | 80)

Beitragvon Orbiter » Mo Dez 15, 2008 1:48 pm

der Wert darf aber nicht so hoch sein, das muss ich versuchen nachzustellen. Melde mich.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Lade und Indexier Puffer (0 | 30 bzw. 82 | 80)

Beitragvon Lilirasa » Mo Dez 15, 2008 3:13 pm

Orbiter hat geschrieben:Hat das noch jemand?

Hatte ich auch schon 2 oder 3 mal, aber bei früher svn. Kann aber leider keine näheren Angaben mehr machen, weil schon eine Weile her...
Userinterface war aber immer erreichbar und ein Neustart hat bis jetzt immer geholfen. :D

Grüsse
Andi
Lilirasa
 
Beiträge: 71
Registriert: So Sep 14, 2008 11:28 am

Re: Lade und Indexier Puffer (0 | 30 bzw. 82 | 80)

Beitragvon Anmibe » Mo Dez 15, 2008 4:16 pm

Lilirasa hat geschrieben:
Orbiter hat geschrieben:Userinterface war aber immer erreichbar und ein Neustart hat bis jetzt immer geholfen.

Das ist jetzt aber in sich unlogisch, wenn das Userinterface immer erreichbar war, hätte es keines Neustartes bedurft.
Abgesehen davon, im Grunde soll doch YaCy funktionieren wie die BOINC-Software, einmal anwerfen und nicht mehr darum kümmern. Inzwischen wird YaCy bei mir sehr langsam und der Wert liegt bei 11.351. Der Proxy ist inzwischen abgeschaltet. Ich warte mal ab bis gar nichts mehr geht.
Wenn es denn mal so weit ist, und viel mehr Leute als heute YaCy benutzen, werden sich die Jungs von der Vorratsdatenspeicherung (VDS) freuen.
Unterwegs zu neuen Seiten im Internet, die noch nie ein (zweiter) Mensch sah. Da werden enorme Mengen Datenmüll angehäuft!
Anmibe
 
Beiträge: 48
Registriert: Mo Nov 24, 2008 12:44 pm
Wohnort: Berlin

Re: Lade und Indexier Puffer (0 | 30 bzw. 82 | 80)

Beitragvon Lilirasa » Mo Dez 15, 2008 11:32 pm

Anmibe hat geschrieben:Das ist jetzt aber in sich unlogisch, wenn das Userinterface immer erreichbar war, hätte es keines Neustartes bedurft.


Naja, wer viel mit Windows arbeitet, für den ist ein Neustart ein Allheilmittel... :lol:

Nein, im Ernst. Ich fands einfach merkwürdig, dass der Puffer sich immer weiter aufbläht und der schnellste und einfachste Weg den Puffer abzubauen ist Yacy herrunterzufahren. Danach ging alles wieder wie gewohnt.
Wenn ich mich recht entsinne waren da möglicherweise auch noch etliche Out of Memory Fehler im Log, bin mir jetzt aber nicht wirklich sicher ob ich da nicht etwas durcheinander bringe...

Wie gesagt, ist schon eine Weile her, hat sich in kürzeren Abständen 2-3mal wiederholt und kam dann nie wieder (bis jetzt)...

Grüsse
Andi
Lilirasa
 
Beiträge: 71
Registriert: So Sep 14, 2008 11:28 am

Re: Lade und Indexier Puffer (0 | 30 bzw. 82 | 80)

Beitragvon dulcedo » Di Dez 16, 2008 6:18 am

Das gehört wohl eher zu den Bugs aber kanns noch nicht reproduzieren, betrifft die local und limit "to-crawl' puffer:

Wenn mir YaCy bei einem Crawl >10.000 Seiten wegen so einer indizier- oder loader-Klemme zu lahm wird starte ich gerne zwischendurch mal neu, normalerweise macht er dann genau an der Stelle weiter aber manchmal ist danach local und limit einfach leer.
Nicht tragisch, kann ja recrawlen, aber sollte wohl eigentlich nicht so sein, oder?
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste