Wortcache seit Tagen übervoll

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Wortcache seit Tagen übervoll

Beitragvon Gast » Mi Okt 08, 2008 7:47 am

;)
Hab Yacy vor einigen Jahren entdeckt, und da war das Ding sehr Buggy, aber schon da war die Community gut. Vor einigen Tagen, als etwa der cT Artikel rauskam (Welchen ich noch immer noch gelesen habe da Kollege mit der cT nach Spanien ist) habe ich wie aus einer Eingebeung wieder Lust auf Yacy bekommmen ...

Mein Problem ist nun, dass mein Yacy, dank der Verwendung als Proxy, genügend zu tun hat, aber leider füllt sich der "Wörtercache" unaufhörlich. Gestern habe ich dann diesen von 100k auf 200k erhöht, was zu einem sprunghaften Crawl/index Speed führte, aber peak'ig. Tja.. inzwischen habe ich den Cache auf 250'000 Worte erhöht, aber noch immer ist die Grafik von morgends auf 100% mit dem gefüllten Cache.

Bild

Auf einer anderen Kiste @home ist der WordCache aber i.o. dort dümpelt der zwischen 10k und 20k, also weiss ich dass das mit der 100% Last bei 250k nicht normal ist. :mrgreen:
Gast
 

Re: Wortcache seit Tagen übervoll

Beitragvon bluumi » Mi Okt 08, 2008 8:31 am

(obiger Beitrag war von mir)

Historisch habe ich Yacy erst auf einem Celeron 600 mit 256MB installiert(128MB Yacy), dann auf 512MB upgraded (300MB Yacy) aber die Kiste war noch zu lahm, desshalb alles auf einen Core2Duo verschoben 1.2GbRam für Yacy. Eigentlich dachte ich dass es dann ziemlich rasch auch diesen "Wörter im RAM-Cache" sinken würde. Kann es sein, dass irgendwas in der Kommunikation nicht stimmt? Remote Crawls kann ich bekommen und vergeben, daran sollte es nicht liegen.

Peername KSBA-YaCy

Nachdem ich nun 30 min das Crawlen ausgesetzt habe sank der von 265k auf 180k runter, ist das wirklich normal, dass man den so lange pausieren soll?
Wohl kaum, denn nach wenigen Minuten Crawlen war es dann wieder auf 250 -260k
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Wortcache seit Tagen übervoll

Beitragvon bluumi » Mi Okt 08, 2008 2:48 pm

Ok, nachdem ich
Netzwerkeinstellung/Peer2Peer/ aktiviert den automatischen, DHT-basierten Versand an andere Peers.
Von "während des Crawlings deaktiviert" auf "aktiviert" umgestellt habe ist der Wortcache nicht mehr eine absolut gerade Linie. Nun schwankt es ab und zu zwischen 250 und 265k :|
Dies zeigt mir nun wenigstens dass ab und zu mal etwas "abgeführt" wird.
Was müsste dabei eigentlich im LogFile für Zeilen auftauchen, wenn er mal massiv den Cache abbaut? :?:
Dateianhänge
wortcache.JPG
wortcache.JPG (13.21 KiB) 623-mal betrachtet
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Wortcache seit Tagen übervoll

Beitragvon Orbiter » Mi Okt 08, 2008 3:15 pm

nur so eine Idee:
bluumi hat geschrieben:habe ich Yacy erst auf einem Celeron 600 mit 256MB installiert(128MB Yacy), dann auf 512MB upgraded (300MB Yacy)

ich hab das Gefühl da ist zu wenig fürs OS übrig, und das macht dann Swapping. Der Cache Flush ist ja IO-intensiv, wenn das dann noch mit Swapping kollidiert bremst das ordentlich. Hier denke ich könnte es besser klappen wenn du YaCy weniger Speicher zuweist und dem OS mehr lässt, um Swapping zu vermeiden.
An alle Linux-Freaks: wie kann man sich anzeigen lassen, ob der Swapt und wieviel? Das könnte nützlich sein um diese These hier zu bestätigen.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Wortcache seit Tagen übervoll

Beitragvon PCA42 » Mi Okt 08, 2008 3:34 pm

Bei der Angabe von 1,2GB geh ich mal davon aus, dass 2 GB RAM in dem PC stecken. Da ist also noch "etwas" Luft.

Ich hab das bei mir anders gelöst: bei mir hab ich von Hand das Indexing auf eine kürzere Schleife als den Local Crawl bzw. den Remote Crawl gestellt. Auf diesem Weg kann der Indexer öfter Worte auf die Festplatte schreiben, als neue durch den Crawler nachkommen. Führt dazu, dass der Wort-Cache schneller geschrieben werden kann. Besser ist natürlich, wenn der erst garnicht auf der Festplatte landet, sondern gleich per DHT-Out verteilt wird. Wenn die Internet-Verbindung das hergibt, auch dort DHT Distribution die Verzögerungszeit reduzieren.

Ggf. kann man diese Abhängigkeiten / Verhältnisse ja auch in den Profilen berücksichtigen.

PS: @Orbiter: Befehl für Linux -> vmstat
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Wortcache seit Tagen übervoll

Beitragvon bluumi » Mi Okt 08, 2008 4:10 pm

Orbiter hat geschrieben:nur so eine Idee:
bluumi hat geschrieben:habe ich Yacy erst auf einem Celeron 600 mit 256MB installiert(128MB Yacy), dann auf 512MB upgraded (300MB Yacy)

ich hab das Gefühl da ist zu wenig fürs OS übrig, und das macht dann Swapping.

Ok, bei meinen nächsten Versuchen mit dem kleinen PC werde ich das berücksichtigen und bei 512MB besser nur noch 200-250MB? Yacy zuteilen. Hab diese alte "gurke" auch nur genommen, da sie so oder so 24h laufen muss um die Daten der MeteoStation auf's web zu uppen. ;)


PCA42 hat geschrieben: das Indexing auf eine kürzere Schleife als den Local Crawl bzw. den Remote Crawl gestellt.

;) Da hab ich dann wohl Glück. Indexing 1ms / Crawl 10ms (remote 10000ms). das ist es damit nicht.

PCA42 hat geschrieben:Wenn die Internet-Verbindung das hergibt, auch dort DHT Distribution die Verzögerungszeit reduzieren.

k.a. was die hergibt, auf dem Ettikett steht 16Mbit dl / 4Mbit up :geek:
Ich setzt DHT mal auf 200ms statt 2000ms :roll: Mal sehen was nun passiert.

[10 min later] Also bis jetzt :-D zeigt sich noch keine Wirkung :)
[1hour later] doch, es wirkt :) - zwar ist mein Crawler viel viel weniger aktiv, aber er hat nun in einer Stunde gut 90'000 Worte abgebaut ;)
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Wortcache seit Tagen übervoll

Beitragvon PCA42 » Mi Okt 08, 2008 6:18 pm

Schau mal Indexing und Crawl auf die tatsächlichen Zeiten. 1ms ist zwar eingestellt, der wird aber tatsächlich länger brauchen....
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Wortcache seit Tagen übervoll

Beitragvon bluumi » Mi Okt 08, 2008 9:00 pm

bluumi hat geschrieben:[1hour later] doch, es wirkt :) - zwar ist mein Crawler viel viel weniger aktiv, aber er hat nun in einer Stunde gut 90'000 Worte abgebaut ;)

Zu früh gefreut. Zeitgelich muss irgendwas anderes schief gegangen sein. Denn Indexen tut er noch, crawlen nur noch so 1PPM und drum steht der Wordcache nun bei 600 und sinkt weiter. :cry:
761.454 in der CrawlQueue und steigend, da er irgendwie hängt. ;) Er erzeugt nicht mal mehr Remote Crawl aufträge damit andere meine CrawlQueue abarbeiten :-D
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron