Mit Yacy Rechner lahme Kiste - System Ressourcen weg

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Mit Yacy Rechner lahme Kiste - System Ressourcen weg

Beitragvon Drapper » Do Jun 05, 2014 2:37 pm

Grundsätzlich finde ich die Idee hinter Yacy gut, und habe auch zunächst enthusiastisch alles eingerichtet.
Doch leider läuft nun Yacy, aber für meine sonstigen normalen Gebrauch sind keine System Ressourcen mehr übrig.
Überhaupt habe ich das Gefühl nur noch störender Gast auf dem Rechner zu sein. Die Surfgeschwindigkeit ist nur noch mit
einem uralt Netbook zu vergleichen. :o Nach 3 Tagen war meine HDD derart fragmentiert dass Defrag 6 std. brauchen um das Chaos
zu entwirren. :o
Ach ja, der Service (win32) fliegt regelmäßig raus, was yacy aber nicht weiter hindert Daten zu schaufeln.
Tja, 800 Euro im Jahr Strom für einen Proliant Server zu zahlen, ist mir zu teuer, obwohl ich glaube dass richtig wäre für Yacy. :roll:

:ugeek:

Könnte man nur den Ressourcen Hunger von Yacy drosseln, dann ging dass ja so im Hintergrund auf einem Arbeitsrechner.
Drapper
 
Beiträge: 4
Registriert: Mi Jun 04, 2014 12:18 am

Re: Mit Yacy Rechner lahme Kiste - System Ressourcen weg

Beitragvon sixcooler » Do Jun 05, 2014 3:40 pm

Hallo Drapper,

schau mal unter http://localhost:8090/Crawler_p.html und http://localhost:8090/PerformanceQueues_p.html
Dort lassen sich die Crawl-Geschwindigkeit (ppm) und weiter delays zu den Prozessen einstellen.
Experimentiere ein wenig mit den Werten herum um ein Setting zu finden das die richtige Menge an Resourcen für Dich übrig lässt.

Zum Win32-Service kann ich mangels Erfahrung auf der Plattform leider nichts sagen.
Das YaCy zu heftiger fragmentierung führt sollte eigentlich nicht sein. Indexdateien werden immer am Stück geschrieben und sollten so auch nicht fragmentiert sein.

cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Mit Yacy Rechner lahme Kiste - System Ressourcen weg

Beitragvon Drapper » Fr Jun 06, 2014 9:53 pm

Hallo Sixcooler,
danke für den Tipp. Habe Experimentiert ein wenig mit den Werten und tatsächlich habe ich den Ressourcenhunger etwas drosseln können, auch wenn meine Internet Leitung nicht gerade schneller wird. (24Mb/sec Down 1,8Mb/sec Up)

Wenn man von gelegentlichen Bluescreen´s :lol: absieht läuft es jetzt ganz gut. Nur die Fragmentierung macht mir Kummer:

Code: Alles auswählen
Fragmente       Dateigröße      Am stärksten fragmentierte Dateien
849             60 MB           \Dokumente und Einstellungen\xpuser\Eigene Dateien\Eigene Musik\ARTPOP - Lady Gaga.mp3
446             40 MB           \Dokumente und Einstellungen\xpuser\YaCy\DATA\INDEX\freeworld\SEGMENTS\solr_47\collection1\data\index\_za.fdt
176             22 MB           \Dokumente und Einstellungen\xpuser\YaCy\DATA\INDEX\freeworld\SEGMENTS\solr_47\collection1\data\index\_za_Lucene41_0.tim
121             11 MB           \Dokumente und Einstellungen\xpuser\YaCy\DATA\INDEX\freeworld\SEGMENTS\solr_47\collection1\data\index\_yz.fdt
81              7 MB            \Dokumente und Einstellungen\xpuser\YaCy\DATA\INDEX\freeworld\SEGMENTS\solr_47\collection1\data\index\_zl.fdt
78              9 MB            \Dokumente und Einstellungen\xpuser\YaCy\DATA\INDEX\freeworld\SEGMENTS\solr_47\collection1\data\index\_za_Lucene41_0.pos
65              6 MB            \Dokumente und Einstellungen\xpuser\YaCy\DATA\INDEX\freeworld\SEGMENTS\solr_47\collection1\data\index\_100.fdt
64              1,024 KB        \System Volume Information\_restore{A44D02C2-E5B8-4EB7-A50D-39365452ABA9}\RP56\change.log.41
64              1,024 KB        \System Volume Information\_restore{A44D02C2-E5B8-4EB7-A50D-39365452ABA9}\RP56\change.log.43
63              7 MB            \Dokumente und Einstellungen\xpuser\YaCy\DATA\INDEX\freeworld\SEGMENTS\solr_47\collection1\data\index\_yz_Lucene41_0.tim
56              7 MB            \Dokumente und Einstellungen\xpuser\Lokale Einstellungen\Anwendungsdaten\Google\Chrome\User Data\WidevineCDM\1.4.4.600\_platform_specific\win_x86\widevinecdm.dll
51              808 KB          \System Volume Information\_restore{A44D02C2-E5B8-4EB7-A50D-39365452ABA9}\RP56\change.log
48              6 MB            \Dokumente und Einstellungen\xpuser\YaCy\DATA\INDEX\freeworld\SEGMENTS\solr_47\collection1\data\index\_za_Lucene41_0.doc
35              964 MB          \Dokumente und Einstellungen\xpuser\YaCy\DATA\INDEX\freeworld\SEGMENTS\default\text.index.20140606190122343.blob
34              4 MB            \Dokumente und Einstellungen\xpuser\YaCy\DATA\INDEX\freeworld\SEGMENTS\solr_47\collection1\data\index\_zl_Lucene41_0.tim
34              4 MB            \Dokumente und Einstellungen\xpuser\YaCy\DATA\INDEX\freeworld\SEGMENTS\solr_47\collection1\data\index\_100_Lucene41_0.tim
33              1,024 KB        \System Volume Information\_restore{A44D02C2-E5B8-4EB7-A50D-39365452ABA9}\RP56\change.log.40
31              489 KB          \System Volume Information\_restore{A44D02C2-E5B8-4EB7-A50D-39365452ABA9}\RP56\change.log.44
29              2 MB            \Dokumente und Einstellungen\xpuser\YaCy\DATA\INDEX\freeworld\SEGMENTS\solr_47\collection1\data\index\_zw.fdt
27              1 KB            \WINDOWS\system32\config\software.LOG
26              1 KB            \WINDOWS\system32\config\system.LOG
26              3 MB            \Dokumente und Einstellungen\xpuser\YaCy\DATA\INDEX\freeworld\SEGMENTS\solr_47\collection1\data\index\_zx.fdt
25              108 KB          \Dokumente und Einstellungen\xpuser\Lokale Einstellungen\Anwendungsdaten\Google\Chrome\User Data\Default\Cache
24              3 MB            \Dokumente und Einstellungen\xpuser\YaCy\DATA\INDEX\freeworld\SEGMENTS\solr_47\collection1\data\index\_yz_Lucene41_0.pos
24              3 MB            \Dokumente und Einstellungen\xpuser\YaCy\DATA\INDEX\freeworld\SEGMENTS\solr_47\collection1\data\index\_z3.fdt
21              1 MB            \Dokumente und Einstellungen\xpuser\YaCy\DATA\LOG\yacy06.log
21              1 MB            \Dokumente und Einstellungen\xpuser\YaCy\DATA\LOG\yacy012.log
21              1 MB            \Dokumente und Einstellungen\xpuser\YaCy\DATA\LOG\yacy04.log
21              1 MB            \Dokumente und Einstellungen\xpuser\YaCy\DATA\LOG\yacy013.log

Die letzte Defragmentierung war Vorgestern !

Nun habe ich Yacy auf meinem Linux Mint, aus den Paket-quellen installiert. Dass ist erstaunlich gut vorkonfiguriert, und es lief sofort ohne große Anpassung oder Gefrickel. Gerade die Ressourcen sind gut Konfiguriert eine den aktuellen *.deb Paket.
Mit Linux hatte ich bisher nur eine Bluesecreen... :lol:

Frage, kann man die vorhanden Daten im DATA Verzeichnis, irgendwie zusammenführen? Es wäre auch gut ein gemeinsames DATEN Verzeichnis für beide Betriebssysteme einzurichten.
Schätze ich muss dann nur einige Pfade anpassen im Yacy.ini

Das Kuriose ist, hab einen HP Proliant DL360 G4 2xDualcore Xeon 3,8Ghz, zu Spaß hier rumstehen.
hp-dl360-g4-front-rear-flying-386.jpg
hp-dl360-g4-front-rear-flying-386.jpg (36.06 KiB) 1396-mal betrachtet

Der wäre ja wie geschaffen dafür. Nur, nach meiner Rechnung würde mich das c.a. 600 Eu Strom im Jahr kosten - aua-huuu....

:geek:
Drapper
 
Beiträge: 4
Registriert: Mi Jun 04, 2014 12:18 am

Re: Mit Yacy Rechner lahme Kiste - System Ressourcen weg

Beitragvon sixcooler » Sa Jun 07, 2014 1:50 am

Hallo Drapper,

das die Solr-Dateien so sehr fragmentiert sind, wundert mich.
Es sollte aber auch nicht weiter wild sein, da diese alle Nase lang mit anderen zusammen zu neuen gemerged werden.

Ich habe es zwar nie probert, bin mir aber recht sicher das es irgendwo knallt wenn man irgendwie ein DATA Verzeichniss für mehr als einen Peer nutzn wurde.
Was aber geht ist den Index eines Peers in einem Anderen zu nutzen.
Oder aber einen externen Solr für mehr als einen Peer zu nutzen.
All das geht in http://localhost:8090/IndexFederated_p.html

cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Mit Yacy Rechner lahme Kiste - System Ressourcen weg

Beitragvon Drapper » Mi Jun 11, 2014 11:26 pm

Danke für die Tipps.

Habe es nun fertig gebracht den DL360 zu starten, Bild siehe oben, der gute Hp Proliant hört sich an, als säße ich im Hubschrauber mit Turbine im Leerlauf, und EON freut sich... :o (abheben kann man auch - virtuell)

Hab nach langem überlegen, mich entschlossen ihn als Debian Server (6.9) aufzusetzen, Squeeze war mir die beste Lösung.
Yacy ist unter 6.9 Debian prima ans laufen zu bringen. Habe mir Java 7 gegönnt.
Da ich ihn aber als LAMPP Webserver aufgesetzt habe, bin ich nun dabei mich mit Iptables &Co herumzuschlagen... :?
Auch die Hosts für den Apache 2 und so was. Eigentlich ist 2 Apachen ja doppelt gemoppelt.

Grüße Drapper
Drapper
 
Beiträge: 4
Registriert: Mi Jun 04, 2014 12:18 am


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste