Mein "Geschenk" an die Community

Ereignisse, Vorschläge und Aktionen

Mein "Geschenk" an die Community

Beitragvon LA_FORGE » So Dez 12, 2010 10:54 pm

Hallo,

als ich vor etwas mehr als 2 Jahren auf YaCy aufmerksam wurde, wurde mir schnell klar, dass dieses Projekt zu den genialsten zählt, welche ich seit meiner Internet-Zeit (1996) bisher entdeckt habe. Deshalb habe ich fleißig gespart und einige PC-Komponenten zusammengestellt, welche von meinem Kumpel dann zusammengebaut wurden.

Es handelt sich um 2 x Xeon E5540 mit ingesamt 96 GB RAM. Ich habe den Server speziell für YaCy konzipiert (IT-Erfahrung seit 1992) und werde 95 % der Ressourcen dafür zur Verfügung stellen. "javastart_Xmx" werde ich immer dann höher setzen, wenn "java.lang.OutOfMemoryError" Errors kommen.

Das Board unterstützt bis zu 144 GB RAM, wer also noch spenden möchte kann sich jederzeit per PN an mich wenden :-) Mein Peer (Endeavour) erreicht ihr hier

Herzlichen Dank an Orbiter und das gesamte Programmierer-Team für die geniale Arbeit!!

Viele Grüße

Stefan
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon Orbiter » Mo Dez 13, 2010 12:18 am

hui, hallo la_forge. Das ist eine Menge RAM! Mal abgesehen von der grassen Kiste freut es mich aber wieder hier von dir zu hören!
Mit 96GB RAM ist das Ding aber höllisch gut ausgestattet, vielleicht um Größenordnungen zu gut.

Wäre es eigentlich schlecht in die Seed-Informationen die RAM-Ausstattung mit einzubauen? Das könnte Auswahlalgorithmen für solche Portale wie http://www.peer-search.net/ und http://yacyweb.de/peers.htm mit mehr Informationen ausstatten, die dann besser auswählen/informieren/funktionieren können.
Orbiter
 
Beiträge: 5782
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mo Dez 13, 2010 1:41 pm

Fände ich eine tolle Idee!! Bei der Gelegenheit hab ich auch noch ein feature request von einem Kumpel mit gesunden Augen:

Für die "Network.html" wo die Peers visualisiert dargestellt werden eine Art Drilldown-Menü (so wie bei der WatchWebStructure_p.htm auch) womit man die Aufbereitung der Darstellung nach verschiedenen Kriterien beeinflussen kann.

Viele Grüße

Stefan

PS. Apropos krasse Kiste: hier gibts noch ein paar Info's :-)
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon Vega » Fr Dez 17, 2010 12:28 pm

@ La_Forge - schöne Kiste :-), wie-viel Watt Strom zieht die so im Betrieb ? - ist mal interessant was der Betrieb so eines Servers über das Jahr gerechnet so kostet. Wie ist der Server ans Netz angebunden - und welche Platten Konfiguration/Raid verwendest Du ? Bin neugierig, da ich ja aus der Branche komme....


Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » So Dez 19, 2010 9:58 am

Ich habe die "Mittelklasse" an Prozessoren genommen (Xeon E) die brauchen nur 80 Watt. Inet-Verbindung hab ich 50 MBit down und 10 MBit up. Als Platten habe ich 2 x Fujitsu MBA3300RC im RAID0 über die Asus-PIKE Serial Attached SCSI Aufrüst-Steckkarte an das Board (Asus Z8PE-D18) angeschlossen. Ich reserviere mindestens 88 GB RAM von den 96 für YaCy. Wenn der Index so groß geworden ist, dass noch mehr RAM notwendig werden sollte (das Board kann bis zu 144 GB) dann bin ich wohl auf Spenden angewiesen, da ich jetzt erst mal pleite bin :-)

Den Kernel vom Debian Lenny habe ich selber kompiliert und über 60 % des Standard-Codes rausgeschmissen.
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon Vega » Mi Dez 22, 2010 2:44 pm

Ok, danke für die Infos :-) - da steckt sehr ordentliche Hardware dahinter, ist Interessant auch so eine große Kiste im YaCy-Pool zu heben - einfach weil keiner weis wie YaCY skaliert über die 4/8 GB Grenze hinaus - mehr haben die meisten von uns nicht in Ihren Rechnern.....
Das wird noch Interessante Rückschlüsse über das Speicherverhalten/die Speicherverwaltung von YaCY ermöglichen... Halte mal Kontakt zu Michael....
Persönlich glaube ich das Du den Speicher nicht ausreizen wirst, mir hat es regelmäßig (also bevor der Speicher alle wurde) den Index irgendwann mal zerlegt.
Da alle meine Peers (SuMa-EV) Metager feeden wächst Ihr jeweiliger Index nur sehr langsam, da Sie wenig zeit zum craweln/remote-craweln haben. Aber das hat den Vorteil das man sieht wie die Kisten bei 5000 Anfragen pro Stunde noch reagieren - Metager2 ist deutlich schneller geworden seitdem die YaCY-Peers da eingebunden sind.

Gruß,
Thomas

LA_FORGE hat geschrieben:Ich habe die "Mittelklasse" an Prozessoren genommen (Xeon E) die brauchen nur 80 Watt. Inet-Verbindung hab ich 50 MBit down und 10 MBit up. Als Platten habe ich 2 x Fujitsu MBA3300RC im RAID0 über die Asus-PIKE Serial Attached SCSI Aufrüst-Steckkarte an das Board (Asus Z8PE-D18) angeschlossen. Ich reserviere mindestens 88 GB RAM von den 96 für YaCy. Wenn der Index so groß geworden ist, dass noch mehr RAM notwendig werden sollte (das Board kann bis zu 144 GB) dann bin ich wohl auf Spenden angewiesen, da ich jetzt erst mal pleite bin :-)

Den Kernel vom Debian Lenny habe ich selber kompiliert und über 60 % des Standard-Codes rausgeschmissen.
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mi Dez 22, 2010 9:43 pm

Den Index hat es mir auch schon des öfteren zerlegt, ich hab's aber irgendwann in den Griff bekommen (habe noch den Vaisheshika Peer mit über 60.000.000 Links im Index, allerdings konnte ich da nicht weiter machen weil nicht genügend RAM :-)
Ich habe dann einige Zeit nix mehr gemacht (anderer Peer 'sokrates' auf dem Desktop-Rechner) weil immer die Crawls nach einiger Zeit terminated wurden, aber wie mir auffällt wurde das Problem mittlerweile auch behoben!! Geniale Arbeit vom ganzen Programmierer-Team!! Respekt!!!!!!!!
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Di Dez 28, 2010 7:14 pm

Aktuell habe ich mal einen Wikipedia-Crawl angeschmissen mit einer Indexierungstiefe von 3. In älteren Yacy-Versionen kam da immer Crawl Terminated nach ein paar Wochen. Er wurde also nicht 'successful' abgeschlossen. Irgendwas hat ihn immer aus dem Gleichgewicht gebracht.

In den neueren Yacy-Versionen war das Problem behoben worüber ich sehr happy war! Bin mal gespannt wie lange das dauert bis der Crawl abgeschlossen ist. Ob 96 GB RAM ausreichen um alle Wikipedia-Seiten zu indexieren? :-D
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon kilian » Fr Feb 25, 2011 5:39 pm

Wie hängt der am Internet? Steht der bei dir Zuhause? VDSL? Oder SDSL?
kilian
 
Beiträge: 79
Registriert: Mi Feb 23, 2011 11:34 am
Wohnort: Bayern

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Sa Feb 26, 2011 2:10 pm

Ja der steht bei mir zuhause mit VDSL
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon Copro » So Feb 27, 2011 12:47 am

Eine tolle Maschine und ein richtig tolles Geschenk für die freie Suchgemeinschaft. Das schreit direkt nach einem Thread über die Hardware auf der YaCy überall im Einsatz ist ...
Ich lese zum ersten mal von so einem Riesen Arbeitsspeicher in einer privaten Workstation - aber es gab ja auch schon kleinere und ungewöhnliche Einsatzgebiete wie z.B. Orbiters Nokia N900 mit IcedTea Java Runtime.
Könnte anderen Interessierten vielleicht Anregungen geben oder einfach nur eine informative Liste sein - so ala Supported Hardware ;-]
Copro
 
Beiträge: 207
Registriert: Do Dez 13, 2007 3:37 am

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Sa Mär 05, 2011 1:37 pm

Vielen Herzlichen Dank für das Feedback!!
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Sa Mär 05, 2011 1:44 pm

Ich würde gerne mal einen Crawl-Lasttest mit Yacy machen. Kann mir jemand ein Programm schreiben, was die

http://s3.amazonaws.com/alexa-static/top-1m.csv.zip

Top 1. Mio Websites in Yacy-gerechtes Format bringt (damit ich Crawl start from File machen kann) und immer in so 100 URLs pro File in einzelne Dateien auf der Platte abspeichert, womit ich dann immer Yacy füttern könnte? :-D
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon Lotus » Sa Mär 05, 2011 2:40 pm

LA_FORGE hat geschrieben:Ich würde gerne mal einen Crawl-Lasttest mit Yacy machen. Kann mir jemand ein Programm schreiben, was die
http://s3.amazonaws.com/alexa-static/top-1m.csv.zip

Bittesehr: http://www.alice-dsl.net/yacyweb/top-1m.csv-20110305.7z
Einfach in der Tabellenkalkulation geöffnet, erste Spalte gelöscht und neu gespeichert.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Sa Mär 05, 2011 7:51 pm

Wow super vielen Dank!!
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » So Apr 03, 2011 8:47 pm

So, habe jetzt YaCy mal eine 450 GB Seagate Cheetah mit 15.000 rpm und 3,3 ms Zugriffszeit spendiert, da kommt bald noch eine mit dazu und dann mache ich ein RAID0. Aber der Performancegewinn bei lokalem Suchen ist jetzt schon enorm :-)
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » So Apr 10, 2011 4:09 pm

Memory Usage
free: 22.33 GB
total: 36.58 GB
max: 33.33 GB


:-)))) krank
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon Low012 » Mo Apr 11, 2011 7:36 am

Cool! Dein Index hat ja auch schon eine ziemlich ansehnliche Größe erreicht!
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mo Apr 11, 2011 6:00 pm

Vielen Dank :-) Ja, das beim alten 'endeavour' lief irgendwie nicht so gut, dann habe ich meinen vaisheshika, den ich noch als tar-file irgendwo rumliegen hatte wiederbelebt (den hatte ich damals noch mit den 0.60er irgendwas Versionen angefangen und immer wieder geupdated), er hatte schon 60 Mio. Links im Index und der wird halt jetzt fleißig weiter gefüttert, nachdem ich ihn in 'endeavour' unbenannt habe :-)
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » So Apr 17, 2011 9:14 am

hm wie geil ich hatte ihm 33 GB RAM max. zugewiesen und seit gestern Abend sind fast nur noch etwas mehr als 1 GB RAM frei und ich wollte ihm schon nochmal 10 GB mehr zuweisen aber jetzt steht da wieder 23 GB free sind. Wie macht YaCy das, das plötzlich wieder so viel zur Verfügung stehen? Kann mir das jemand erklären? :-) Ich würde sagen YaCy skaliert einfach mega sau gut :-)) Das würde ich mir bei meinem Nokia N97 auch wünschen, da kommt nämlich dauernd Systemfehler & Speicher voll usw.

Bzw. eine komplette Erklärung was YaCy im RAM ablegt & wie. Das könnte man dann ja im Wiki speichern, dann hat jeder etwas davon.
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon Lotus » Mo Apr 18, 2011 3:42 pm

Also ganz grob: Zunächst einmal verwaltet Java den Speicher der zugewiesen wurde. Erst wenn der zugewiesene Speicher langsam voll wird, besteht überhaupt die Notwendigkeit aufzuräumen (Gabage Collection GC). Das wird dann auch durch Java gemacht indem nicht mehr genutzte Objekte entfernt werden. YaCy erkennt weiterhin anhand der Größe der Tabellen, wie viel Speicher sie benötigen. Anhand des an Java zugewiesenen Speichers wird dann entschieden wie viel davon als Kopie im RAM gehalten wird oder ob nur ein kleiner Index im Speicher auf die Festplatte verweist. Beides kann also zu diesen harten Reduzierungen im Speicherverbrauch führen, wobei Java immer einen GC ausführen muss damit wieder Speicher frei wird. Am Limit beschäftigt sich Java dann nur noch damit den Speicher wieder frei zu bekommen und die Anwendung reagiert nicht mehr (in angemessener Zeit).
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mo Apr 18, 2011 6:02 pm

Vielen Dank!! Toll erklärt auch für Nicht-Experten der Materie :-)
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mi Apr 20, 2011 8:31 pm

Code: Alles auswählen
stefan@endeavour:/mnt/450gb/yacy$ ps aux | grep java
stefan    2430  133 43.1 79275404 42788468 pts/2 Sl 20:52  49:05 /usr/bin/java -Xms23040m -Xmx76800m

hehehehehehehe :-))
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon Lotus » Do Apr 21, 2011 2:33 pm

Das sieht ja fast nach 1. April aus.
Ich denke, dass das irgendwann an die technischen Grenzen der Realisierbarkeit stoßen wird (Menge der Daten, Datentypen) und sich dann zeigt, ob YaCy überall so vorausschauend programmiert ist.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Do Apr 21, 2011 7:20 pm

:-))))
Ich bin auch sehr gespannt wann "Schluss" ist. Aber ich glaube vorher wird mir der RAM ausgehen. Das Board kann bis 144 GB, ich denk mal zu Weihnachten oder so werd ich nochmal von nem Kumpel 48 GB nachstecken lassen :-))))
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon kilian » Fr Apr 22, 2011 9:01 am

Mich würd mal der Stromverbrauch von dem Ungetüm interessieren. Schluckt der viel?
kilian
 
Beiträge: 79
Registriert: Mi Feb 23, 2011 11:34 am
Wohnort: Bayern

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Fr Apr 22, 2011 10:21 am

Ich hab die "Mittelklasse" am Stromverbrauch genommen,

Xeon W = 130 Watt
Xeon X = 95 Watt
Xeon E = 80 Watt
Xeon L = 60 Watt

Ich hab die "untere Mittelklasse" genommen, 2 x Xeon E hat mein Kumpel da verbaut, also 160 Watt + die ganzen Platten denke 300 Watt zieht er insgesamt schon. Er hat fast ne Stunde gebraucht um die ganzen RAM Riegel zu stecken, weil die in ner bestimmten Reihenfolge gesteckt werden müssen, dafür gibt es extra eine Tabelle im Mainboard-Handbuch :-D

Mehr Info gibt's hier

http://sokrates.homeunix.net/phpsysinfo/index.php?disp=dynamic
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Sa Apr 23, 2011 9:32 am

Lotus hat geschrieben:Das sieht ja fast nach 1. April aus.
Ich denke, dass das irgendwann an die technischen Grenzen der Realisierbarkeit stoßen wird (Menge der Daten, Datentypen) und sich dann zeigt, ob YaCy überall so vorausschauend programmiert ist.


Das denke ich auch. Ich würde schon gern bis an die Grenzen gehen, wenn ich wieder Geld habe werde ich auch nochmal 48 GB RAM dazu kaufen. Zum Thema Lasttest: Ich kann HTML-Files mit 10.000 Links zum Crawlen einfügen, das verkraftet YaCy sehr gut. Was mich nur wundert ist, dass der fast 10 Minuten mit über 1000 PPM crawlt, aber dann die Geschwindigkeit rapide runter geht, obwohl er noch 16 GB RAM frei hat. An der Indexierungstiefe kann es auch nicht liegen, die hab ich mal auf 6 gesetzt :-)

Aber wenn ich einen Crawl direkt starte (nicht von einer HTML-Datei) ebenfalls mit hoher Linktiefe, dann verhält sich das genauso wie oben beschrieben. Woran kann das liegen? Kann man da evtl. in den advanced Settings noch ein Bißchen tunen? "Crawler Pool" unter "Thread Pool Configuration" hab ich schon höher gesetzt.
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mo Apr 25, 2011 10:47 am

Mir kommt es so vor, als ob die Crawls einfach nach einer Zeit "einschlafen". Was meine Vermutung bestätigt: Ich habe bisher schon 4 x URL-Listen mit jeweils 10.000 URLs in den Crawler geladen. Jetzt habe ich mal 3/4 im Crawl Profile Editor gekillt und plötzlich rennt er wieder sehr schnell.
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Di Mai 24, 2011 7:41 pm

Code: Alles auswählen
endeavour:/var/log# iostat
Linux 2.6.32-custom (endeavour)         05/24/2011      _x86_64_        (16 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.87    0.00   21.40    4.26    0.00   73.47

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               7.71        56.68       347.69   15064755   92411888
sdb               0.00         0.01         0.00       1660          0
sdc             835.89      6639.52      7922.12 1764683223 2105576798
sdd              11.84      1514.12        93.25  402430608   24783248


sdc ist das RAID0 mit Yacy :-D
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mo Mai 30, 2011 7:32 pm

Memory Usage
free: 37.29 GB
total: 63.14 GB
max: 66.67 GB

Heute Mittag warens sogar über 45 GB RAM free, ich denke da geht noch einiges (Größe des Index) jetzt knacken wir erst mal die 100 Mio.-Marke und mit 88 GB RAM die ich für Yacy reservieren werde sollte 200 Mio schon drin sein :-P
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Do Jun 02, 2011 1:56 pm

Code: Alles auswählen
stefan@endeavour:/mnt/826gb/yacy$ iostat -m
Linux 2.6.32-custom (endeavour)    06/02/2011    _x86_64_   (16 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1.73    0.00   22.69    1.27    0.00   74.31

Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
sda               9.34         0.05         0.20      48858     203691
sdb               0.30         0.00         0.00        344       2241
sdc             222.58         1.14         1.28    1166541    1305156
sdd               6.37         0.28         0.05     289773      47437


Hier nochmal in einer etwas besser lesbareren Form :-)
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Do Jun 02, 2011 2:08 pm

Das ist doch relativ repräsentativ (Der Wert Transfers per Second/tps), oder? sdc is die Platte mit yacy und der rödelt doch noch ganz fleißig momentan.

(Weil er beim Starten von Yacy hängt und nix mehr im LOG steht)
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon Lotus » Do Jun 02, 2011 7:26 pm

200 tps ist ungefähr das, was normale Festplatten leisten können. Dass da nicht mehr Prozente für iowait gelistet sind liegt wahrscheinlich daran, dass da gute Hardware verbaut ist. Umso beeindruckender, weil iostat ohne Parameter den Durchschnitt seit dem Systemstart bildet.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Fr Jun 03, 2011 8:32 pm

Wow vielen Dank!!
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Do Jul 14, 2011 8:28 pm

Code: Alles auswählen
Memory Usage
    free: 37.31 GB
    total: 63.5 GB
    max: 66.67 GB


Genial und das bei einer Indexgröße mit über 107 Mio. Links, da geht noch einiges denke ich :D
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » So Jul 17, 2011 10:40 am

Memory Usage
free: 54.04 GB
total: 68.02 GB
max: 66.67 GB


buh :P
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon Low012 » Mo Jul 18, 2011 12:09 pm

Cool! Ist das eine Folge von Orbiters Änderungen in den letzten Tagen?
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Mein "Geschenk" an die Community

Beitragvon PCA42 » Mo Jul 18, 2011 4:23 pm

Auf meinem Peer konnte ich auch gut eine Reduzierung des benötigten Speichers beobachten. Die Änderungen der letzten Tage haben da Wunder bewirkt.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mi Jul 20, 2011 8:37 pm

Genial was ihr da berichtet. Habe leider noch nicht auf eine der neueren SVNs geupdated (da wo die Änderung von Orbiter mit drin ist), weil mein Peer schon seit über 10 Tagen mit der SVN 7834 super läuft (Crawler Traffic 20 GB). Werde das Update aber auf jeden Fall bald nachholen :-)
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Fr Jul 22, 2011 7:58 pm

Code: Alles auswählen
Memory Usage
    free: 3.11 GB
    total: 63.36 GB
    max: 66.67 GB
Traffic [Reset]
    Proxy: 1.83 MB
    Crawler: 28.42 GB


Soo, ich werde nach fast 30 GB Crawler-Traffic mal den Peer runterfahren und ein Update auf die SVN 7852 wagen :-)
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Sa Jul 23, 2011 10:35 am

Code: Alles auswählen
W 2011/07/23 10:41:54 HeapReader BLOB text.index.20110629055432677.blob: skiped not wellformed key  at seek pos 21535117044
W 2011/07/23 10:41:54 HeapReader BLOB text.index.20110629055432677.blob: skiped not wellformed key  at seek pos 22716619841
W 2011/07/23 10:41:54 HeapReader BLOB text.index.20110629055432677.blob: skiped not wellformed key  at seek pos 25976385416
W 2011/07/23 10:41:54 HeapReader BLOB text.index.20110629055432677.blob: skiped not wellformed key  at seek pos 27796331772


hm.. repariert der das später irgendwann automatisch oder wird das in Zukunft einfach übersprungen?
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon sixcooler » Sa Jul 23, 2011 12:13 pm

Sowas hatte ich bei mir auch beobachtet.
Ich denke das ist ein Effekt aus den Änderungen von 7842.
sixcooler
 
Beiträge: 486
Registriert: Do Aug 14, 2008 5:22 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Sa Jul 23, 2011 8:16 pm

Danke. Das ist aber nix kritisches oder? Nicht dass es uns den Index komplett zerlegt :-)
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon sixcooler » Mo Jul 25, 2011 2:13 am

Nein ich denke nicht das es etwas kritisches ist :-)
Nur 'Fehlen' dir nun ein paar RWIs aus den betreffenden Blobs.
Diese Meldung wirst Du immer beim Start wieder haben - bis die Blobs in andere gemerged / neu geschrieben wurden.

cu, sixcooler.
sixcooler
 
Beiträge: 486
Registriert: Do Aug 14, 2008 5:22 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Di Okt 04, 2011 8:25 pm

Memory Usage
free: 10.44 GB
total: 90.44 GB
max: 90.44 GB


Soo, seit heute läuft die Kiste mit 144 GB RAM :D

Yacy habe ich xmx96g zugewiesen:

Code: Alles auswählen
stefan@endeavour:/$ ps aux | grep java
stefan    9971 18.9 66.6 102918360 99215924 pts/1 S<l 20:03  16:26 /usr/bin/java -Xms23g -Xmx96g -server -Xss256k -XX:MaxPermSize=256m -XX:ReservedCodeCacheSize=1024m -XX:-UseGCOverheadLimit -XX:+UseAdaptiveSizePolicy -Djava.net.preferIPv4Stack=true -Djava.awt.headless=true -Dfile.encoding=UTF-8 -classpath .:htroot:lib/J7Zip-modified.jar:lib/activation.jar:lib/apache-mime4j-0.6.jar:lib/apache-solr-solrj-3.4.0.jar:lib/bcmail-jdk15-145.jar:lib/bcprov-jdk15-145.jar:lib/bzip2.jar:lib/commons-codec-1.4.jar:lib/commons-fileupload-1.2.2.jar:lib/commons-httpclient-3.1.jar:lib/commons-io-2.0.1.jar:lib/commons-jxpath-1.3.jar:lib/commons-logging-1.1.1.jar:lib/fontbox-1.6.0.jar:lib/geronimo-stax-api_1.0_spec-1.0.1.jar:lib/httpclient-4.1.2.jar:lib/httpcore-4.1.3.jar:lib/httpmime-4.1.2.jar:lib/icu4j-core.jar:lib/jakarta-oro-2.0.8.jar:lib/jcifs-1.3.15.jar:lib/jcl-over-slf4j-1.6.1.jar:lib/jempbox-1.6.0.jar:lib/jsch-0.1.42.jar:lib/json-simple-1.1.jar:lib/log4j-1.2.16.jar:lib/metadata-extractor-2.4.0-beta-1.jar:lib/mysql-connector-java-5.1.12-bin.jar:lib/pdfbox-1.6.0.jar:lib/poi-3.6-20091214.jar:lib/poi-scratchpad-3.6-20091214.jar:lib/servlet-api.jar:lib/slf4j-api-1.6.1.jar:lib/slf4j-jdk14-1.6.1.jar:lib/webcat-0.1-swf.jar:lib/wstx-asl-3.2.7.jar:lib/xercesImpl.jar:lib/xml-apis.jar:lib/yacycore.jar: net.yacy.yacy


Wollen mal schauen ob wir Index-technisch über die 400 Mio. kommen oder ob vorher schluss ist :-)
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » So Okt 16, 2011 8:03 am

Code: Alles auswählen
System Status

Process
    0.99/7986
    Uptime: 11 days 13:02
System Resources
    Processors: 16
Protection
    password-protected [Configure]
Address
    Host: 10.130.201.7:9090
    Public Address: http://sokrates.homeunix.net:9090
    YaCy Address: http://endeavour.yacy
Remote Proxy
    not used
Auto-popup on start-up
    Enabled [Disable]
Tray-Icon
    Experimental
Memory Usage
    free: 13.94 GB
    total: 90.44 GB
    max: 90.44 GB
Traffic [Reset]
    Proxy: 0 Bytes
    Crawler: 86.7 GB


Yeah über 86 GB Crawler-Traffic :D
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mo Okt 17, 2011 5:18 pm

Hmm komisch:

Heute steht da auf einmal

Code: Alles auswählen
System Status
Process
0.99/7986
Uptime: 12 days 22:14
System Resources
Processors: 16
Protection
password-protected [Configure]
Address
Host: 10.130.201.7:9090
Public Address: http://sokrates.homeunix.net:9090
YaCy Address: http://endeavour.yacy
Remote Proxy
not used
Auto-popup on start-up
Enabled [Disable]
Tray-Icon
Experimental
Memory Usage
free: 6.82 GB
total: 76.6 GB
max: 85.33 GB
Traffic [Reset]
Proxy: 0 Bytes
Crawler: 111.41 GB


Warum plötzlich max: 85 GB anstatt 90 GB wie gestern? Ich habe den Peer in der Zwischenzeit nicht neugestartet. Habe gedacht es wäre ein statischer Wert der beim Start aus der Config (javastart_Xmx=Xmx96g hab ich bei mir eingestellt) ausgelesen wird.

Bei der Peer-IP die unter "System Status" steht, ist auch ein Fehler drin, YaCy läuft auf 10.130.201.8, nicht auf 10.130.201.7, diese IP ist garnicht vergeben in meinem LAN. Habt ihr einen Random Number Generator mit eingebaut? :D
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon sixcooler » Mo Okt 17, 2011 5:55 pm

Hallo LA_FORGE,

das sich der maximal Speicher über die Laufzeit ändert ist vollkommen normal.
Je nach dem wie der Xms-Wert ist, kann z.B. auch Speicher der nicht so dringend benötigt wird an das Betriebsystem zurück freigegeben werden.
Auch wenn der Xms-Wert gleich dem des Xmx ist, sind noch Schwankungen möglich. Warum genau weiss ich auch nicht, vermute aber das sich die VM diesen für interne Aufgaben 'krallt'.
Diese Schwankungen sind halt schon mal ein paar % des gesamten Heap-Speichers - und somit bei Dir auch gleich einige GB.

Was die IP angeht glaube ich mich nur zu erinnern das im groben versucht wird, alle dem System zur verfügung stehenden IPs zu nutzen.
Näheres kann evtl. noch jemand anders hier beisteuern.

cu, sixcooler.
sixcooler
 
Beiträge: 486
Registriert: Do Aug 14, 2008 5:22 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Di Okt 18, 2011 12:27 pm

Achso. Jetzt habe ich es verstanden. Heute ist es auch wieder auf 95 GB hoch :-)

Vielen Dank!!

Code: Alles auswählen
Memory Usage
free: 4.84 GB
total: 95.75 GB
max: 95.75 GB
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Nächste

Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast