öffentliches YaCy Suchportal (doch noch?)

Ereignisse, Vorschläge und Aktionen

öffentliches YaCy Suchportal (doch noch?)

Beitragvon Orbiter » Sa Sep 10, 2011 3:09 pm

wie ihr wisst habe ich mich immer gegen ein 'offizielles' YaCy Suchportal ausgedrückt und das auch auf der YaCy Homepage erklärt:
http://yacy.net/de/Suchportal.html hat geschrieben:Wo ist das YaCy Suchportal?

Es gibt kein exponiertes YaCy Suchportal! Bei YaCy geht es um die Errichtung einer verteilten Suchtechnik ohne Zentrale und wenn hier ein Suchportal wäre, dann würde dies die ganze Idee ruinieren!

Ein portal-ähnlicher Zugang zum YaCy-Suchnetz 'freeworld' (default-Suchnetz in YaCy für das WWW) sollte zumindest den dezentralen Charakter der eingesetzten Suchtechnik wiedergeben.

Immer wieder wurde ich aber auch bei Vorträgen nach einem 'Demo-Portal' gefragt und meine Antwort war immer so wie auf http://yacy.net/de/Suchportal.html beschrieben. Nachdem aber nun peer-search.net ausgefallen ist und ich auch 'intern' ein wenig gedrängt wurde nochmal darüber nachzudenken hab ich mir was ausgedacht, das den dezentralen Charakter nicht verbiegt, verändert oder sogar verrät: ein Suchportal dass zwar ein eindeutiger Zugangspunkt ist, aber dort ausschliesslich auf Peers von Freeworld-Peers verweist. Da dieses Portal in gewisser Weise 'exponiert' wäre, müsste es recht stabil sein. Die Lösung wäre etwas wie ein Load-Balancer, der aber Sessions verwalten kann und Eigenschaften der YaCy Websuche beherzigt. Ich hab dann mal einen Load Balancer geschrieben (basierend auf jetty) und online gestellt:

http://search.yacy.net/

Ja was für Peers werden nun dort angezapft? und wie? - zur Zeit ist die Liste der Peers hardcoded (das ist jetzt nur mal ein test und soll besser werden). So funktioniert das:
- es kommt ein http-Request auf search.yacy.net an:
- statische Seiten werden von jetty ausgeliefert
- load-balanced Seiten (alle servlets) werden in 100ms-Schritten an Peers in einer geordneten Liste ausgesendet
- sobald einer der angefragten Peers antwortet, wird die Seite durch den Load Balancer angezeigt
- für die IP des anfragenden Clients ist der erste Peer alsdann ein priorisierter Peer (damit Folgeseiten der Suche besser angezeigt werden)
- die Antwortzeit aller Peers führt zu einer neu-Sortierung der Peer Liste in der Anfragereihenfolge
- Peers die gar nicht anworten kommen in eine Fail-Liste und stehen danach 'hinten an' beim Load Balancer

Den Status des Load Balancers kann man in http://search.yacy.net/status.html ansehen. Dort sieht man ganz klar welche Peers eigentlich angefragt wurden und welcher Peer für den Requester der priorisierte Peer ist. Aufgrund der galaktisch guten Performance ist das fast immer PCAs super-Peer http://yacy-suche.de/

Kommerz: "eiei, wenn die Seite populär werden sollte, dann kann es ja nicht lange dauern bis da Werbung drauf ist, oder?" fragen sich jetzt einige möglicherweise. Naja, es ist ja so: wenn dort ein Suchdienst ist, ist es dann abgesehen vom Coding der Verdienst des Peer-Betreibers. Der darf dann da auch Werbung drauf machen. Das geht auch ganz einfach: man kann in YaCy Suchergebnisseiten eine About-Box darstellen, dazu gibts die Properties "about.headline" und "about.body". Was man da rein schreibt wird auf der Ergebnisseite in der Randspalte angezeigt und da könnte auch Werbung drin sein. Wenn das dann was bringt, bringt es unmittelbar dem Peer-Betreiber was. Dann ist da auch noch die Frage welche Peers da auf der Seite eingebunden werden: zunächst kann ich nur Peers mit statischer IP oder Hostnamen einbauen, das soll aber so weit ausgebaut werden dass man in seinem Peer einfach nur ein Flag 'show me on portal' an macht und dann kommt es da an.

Rewriting: damit alle Peers auf dem Portal gleich erscheinen gibts ein wenig re-writing der html-Seiten um gleiche css-styles zu haben und um die Menüs im Header herauszumachen. Ebenso wird der Peer-namen aus dem Titel entfernt, er wird aber im Footer der Suchergebnisseite wieder genannt damit man sieht dass die Antworten tatsächlich von dezentral laufenden und privat betriebenen Peers kommen.

Bis es nun also eine Klick-Option im Peer gibt könnt ihr hier euren Peer nennen der eine statische IP hat, und ich mache den dann in die bislang noch statische Liste mit rein.
Orbiter
 
Beiträge: 5762
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon ribbon » Sa Sep 17, 2011 8:53 am

ich finde das sollte über metager laufen
dort mit einen string, dass nur yacy nodes abgefragt werden:


http://mg3.rrzn.uni-hannover.de/meta/cg ... =3&yacy=on
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Vega » Sa Sep 17, 2011 9:37 pm

Das Portal für YaCy ist wichtig, weil wir quasi mit eigener Technik einen Loadbalancer mit Live-Kontrolle des Backends haben wollen, es wird der Tag kommen wo wir oder jemand der YaCy verwendet diese Funktionalität benötigt....daher ist das ok, außerdem bekommen wir den Server dazu gesponsert, dazu später mehr.

Gruß,
Thomas
Vega
 
Beiträge: 823
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Orbiter » Mi Nov 02, 2011 1:11 am

Das Portal ist jetzt testweise am laufen unter http://search.yacy.net
Die Erklärung dazu, wie das funktioniert steht auf http://yacy.net/de/Suchportal.html
Orbiter
 
Beiträge: 5762
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon LA_FORGE » Mo Nov 28, 2011 7:05 pm

Orbiter hat geschrieben:Den Status des Load Balancers kann man in http://search.yacy.net/status.html ansehen. Dort sieht man ganz klar welche Peers eigentlich angefragt wurden und welcher Peer für den Requester der priorisierte Peer ist.


Code: Alles auswählen
Proxy Error

The proxy server received an invalid response from an upstream server.
The proxy server could not handle the request GET /status.html.

Reason: Error reading from remote server


SKANDAL :-)
LA_FORGE
 
Beiträge: 533
Registriert: Sa Okt 11, 2008 5:24 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon sixcooler » Mo Nov 28, 2011 7:24 pm

Hallo,

das ist ja der pure Hammer was hier heute vom Balancer an Anfragen ankommt - mein Peer glüht förmlich!

Ich glaube übrigens das irgendwas nicht mit der QPH-Anzeige stimmt: in /AccessTracker_p.html?page=2 scrolle ich ewig nur für die Anfragen einer Minute - wobei angeblich 2-stellige QPH anliegen... :-)

cu, sixcooler.
sixcooler
 
Beiträge: 476
Registriert: Do Aug 14, 2008 5:22 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon PCA42 » Mo Nov 28, 2011 7:37 pm

Ja, mein Peer hat es auf diese Weise erlegt. Ich hab mal etwas mehr Speicher zugewiesen und den http-Pool aufgebohrt. Mal sehen, wie lange der jetzt durchhält.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Orbiter » Mo Nov 28, 2011 9:08 pm

wir brauchen offenbar für diese vielen Suchanfragen mehr Leute die ihren Peer als Portal zur Verfügung stellen. Ich schreibe das mal auf search.yacy.net drauf und bitte Leute hier ihre Adressen reinzuschreiben. Mal gucken ob das funktioniert.
Orbiter
 
Beiträge: 5762
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Orbiter » Di Nov 29, 2011 1:09 am

english-speaking YaCy users: don't hesitate because this is a german-speaking forum, just post your peer for the portal here!
Orbiter
 
Beiträge: 5762
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon dauni » Di Nov 29, 2011 2:30 am

Wenns denn geht und hilft: dauni.mine.nu:8090

Muss der Peer noch irgendwie besonders konfiguriert werden?
dauni
 
Beiträge: 2
Registriert: Di Nov 29, 2011 2:24 am

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Orbiter » Di Nov 29, 2011 3:34 am

dauni hat geschrieben:Wenns denn geht und hilft: dauni.mine.nu:8090

super! ist drin! ist aber zur Zeit nicht erreichbar, guck mal was da ist.

dauni hat geschrieben:Muss der Peer noch irgendwie besonders konfiguriert werden?

die Suchattribute werden vom Load Balancer gesteuert aber den peer ein bisschen 'pimpen' hilft:
- keine Crawls laufen lassen
- großzügig Speicher geben
Orbiter
 
Beiträge: 5762
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon flami » Di Nov 29, 2011 10:06 am

Halo, ja bin ich neu hier, und habe auch gleich yacy in ne vm gepackt. gemerkt ,dass java ziemlichen hunger nach virtual memory hat ( vm hat jetzt 4G virtual memory ) . Hab wären der installation mit dem debian packet 1500 mb speicher für die indexe frei gehalten. Das ganze läuft hinter meinem reverse proxy auf : http://yacy.flami.net , viel spas beim drauf einschlagen.

Sonst hab ich nicht die geringste Ahnung von dieser Sache, ich versuch mal rauszufinden wie ich den admin zugriff auf localhost einschränken kann ( da stand was wärend der installation aaaabbbeerrr das hab ich nicht ganz verstanden wies scheint ... kein password => nur localhost ?)
Zuletzt geändert von flami am Di Nov 29, 2011 1:19 pm, insgesamt 1-mal geändert.
flami
 
Beiträge: 19
Registriert: Di Nov 29, 2011 9:57 am

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Vega » Di Nov 29, 2011 10:37 am

Aktuell sind es fast 1000 Peers im Netzwerk, damit ist mein Peer schon mit DHT fast ausgelastet, also was hilft:

- viel Speicher (so 2GB)
- viele CPU-Kerne
- auf der Seite "Leistung" - "Performance" http://deinPeer/Performance_p.html - unter "Standard Profil benutzen" "prefer DHT" einstellen und die Geschwindigkeit auf 10% stellen... damit ist mein Peer wieder erreichbar...
- ändern der Garbarge-Collection Einstellungen - siehe http://www.yacy-websuche.de/wiki/index.php/Garbage_Collection_Einstellungen_%C3%A4ndern und http://forum.yacy-websuche.de/viewtopic.php?f=6&t=3168&p=23045&hilit=Collection#p23045
- auf der Seite http://deinpeer/PerformanceMemory_p.html das Häckchen bei "use Standard Memory Strategy" entfernen - danach sollte sich die Anzeige ändern in "use Standard Memory Strategy (current: Generation Memory Strategy)"

Mit diesen Settings lebt mein Peer daheim noch, während mir die beiden SuMa-Ev Rootserver gerade wieder weggeflogen sind :-(.

Gruß,
Thomas
Vega
 
Beiträge: 823
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon lil_eddie » Di Nov 29, 2011 1:14 pm

(I am English, server is based in Germany)

http://pixelhero.co.uk:8090/
lil_eddie
 
Beiträge: 2
Registriert: Di Nov 29, 2011 1:12 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon abbat » Di Nov 29, 2011 1:23 pm

http://paused.me:8090

location: Russia, Moscow
abbat
 
Beiträge: 1
Registriert: Di Nov 29, 2011 1:22 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon from-va » Di Nov 29, 2011 2:16 pm

from-va
 
Beiträge: 1
Registriert: Di Nov 29, 2011 2:15 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon owencutajar » Di Nov 29, 2011 4:46 pm

http://owen.servebeer.com:8090
(Running from the Isle of Man)
owencutajar
 
Beiträge: 1
Registriert: Di Nov 29, 2011 4:45 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon PCA42 » Di Nov 29, 2011 5:23 pm

Vega hat geschrieben:- viel Speicher (so 2GB)
- viele CPU-Kerne
- auf der Seite "Leistung" - "Performance" http://deinPeer/Performance_p.html - unter "Standard Profil benutzen" "prefer DHT" einstellen und die Geschwindigkeit auf 10% stellen... damit ist mein Peer wieder erreichbar...
- ändern der Garbarge-Collection Einstellungen - siehe http://www.yacy-websuche.de/wiki/index.php/Garbage_Collection_Einstellungen_%C3%A4ndern und http://forum.yacy-websuche.de/viewtopic.php?f=6&t=3168&p=23045&hilit=Collection#p23045
- auf der Seite http://deinpeer/PerformanceMemory_p.html das Häckchen bei "use Standard Memory Strategy" entfernen - danach sollte sich die Anzeige ändern in "use Standard Memory Strategy (current: Generation Memory Strategy)"
Mit diesen Settings lebt mein Peer daheim noch, während mir die beiden SuMa-Ev Rootserver gerade wieder weggeflogen sind :-(.

So, hab meinen Peer wieder stabil.
Code: Alles auswählen
JAVA_ARGS="-server -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:ParallelGCThreads=20 -XX:-UseGCOverheadLimit -XX:+UseAdaptiveSizePolicy -Djava.net.preferIPv4Stack=true -ava.awt.headless=true -Dfile.encoding=UTF-8";

Das zusammen mit der normalen GC.

Grüße Rene
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Pavla » Di Nov 29, 2011 5:44 pm

http://pwnshop.nl:8090
(from the Netherlands)
Pavla
 
Beiträge: 1
Registriert: Di Nov 29, 2011 5:42 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon sjefkenl » Di Nov 29, 2011 6:21 pm

Zuletzt geändert von sjefkenl am Di Nov 29, 2011 8:20 pm, insgesamt 1-mal geändert.
sjefkenl
 
Beiträge: 1
Registriert: Di Nov 29, 2011 6:20 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Pyers » Di Nov 29, 2011 6:35 pm

Pyers
 
Beiträge: 2
Registriert: Di Nov 29, 2011 6:29 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Switching_Power » Di Nov 29, 2011 6:53 pm

Switching_Power
 
Beiträge: 1
Registriert: Di Nov 29, 2011 6:53 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon NotoriousPyro » Di Nov 29, 2011 8:17 pm

http://yacy.pyronet.tv
(United Kingdom)
NotoriousPyro
 
Beiträge: 1
Registriert: Di Nov 29, 2011 8:01 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Pyers » Di Nov 29, 2011 8:29 pm

Pyers
 
Beiträge: 2
Registriert: Di Nov 29, 2011 6:29 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Vega » Di Nov 29, 2011 9:26 pm

Thank you, your servers have been added as data sources to search portal.
The status of your servers can be seen here: http://search.yacy.net/status.html

Greetings from Dresden, Germany
Thomas
Vega
 
Beiträge: 823
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Vega » Di Nov 29, 2011 9:58 pm

Hallo Rene,

Eigentlich dürfte das so nicht funktionieren, laut Angelika Langer http://www.angelikalanger.com/Articles/EffectiveJava/27.GCTuning/27.GCTuning.html

"Die parallele Garbage Collection kann dynamisch die Größe der Young Generation und der Survivor-Bereiche anpassen mit dem Ziel, die Pausenzeiten zu reduzieren und den Durchsatz zu erhöhen. Dies geschieht über die Option -XX:+UseAdaptiveSizePolicy. Diese Option für die parallele Garbage Collection sollte eigentlich immer verwendet werden, es sei denn, die Größen der Bereiche werden explizit manuell gesetzt. Sie steht aber nur für den -XX:+UseParallelGC Collector zur Verfügung und kann bei -XX:+UseParNewGC nicht benutzt werden."


Code: Alles auswählen
JAVA_ARGS="-server -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:ParallelGCThreads=20 -XX:-UseGCOverheadLimit -XX:+UseAdaptiveSizePolicy -Djava.net.preferIPv4Stack=true -ava.awt.headless=true -Dfile.encoding=UTF-8";

Das zusammen mit der normalen GC.

Grüße Rene
Vega
 
Beiträge: 823
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon LA_FORGE » Di Nov 29, 2011 10:30 pm

oops, jetzt hat's meinen auch zerlegt :D

Code: Alles auswählen
PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND           
  756 stefan     0 -20  100g  97g 5380 S 1011 69.0  14657:04 java     


Das Web-Interface ist nicht mehr erreichbar aber lt. Logfile indexiert er fleißig weiter :-)
LA_FORGE
 
Beiträge: 533
Registriert: Sa Okt 11, 2008 5:24 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon jim » Mi Nov 30, 2011 6:55 am

Hi All.

Please add http://203.38.252.18:8090

Sorry English only

Jim
jim
 
Beiträge: 1
Registriert: Mi Nov 30, 2011 6:53 am

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon wieland » Mi Nov 30, 2011 12:50 pm

wieland.homeunix.com:8090
wieland
 
Beiträge: 1
Registriert: Mi Nov 30, 2011 12:47 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Zer0CooL » Mi Nov 30, 2011 3:14 pm

new peer :
http://leechtools.com:8090

on average 2000+ pages/minute

hosted @ 100mbit dedi France
Zer0CooL
 
Beiträge: 1
Registriert: Mi Nov 30, 2011 3:11 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon PCA42 » Mi Nov 30, 2011 3:43 pm

Vega hat geschrieben:Eigentlich dürfte das so nicht funktionieren, laut Angelika Langer http://www.angelikalanger.com/Articles/EffectiveJava/27.GCTuning/27.GCTuning.html

Das hab aus dem von dir verlinkten Text in abgespeckter Form übernommen. :)
Das steht dort so als Tuning-Beispiel so drin.
Code: Alles auswählen
java    -Xmx3550m -Xms3550m -Xmn2g
        -XX:+UseParNewGC -XX:+UseConcMarkSweepGC
        -XX:ParallelGCThreads=20
        -XX:SurvivorRatio=8
        -XX:TargetSurvivorRatio=90
        -XX:MaxTenuringThreshold=31


Grüße René
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon sixcooler » Mi Nov 30, 2011 5:25 pm

Hallo,

es fällt mir nicht leicht, aber ich muss wohl darum bitten meinen Peer 'sixcooler.de:8080' aus dem Balancer zu nehmen.
Der Peer ist den aktuellen Ansturm schlicht nicht gewachsen und ich bräuchte die Maschine noch für was anderes.
Wie es aussieht sind ja nun auch einige potente Peers an Board und der Peer bleibt ja im Freeworld.

Besten Dank, sixcooler.
sixcooler
 
Beiträge: 476
Registriert: Do Aug 14, 2008 5:22 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Orbiter » Mi Nov 30, 2011 6:09 pm

klar ist das ok. ist raus
Orbiter
 
Beiträge: 5762
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon TLyngeJ » Mi Nov 30, 2011 7:58 pm

I have created a dedicated virtual machine for this purpose with 512 MB RAM.

IP: 80.70.3.85
Port: 8090
TLyngeJ
 
Beiträge: 1
Registriert: Mi Nov 30, 2011 7:54 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon flami » Mi Nov 30, 2011 8:41 pm

Hum I had to give the container around 4gig of ram ( 4.5 so I have more buffer upwards ) with 2 gigs for the jvm , it hasnt been beaten in the ground since. also the CPU usage dropped sharply and hovers around 50 -150% . the memory usage according to the performance graph jumps to 1.5 gigs for short times. SO I guess having the 2 gig buffer helps against the spikes and keeps the jvm running smoothly. I used openjdk from thhe debian repos ( unfortunately I cannot see what version since I run out of virtual memory when I run java -version ... )


Mem: 4608000k total, 4149996k used, 458004k free, 0k buffers
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
29486 yacy 20 0 4112m 2.4g 12m S 54 55.1 112:07.70 java

Is there a way to find out how many local searches have been performed? I might have missed it .
flami
 
Beiträge: 19
Registriert: Di Nov 29, 2011 9:57 am

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon LA_FORGE » Mi Nov 30, 2011 10:39 pm

@flami
Browse to the page AccessTracker_p.html?page=2
on your own peer.

Greetings

Steve
LA_FORGE
 
Beiträge: 533
Registriert: Sa Okt 11, 2008 5:24 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Vega » Mi Nov 30, 2011 10:42 pm

In dem Beispiel steht aber nichts von -XX:+UseAdaptiveSizePolicy ... :), aber man müsste mal wieder bei Oracle die JVM Dokumentation nachlesen ob die genannte Einschränkung noch gilt, der Artikel ist schließlich schon ein paar Jahre alt...

Gruß,
Thomas

PCA42 hat geschrieben:
Vega hat geschrieben:Eigentlich dürfte das so nicht funktionieren, laut Angelika Langer http://www.angelikalanger.com/Articles/EffectiveJava/27.GCTuning/27.GCTuning.html

Das hab aus dem von dir verlinkten Text in abgespeckter Form übernommen. :)
Das steht dort so als Tuning-Beispiel so drin.
Code: Alles auswählen
java    -Xmx3550m -Xms3550m -Xmn2g
        -XX:+UseParNewGC -XX:+UseConcMarkSweepGC
        -XX:ParallelGCThreads=20
        -XX:SurvivorRatio=8
        -XX:TargetSurvivorRatio=90
        -XX:MaxTenuringThreshold=31


Grüße René
Vega
 
Beiträge: 823
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon flami » Mi Nov 30, 2011 10:59 pm

Here http://search.yacy.net/status.html is says yacy.flami.net:80 = 16 . what does that mean? I Have 16 what? ms of ping? response time?
flami
 
Beiträge: 19
Registriert: Di Nov 29, 2011 9:57 am

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon theyosh » Mi Nov 30, 2011 11:59 pm

New server in the Netherlands: http://yacy.theyosh.nl:8090. Not that much bandwidth... :( But happy to donate what's left :D

If I can bind yacy on IPv6, than it will also be available for IPv6 connections :D :D

Ok, found it! It is now also running on IPv6 8-)

Regards,
TheYOSH
theyosh
 
Beiträge: 1
Registriert: Mi Nov 30, 2011 11:56 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Lotus » Do Dez 01, 2011 9:12 am

theyosh hat geschrieben:Ok, found it! It is now also running on IPv6 8-)

We do not support it officially, because there may be disfunctions due to static ip filter patterns left in the codebase. Java itself has no problems with IPv6.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon jpl888 » Do Dez 01, 2011 2:38 pm

http://johnlewis.ie:8090

100 Mbit although under quite a bit of CPU load from YaCY java at the minute ...
jpl888
 
Beiträge: 1
Registriert: Do Dez 01, 2011 2:35 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon joedoe47 » Do Dez 01, 2011 4:21 pm

Hello I installed yacy on my server, the upload kind of sucks, at 3-5 mb, but the download is decently, at 28 mb/s. it's a 64 bit dual core machine I use it often but I use very little of the processing capabilities it has.
http://joedoe47.no-ip.org:8090/
(Florida, U.S.)
joedoe47
 
Beiträge: 1
Registriert: Do Dez 01, 2011 4:04 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon flami » Do Dez 01, 2011 6:42 pm

According to http://search.yacy.net/status.html , I (yacy.flami.net) have been removed from the loadbalancer, is there something wrong?
flami
 
Beiträge: 19
Registriert: Di Nov 29, 2011 9:57 am

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon LA_FORGE » Do Dez 01, 2011 6:52 pm

flami hat geschrieben:According to http://search.yacy.net/status.html , I (yacy.flami.net) have been removed from the loadbalancer, is there something wrong?


I don't think so. I think all the peers that wanted to paticipate in the Portal Search are deposited in a list in the background and are selected by round-robin-method to balance out the huge load the network is experiencing since a few days. Try it again in 2 hours. The YaCy-Network is undergoing a renaissance since the last few days. We've never had such a high quantity of peers :-)
Zuletzt geändert von LA_FORGE am Do Dez 01, 2011 8:31 pm, insgesamt 1-mal geändert.
LA_FORGE
 
Beiträge: 533
Registriert: Sa Okt 11, 2008 5:24 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon LA_FORGE » Do Dez 01, 2011 6:55 pm

Wo ist denn Apfelmaennchen's Peer? :-(
LA_FORGE
 
Beiträge: 533
Registriert: Sa Okt 11, 2008 5:24 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon ossguy » Do Dez 01, 2011 8:20 pm

http://d.ozg.ca:8090/

25 Mbps up and down (slightly shared), on a Core i5 670 running Ubuntu; location: Manhattan, New York, USA
ossguy
 
Beiträge: 1
Registriert: Do Dez 01, 2011 8:15 pm

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Vega » Do Dez 01, 2011 11:23 pm

Sorry, ich hatte den Peer aus der Liste entfernt, weil er oft keine Ergebnisse geliefert hat, das ist aber eine Folge der hohen Last im YaCy Netzwerk... Ich nehm Ihn wieder in die Liste auf.... Eine Frage, was verwendest Du als Reverseproxy?

Thomas

flami hat geschrieben:According to http://search.yacy.net/status.html , I (yacy.flami.net) have been removed from the loadbalancer, is there something wrong?
Vega
 
Beiträge: 823
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon Vega » Do Dez 01, 2011 11:31 pm

The servers are reachable / were online, I've added to the list.
http://yacy.theyosh.nl:8090 and http://d.ozg.ca:8090 added...

Grettings from Germany
Thomas
Vega
 
Beiträge: 823
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon flami » Fr Dez 02, 2011 2:00 am

Vega hat geschrieben:Eine Frage, was verwendest Du als Reverseproxy?


Nginx.

Ich bekomm viele timeouts vom proxy zum peer, auch wenn kaum last von der CPU am peer ist. Ich tippe mal, dass irgentwo die GC in die Quere kommt.

Mir is auch aufgefallen, dass nach einigen (ich glaub 4-5) Stunden yacy meine CPU konstant auf fast 800% auslastet ( alle 8 cores ) wohingegen es in den ersten 2 -3 stunden die CPU zwichen 5 -200 % schwankt, je nach anzahl der Anfragen. Ich habe dies "gelöst" durch einen cronjob der alle 3 stunden das Teil neustartet. Ich werd dies weiter beobachten.
Was bedeuten eigentlich die Zahlen hinter den hosts im Loadbalancer status? 1000 sieht so aus als wenns "down" bedeuten würd ( sehs gerade nachdem ich yacy wieder neu gestartet hab )
flami
 
Beiträge: 19
Registriert: Di Nov 29, 2011 9:57 am

Re: öffentliches YaCy Suchportal (doch noch?)

Beitragvon LA_FORGE » Fr Dez 02, 2011 5:57 am

flami hat geschrieben:
Vega hat geschrieben:Eine Frage, was verwendest Du als Reverseproxy?


Nginx.

Ich bekomm viele timeouts vom proxy zum peer, auch wenn kaum last von der CPU am peer ist. Ich tippe mal, dass irgentwo die GC in die Quere kommt.

Mir is auch aufgefallen, dass nach einigen (ich glaub 4-5) Stunden yacy meine CPU konstant auf fast 800% auslastet ( alle 8 cores ) wohingegen es in den ersten 2 -3 stunden die CPU zwichen 5 -200 % schwankt, je nach anzahl der Anfragen. Ich habe dies "gelöst" durch einen cronjob der alle 3 stunden das Teil neustartet. Ich werd dies weiter beobachten.
Was bedeuten eigentlich die Zahlen hinter den hosts im Loadbalancer status? 1000 sieht so aus als wenns "down" bedeuten würd ( sehs gerade nachdem ich yacy wieder neu gestartet hab )


Hi. Ich denke die Zahlen sind entweder Latenzwerte oder Distances (DHT).

Wieso haben wir eigentlich noch kein YaCy-IRC-Channel? :-)
LA_FORGE
 
Beiträge: 533
Registriert: Sa Okt 11, 2008 5:24 pm

Nächste

Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste

cron