unglaublich gute Performance :-)

Ereignisse, Vorschläge und Aktionen

unglaublich gute Performance :-)

Beitragvon wsb » Di Jun 24, 2008 12:45 pm

Heute wollt ich's wirklich wissen: und habe meinen yacy-Peer zu Hause (banaler Suse-PC, 1 GB Ram, 256 KB für yacy) als Feed VOLL für metager mit eingebunden (also ca. 80.000 Queries per day). Ich dachte, der ist sofort platt. Aber nix da: nach 3 Stunden läuft der immer noch, und die Last ist nur unwesentlich angestiegen. Damit keine Missverständnisse aufkommen: an der Senior-Peer Konfiguration ist NICHTS geändert, nur die Abfragen von metager kommen mit resource=local&verify=false.

Falls noch jmd. Interesse daran, seinen Peer mit ins metager-Netz zu stellen: immer willkommen! Einfach email an wsb@suma-ev.de Der Peer kann auch ruhig wieder abgeschaltet werden, wenn es aus irgendwelchen Gründen nicht passt - er sollte nur nicht "hängen" (also Queries ins Timeout laufen lassen, das würde metager ausbremsen).

Auf allen Peers, die ich im Griff habe, läuft übrigens 0.591/04951 - das scheint eine gute Version zu sein.
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: unglaublich gute Performance :-)

Beitragvon Orbiter » Di Jun 24, 2008 1:27 pm

liefer er denn auch resultate?
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: unglaublich gute Performance :-)

Beitragvon wsb » Di Jun 24, 2008 1:57 pm

Orbiter hat geschrieben:liefer er denn auch resultate?


Dieser Index (suma-ev5.yacy) ist noch nicht besonders gross (ca. 400.000 Links), aber da "arbeiten wir dran". Ab ca. 1 Mio Links lohnt es erfahrungsgemäß dann wirklich.
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: unglaublich gute Performance :-)

Beitragvon ribbon » Di Jun 24, 2008 2:51 pm

so ein "banaler suse-pc" kostet hier 185 Euro. kann man denn im Rechenzentrum der Metager nicht noch sagen wir 100 PC´s installieren?
Das wären Investitionskosten von 20.000 Euro und 400 Euro Strom im Monat, Bandbreite ist ja frei für die Unis.
Für eine Abschreibung von 5 Jahren würde das also rund 50.000 Euro kosten, sind 10.000 im Jahr. oder 850 Euro pro Monat.
Kann man nicht eine studentische Hilfskraft einsparen und eine andere die Server betreuen lassen?

Metager benötigt eine neue Definition, nicht nur die bekannten Suchmaschinen abzufragben, sondern auch eigene Server decentral bereitzustellen, sich an dem Produktivkapital zu beteiligen.

Das ist bei Greenpeach Engery genauso, die handeln nur mit grünem Strom als e.G., sind jetzt aber auch umgeschwenkt, sich an Stromwerken als Kapitalgeber zu beteiligen, damit denen auch die Produktionsstätten gehören.

Kann man nicht jedem Wohnheimstudenten, der sich kontinuierlich mit einem Server an dem Netzwerk beteiligt und diesen pflegt, 25 Euro Studiengebühr-Nachlass geben? Da wäre die Bandbreite durch Uni, Pflege, Server und Strom durch privat getragen. Da müsste man zwar mit Veraltung und Rektor sprechen, aber die Metager gehört doch als Markenzeichen dazu.
Damit man das Geld nicht in bar verrechnen muss, könnte ja Eplus diesen Studenten 25 Euro Base-Gutschrift geben oder die lokalen Stadtwerke als Strompreis-Gutschrift. Da die Uni auch Stromkunde ist, kann man es ggf auch über diese "Kostenart" verrechnen.

Wer wachsen will, braucht Partner! und yacy braucht mehr nodes!!
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: unglaublich gute Performance :-)

Beitragvon wsb » Di Jun 24, 2008 3:35 pm

ribbon hat geschrieben:so ein "banaler suse-pc" kostet hier 185 Euro. kann man denn im Rechenzentrum der Metager nicht noch sagen wir 100 PC´s installieren?
Das wären Investitionskosten von 20.000 Euro und 400 Euro Strom im Monat, Bandbreite ist ja frei für die Unis.
Für eine Abschreibung von 5 Jahren würde das also rund 50.000 Euro kosten, sind 10.000 im Jahr. oder 850 Euro pro Monat.
Kann man nicht eine studentische Hilfskraft einsparen und eine andere die Server betreuen lassen?

Wenn es denn man bloss so einfach wäre ... 20.000 Euro und 400 Euro Strom im Monat + Leute, die das ganze am Laufen halten, regelmäßige Updates machen usw. Und allein vom Stellplatz hätten wir da schon Probleme, der Maschinenraum ist ziemlich voll. Aber es gibt noch weitere Schwierigkeiten, kommt gleich im nächsten Punkt.

ribbon hat geschrieben:Metager benötigt eine neue Definition, nicht nur die bekannten Suchmaschinen abzufragben, sondern auch eigene Server decentral bereitzustellen, sich an dem Produktivkapital zu beteiligen.

Eigene Server dezentral betreiben machen wir schon lange, nur bisher halt wenig mit yacy, weil (bisher!) die Performance und Stabilität nicht reichte. Aber es gibt einen Grund, warum es allein mit yacy-Peers in der bisherigen Form nicht ginge: die Snippets fehlen. Aber genau DAS ist ein wesentlicher Performancefaktor. Wir sehen das auch bei anderer Suchmaschinen-Software, die wir hier laufen haben: Nutch/Lucene liefert Snippets, hat aber bei Volllast Probleme, die Snippets von den Platten schnell genug zu lesen. Mit "banal PCs" wie bei mir zuhause haben wir da keine Chance. Darum lägen wir allein bei den Investitionskosten schon bei ca. 200.000,-EUR; abgeschrieben auf 3 Jahre plus Personalkosten, und schon sind wir bei ca. 190.000,-EUR pro Jahr. Das ist zwar in dieser Branche "alles kein Geld", aber man muss es erstmal haben.

Und in yacy müsste das Abspeichern der Text und Herausziehen der Snippets von den lokalen Platten erstmal programmiert werden.

ribbon hat geschrieben:Das ist bei Greenpeach Engery genauso, die handeln nur mit grünem Strom als e.G., sind jetzt aber auch umgeschwenkt, sich an Stromwerken als Kapitalgeber zu beteiligen, damit denen auch die Produktionsstätten gehören.

Kann man nicht jedem Wohnheimstudenten, der sich kontinuierlich mit einem Server an dem Netzwerk beteiligt und diesen pflegt, 25 Euro Studiengebühr-Nachlass geben? Da wäre die Bandbreite durch Uni, Pflege, Server und Strom durch privat getragen. Da müsste man zwar mit Veraltung und Rektor sprechen, aber die Metager gehört doch als Markenzeichen dazu.
Damit man das Geld nicht in bar verrechnen muss, könnte ja Eplus diesen Studenten 25 Euro Base-Gutschrift geben oder die lokalen Stadtwerke als Strompreis-Gutschrift. Da die Uni auch Stromkunde ist, kann man es ggf auch über diese "Kostenart" verrechnen.

Wer wachsen will, braucht Partner! und yacy braucht mehr nodes!!

Genau darum versucht SuMa-eV ja, möglichst viele Leute dafür zu aktivieren! Und den Plan, den Du oben skizzierst, den verfolgen wir schon lange und werden das auch weiter tun ...
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: unglaublich gute Performance :-)

Beitragvon ribbon » Di Jun 24, 2008 3:57 pm

Danke für die Antwort, dann durchdenken wir das mal, habe verstanden: Snippets und Geld und Leute und Kisten besorgen.
Zum ersten Punkt mal eine Frage: muss yacy die Webseite komplett abspeichern im DHT, um Snippets (später mal verglichen mit Google) liefern zu können von p2p Nodes oder reicht der Live-Fetch eines Nodes von der dann mal eben schnell geladenen Webseite? passt letzere Methode zeitlich?

Und überhaupt: Kann Metager nicht erstmal die Mannschaft aufstellen, und dann entscheiden, ob die Soldaten ein grünes oder blaues Einstecktuch zur Uniform bekommen? - oder nochmal für die Mathematiker in Zahlen nachgefragt:
"weil (bisher!) die Performance und Stabilität nicht reichte. ..yacy-Peers in der bisherigen Form nicht ginge: die Snippets fehlen. Aber genau DAS ist ein wesentlicher Performancefaktor. ..hat aber bei Volllast Probleme, die Snippets von den Platten schnell genug zu lesen."

Dachte yacy lädt die Snippets aus dem Web? Wieso geht es nicht ohne Snippets? Wie lange darf ein Ladevorgang von Snippets dauern? Verschiedene Toleranzen? Wie lange dauert das Laden vom lokalen node? wie lange aus dem DHT Netzwerk? wie lange das Laden aus dem Web?
Wie schnell muss die CPU sein, dass diese drei Kennzahlen mit Signifikanz, sprich mindestens 30 % schneller verarbeitet werden? Wie ändert sich dann die zu wählende Mehtode (Local, Netzwerk, Live - fetchen).

Diese Aussagen sind ja notwendig, um die weitere Anpassung zu gestalten. Und wieweit kann man dann seitens der Anspruchslinie der Metager-Nutzer diesem entgegenkommen?

Und was heisst "Vollast", kann man nicht jede zweite Suchanfrage an den yacy-pool richten? wie verändern sich dann die Parameter der o.g. Performance-Variablen?

Heisst es, dass die "Banal-PC" Verurteilung auch letztlich bedeutet, dass die normalen Nutzer des yacy DHT - Netzes, denn die haben ja die 200 Euro-PC´s - niemals der Metager als zuträglich sein können?
Wir müssen uns da von Kosten, wünschbaren Zeiten und Wegen zu den snippets irgendwo treffen und dennoch ist bestimmt noch Platz für 10 Kisten im "Maschinenraum" (geil.. das klingt ja wie bei Star Trek.. lach).

Ein Freund wollte eh mal 1000 Euro zuschiessen, ich frage ihn mal und sollte man dann 7 Kisten in den Maschinenraum schicken oder lieber dem Verein das Geld senden? Geld statt Gerät?
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: unglaublich gute Performance :-)

Beitragvon datengrab » Di Jun 24, 2008 4:07 pm

Wenn man mehrere Rechner aufstellen will wäre es wahrscheinlich am sinnvollsten einen "Loadbalancer" dazwischen zu klemmen. Das könnte ein einfacher PC sein, der auf Grund des Worthashes nur den/die jeweils passenden Peer(s) befragt. Gleichzeitig könnte er die timeouts überwachen und wenn ein peer nicht schnell genug reagiert eine leere Antwort zurück schicken.
datengrab
 
Beiträge: 366
Registriert: Sa Aug 25, 2007 7:22 pm

Re: unglaublich gute Performance :-)

Beitragvon Orbiter » Di Jun 24, 2008 4:08 pm

die Snippets werden zwar von YaCy aus dem Web geladen, aber nur wenn sie nicht im lokalen Repository sind. Und hier ist das Problem: dieses Ding ist alt, langsam, und nicht für den Zweck geschaffen. Wenn jemand für sich einen eigen YaCy-Cluster betreibt wäre die Chance, das ein Text im lokalen Repository ist recht hoch, und dann könnte man den dort raus lesen wenn man ihn denn hat. Genau hier ist ein enormes Verbesserungspotential und ich muss sagen: das steht bei mir ganz oben auf der to-do Liste (zusammen mit duzenden anderen Dingen.. :? ) Ich sag mal auf: das werden wir auf jeden Fall bekommen, ... nur wann kann ich nicht sagen.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: unglaublich gute Performance :-)

Beitragvon ribbon » Di Jun 24, 2008 4:12 pm

naja.. eigentlich macht ja der DHT das Load Balancing, einen zentralen Server haben wir ja schon in google.
Daher bin ich auch für den Weg, mehrere MEtager-PCs später in das normale Netzwerk zu integrieren und dann fiele der Load Balancer ja auch weg. Daher nicht ein locales/zentrales Cluster mit einem "Festplattencontroller" schaffen.
Und das heisst, die Snippets kommen nicht local, sondern aus dem DHT, was muss man denn dort dann machen, damit sie besser kommen? Grössere Repositories in den Nodes? Warum kann denn Metager die Snippets nicht aus dem Web laden?
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: unglaublich gute Performance :-)

Beitragvon liebel-lab » Di Jun 24, 2008 5:26 pm

Nur zur info :-)

A) Ihr könnt gerne das sciencenet in Metager integrieren (180.000.000 ) wissenschaftliche webseiten bisher auf den 51 standard linux kisten hier
(http://harvester.fzk.de:8080/Network.html?page=1)....

B) Was den Platz anbelangt. Ich kann einen 50m² voll gekuehlten Raum und Racks und Netzwerk anbieten in unserer KIT-DMZ...
...wenn der bis Herbst nicht "gefüllt" ist ...schnappen sich ihn die kollegen.....falls jemand Ideen hat...

C) Netzwerk for free? Schoen waers....aber wir tun mal so als ob ;-)

Grüße vom KIT

UL
liebel-lab
 
Beiträge: 175
Registriert: Sa Jan 26, 2008 7:00 pm

Re: unglaublich gute Performance :-)

Beitragvon ribbon » Di Jun 24, 2008 6:09 pm

ach du heiliger b...... 51 Kisten von 78 online nodes sind vom KIT?
cool! ist denn oder wird denn dieses netz auch in das normale yacy netz irgendwann integriert?
axo, dann ist es ja plus die 78 nodes.. nee, kann man die nicht integrieren in das normale netz? denn die suche in den kit server wirft das gleiche aus, wie das normale yacy netz.
Ich fände eine software-mässige integration von KIT ins normale yacy DHT gut und auch in die Metager,
als Standort hingegen.. wie google es macht, sollte sowohl Karlsruhe als auch Hannover eine yacy Serverfarm betreiben.
Wie sieht es denn im KIT aus, den kalten Raum als yacy Serverfarm aufzubauen? Stört ihr Euch an den "Billig PC´s" und gibt es Möglichkeiten selbst die 50 Server zu verdoppeln ? ;-P (damit auch der Raum genutzt werden kann)?
Wiviele Suchanfragen gehen täglich über KIT ein? kann es sein, dass der eine die Server hat und der andere die Suchanfragen? Beides zusammen ist doch dann ideal.. warum ist man denn nicht schon eher auf diese Kooperation gekommen? insofern ist das ja ein gutes Angebot. Nur nutzt es nix, wenn das zwei Unis verabreden, schön wäre es, wenn man die server auch hier sehen könnte: http://www.yacystats.de/peers_links,lge ... ,50,3.html
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: unglaublich gute Performance :-)

Beitragvon Orbiter » Di Jun 24, 2008 7:16 pm

ribbon hat geschrieben:ach du heiliger b...... 51 Kisten von 78 online nodes sind vom KIT?

oh nein, eben nicht. In Karlsruhe ist ein eigenes YaCy-Netz ('sciencenet'), das hat nichts mit den '78 online nodes' zu tun, das ist ja das 'freeworld'-Netz.
ribbon hat geschrieben:kann man die nicht integrieren in das normale netz? denn die suche in den kit server wirft das gleiche aus, wie das normale yacy netz.

hmn, das wäre aber verwunderlich. Nein, integrieren kann man das nicht, da es schlicht hierbei darum geht, separate netze zu betreiben. Urban moderiert das sciencenet und bestimmt daher den Inhalt, eben nur Seiten von wissenschaftlichen Domänen. Aber eine Integration im Sinne einer Meta-Suche wäre möglich, daran überlege ich schon länger dran rum.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: unglaublich gute Performance :-)

Beitragvon DanielR » Di Jun 24, 2008 7:29 pm

Das mit den Snippets ist sicherlich sehr wichtig. Nur der Titel sagt nicht viel aus. Aber das ist natürlich der Performance-Killer.

@Ribbon: Lokal ist am schnellsten! Denn um das "live" vom Webserver zu holen muss dieser dass ebenfalls bei sich lokal laden ;) Das mit dem DHT könnte evtl. konstanter sein, da einige Webserver doch relativ lange für eine Antwort benötigen. Selbst wenn Orbiter das erheblich verbessern kann, bleiben einige Konstanten wie:
- Daten auslesen (Platte, ggf. RAM)
- Netzwerkübertragung (ggf. vom Webserver, Yacy -> Client)

Wie bereits gesagt kommen auch "Spezialisten" wie Lucene da nicht hinterher! Da muss schon verdammt viel Speicher vorhanden sein (für über 5 Milliarden Webseiten?!), denn Festplatten sind langsam (min. 5 ms)! Aber SANs sollen recht gute Performance bieten zu entsprechendem Preis :lol:
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: unglaublich gute Performance :-)

Beitragvon Orbiter » Di Jun 24, 2008 7:37 pm

snippets per DHT laden: also wenn man die Wahl hat zwischen Laden vom anderen Peer und Laden vom Original, da muss man einfach sagen: noch dezentraler als Original-Website geht nicht. Und noch performanter auch nicht. Also macht Snippet per DHT keinen Sinn, und nachladen ist die bessere Option, zumal dadurch eine Validierung statt findet. Das ist der Grund warum wir das so machen wie es momentan ist.

Ein DHT-Snippet Laden macht in dem Moment Sinn, wenn man damit nicht die Original-Dateien abfragt, sondern schon geparste Texte und somit einen Geschwindigkeitvorteil hat. Dieser Vorgang ist in Form des local-snippetfetch drin (kein URL-DHT, sondern Wort-DHT), d.h. wenn man eine Remote Suche macht, dann guckt der remote Peer ob er einen Treffer (den besten) in seinem Cache hat und bereitet dazu ein Snippet lokal vor. Das ist übrigens Standard-Funktionalität und schon lange aktiv. Nur läd er eben nicht schon geparste Texte, sondern die Originalen aus dem Cache, was das ganz eben bremst.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: unglaublich gute Performance :-)

Beitragvon wsb » Di Jun 24, 2008 8:01 pm

liebel-lab hat geschrieben:Nur zur info :-)

A) Ihr könnt gerne das sciencenet in Metager integrieren (180.000.000 ) wissenschaftliche webseiten bisher auf den 51 standard linux kisten hier
(http://harvester.fzk.de:8080/Network.html?page=1)....


Danke! Ist drin. Mit resource=global&verify=true - ist das ok?
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: unglaublich gute Performance :-)

Beitragvon wsb » Di Jun 24, 2008 8:04 pm

wsb hat geschrieben:
liebel-lab hat geschrieben:Nur zur info :-)

A) Ihr könnt gerne das sciencenet in Metager integrieren (180.000.000 ) wissenschaftliche webseiten bisher auf den 51 standard linux kisten hier
(http://harvester.fzk.de:8080/Network.html?page=1)....

Danke! Ist drin. Mit resource=global&verify=true - ist das ok?

Ich habs sofort gemerkt: war nicht ok, das macht euer Cluster platt. Habs auf resource=local&verify=false gesetzt.
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: unglaublich gute Performance :-)

Beitragvon ribbon » Di Jun 24, 2008 8:08 pm

mh..ist ein separiertes Netz nur des Separierens wegen separiert? Wie gesagt, inhaltlich kommen doch zu den Stichworten dieselben Urls raus.
Werden denn dann bestimmte gecrawlte Urls wieder aus dem Separierten Netz entfernt? sprich werden alle unwissenschaftlichen Urls manuell gelöscht?
Zudem: Kann man denn die lokalen Netzwerke nicht so einstellen, dass sie am freeworld DHT teilnehmen, Urls auch versenden, Anfragen auch beantworten, aber keine URls annehmen und auch keine Remote Cralws?

Semipermeable Separierung (SS) ?

Snippets habe ich noch nicht so ganz verstanden, sie sind also aus dem Local Cache der ORiginale, aber nicht aus den geparsten Texten, und wenn sie nicht im Local Cache sind, werde sie aus dem Web geladen. ok. Wäre ein Laden aus dem Web denn zu langsam für die Metager?

Und wenn man jede Webseite Parst, ist es dann nötig, jede Webseite VOLL abzuspeichern? Dann bringt ja auch nur der einzelne Node das Snippet, was bedeutet, jeder muss in vollem Umfang Google sein?
Wenn das Laden aus dem Web schneller ist als einen Remote Peer aus seinem Cache oder seinem Parsing zu befragen, machen dann locale Speicherungen, egal ob local oder geparst, einer VOLLEN Seite dann überhaupt Sinn?

Je nach Stichwort MUSS doch dann die VOLLE Seite IMMER local gespeichert werden. aber Metger kann doch nicht das ganze Web herunterladen, weil google das ja schon macht.

Ist denn geplant, das Parsen zu verbessern und was müsste man da machen?
Und kann Metager nicht die Snippets aus dem Web holen? oder ein Ranking einzuführen, Ergebnisse ohne Snippet tiefer zu ranken oder wenn die zweite Suchergebniseite kommt, dann zu laden?

Somit mag man zu dem Ergebnis kommen, dass man ja früher auch EWIG auf die Ergebnisse der Metager gewartet hat und das man ja auch heute noch die Sekunden einstellen kann, die Metager suchen soll, Ich denke, jeder der eine Meta-Suche sucht, will auch alle Suchmaschinen GRÜNDLICH befragen und ist bereit, zwei Sekunden den Spruch zu lesen.

Dann könnte das Live-Laden der Snippets doch auch akzeptiert werden in der Metager oder?

Dann warten die User halt 3 Sekunden, das ist doch jetzt kein wirkliches Argument, nicht noch 3 yacy Server hinzuzufügen, bzw die Metager für das Freeworld-Yacy Netz zu öffnen.

Die Sinippets und die Performance sind auch nach diesem ganzen Talk glaube ich nicht das entscheidende, sondern dass die bestehenden Institutionen bereit sind, Urls und Anfragen an das Freeworld Netz zu senden und ihre Server dem Freeworldnetz zuzugliedern.

Was nützt uns yacy, wenn die Nicht-Freien Cluster grösser sind als der freeworld DHT?
Das ist doch voll subversiv, ist Kit in Wahrheit doch kein Auto, sondern ein Maulwurf?

Die Gute Performance lässt sich dann wohl doch nur in Privateigentum realisieren und nicht im Volkskombinat?

http://www.bild.de/BILD/lifestyle/reise ... 70532.html
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: unglaublich gute Performance :-)

Beitragvon wsb » Di Jun 24, 2008 8:14 pm

wsb hat geschrieben:
wsb hat geschrieben:
liebel-lab hat geschrieben:Nur zur info :-)

A) Ihr könnt gerne das sciencenet in Metager integrieren (180.000.000 ) wissenschaftliche webseiten bisher auf den 51 standard linux kisten hier
(http://harvester.fzk.de:8080/Network.html?page=1)....

Danke! Ist drin. Mit resource=global&verify=true - ist das ok?

Ich habs sofort gemerkt: war nicht ok, das macht euer Cluster platt. Habs auf resource=local&verify=false gesetzt.

Hmmm, funktioniert auch damit nur ein paar Minuten, da ist noch was anderes faul. Da sollten wir morgen mal telefonieren. Habe sciencenet erstmal wieder aus metager rausgenommen.
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: unglaublich gute Performance :-)

Beitragvon liebel-lab » Di Jun 24, 2008 8:40 pm

Hm interessant....Michael und ich haben schon letzte woche festgestellt, dass der portalrechner fuer das sciencenet spinnt...
(powersupply....)
Cluster platt machen? :-) .....das will ich sehen....
Bitte mal via http://harvester.fzk.de:8080 metager probieren...auf der kiste laeuft ebenfalls sciencenet-yacy...
(ist eine 8 kernmaschine und eigentlich besser geeignet als die normalen sciencenet peers...
Wir sollten eine eigenen metager-scienecnet "bridge" (dedicated machine) einrichten....könnten die kollegen bis nächste woche erledigt haben...
falls sinnvoll....

Wäre interessant wenn der eine oder andere auf diese Experiment auch noch ein Auge werfen könnte....immer spannend was dann passiert...

Bis denne

Salve aus Ka

UL
liebel-lab
 
Beiträge: 175
Registriert: Sa Jan 26, 2008 7:00 pm

Re: unglaublich gute Performance :-)

Beitragvon Orbiter » Di Jun 24, 2008 9:07 pm

wsb hat geschrieben:
wsb hat geschrieben:Ich habs sofort gemerkt: war nicht ok, das macht euer Cluster platt. Habs auf resource=local&verify=false gesetzt.

Hmmm, funktioniert auch damit nur ein paar Minuten, da ist noch was anderes faul. Da sollten wir morgen mal telefonieren. Habe sciencenet erstmal wieder aus metager rausgenommen.

na das kann ich erklären: ist immer noch der DoS-Schutz. Die Sciencenet-Peers haben noch nicht den "resource=local&verify=false" - patch. Speziell ein "verify=true" ist eine Angriffsfläche, wie wir vor ein paar Wochen ja beim Sciencenet gesehen haben. Die Lösung: DoS-Whitelists. Das soll so gehen: in der Netzkonfig des Sciencenet kommt ein IP-Filter attribut rein, was den Peers erlaubt vom Metager aus im Sekundentakt abgefragt zu werden. Mal sehen ob ich da nächste Woche zu komme..
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast