yacyDNS: Load Balancing, Benutzerfreundlichkeit,YaCy-Zukunft

Ereignisse, Vorschläge und Aktionen

yacyDNS: Load Balancing, Benutzerfreundlichkeit,YaCy-Zukunft

Beitragvon flegno » Mi Okt 29, 2014 8:25 am

Hallo,
Erik_S imThread yacystats Neuauflage? hat geschrieben:
flegno hat geschrieben:Warum verwendest du hier ein Frame?
Primär geht es mir tatsächlich darum das der Neuladen-Button (bzw. F5) des Browsers einen anderen Peer selektiert.

Ich habe diesen Thread vom Thread "yacystats Neuauflage?" abgezweigt, um Grundsätzliches zum Thema Load Balancing, Benutzerfreundlichkeit,Zukunft des YaCy-Projekts unabhängig von den yacyDNS-Programmierungsdetails, Test-/und/oder Fehlerberichten zu klären bzw. abzustimmen.

Thesen
  1. Load Balancing wird praktiziert bzw. wird angestrebt, um eine gleichmäßige Lastverteilung auf einzelne Peers im YaCy-Netzwerk zu erreichen
  2. Ständig wechselnde Peers/Suchformulare schrecken potenzielle YaCy-Anwender ab und sind benutzerunfreundlich
  3. es gibt YaCy-Peer-Betreiber, die sich freuen, wenn möglichst viele Anwender ihren Peer für die Recherchen im YaCy-Netzwerk nutzen und haben ausreichend Prozessor-Leistung, um viele Suchanfragen zu verarbeiten
  4. falls die Peer-Belastung wegen/durch Suchanfragen zu vernachlässigen ist bzw. die Interessen von bestimmten Peers berücksichtigt werden, sind einfachere, robustere zukunftsweisendere Konzepte und Software-Lösungen bei der Entwicklung des YaCy-Projekts möglich.
Fragen
  1. ich bitte hier einen Link zu posten, wo ich das Konzept für die Lastverteilung für die Suchanfragen nachschlagen kann? Es ist was zu finden zum Load Balancing beim Crawlen, nicht aber zu der Lastverteilung für die Suchanfragen.
  2. Gibt es Statistiken bzw. Berichte, die belegen, dass ein Problem der Peer-Belastung wegen/durch die Suchanfragen existiert?
  3. Gibt es eine Möglichkeit, Statistiken bzw. Berichte zu erstellen, die belegen, dass ein Problem der Peer-Belastung wegen/durch die Suchanfragen existiert?
Anregungen
  1. die Lösungsänsätze bei der Programmierung der dynDNS-Lösung s. bspw. iframe-Zwang davon (un)abhängig machen, je nach dem, ob ein Problem der Peer-Belastung wegen/durch die Suchanfragen existiert
  2. YaCy-Peer-Betreiber befragen:
    1. ob die Betreiber daran interessiert sind, wenn möglichst viele Anwender ihren Peer für die Recherchen im YaCy-Netzwerk nutzen
    2. ob diese Betreiber ausreichend Prozessor-Leistung haben, um viele Suchanfragen zu verarbeiten
Gruss, flegno
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: yacyDNS: Load Balancing, Benutzerfreundlichkeit,YaCy-Zuk

Beitragvon Erik_S » Mi Okt 29, 2014 3:59 pm

Hallo,

flegno hat geschrieben:Load Balancing wird praktiziert bzw. wird angestrebt, um eine gleichmäßige Lastverteilung auf einzelne Peers im YaCy-Netzwerk zu erreichen
Ja, das ist das Ziel. Wenn Orbiter in YaCy z.B. eine Konfiguration einbauen sollte mit der ein Peer bitten kann nicht an die vorderste Front geschoben zu werden dann werde ich das in meinem Tool auch berücksichtigen.

flegno hat geschrieben:Ständig wechselnde Peers/Suchformulare schrecken potenzielle YaCy-Anwender ab und sind benutzerunfreundlich
Wieso, das wechselt doch gar nicht ständig. Der Peer wird nur dann gewechselt wenn der Anwender das explizit auslöst.

flegno hat geschrieben:es gibt YaCy-Peer-Betreiber, die sich freuen, wenn möglichst viele Anwender ihren Peer für die Recherchen im YaCy-Netzwerk nutzen und haben ausreichend Prozessor-Leistung, um viele Suchanfragen zu verarbeiten
Ja, ganz recht, aber es gibt sicher auch Peers die auf eher schwacher Hardware laufen und deswegen es nicht unbedingt begrüßen überrannt zu werden. Ich kann nur wiederholen: wenn es da mal eine Stellschraube gibt dann werde ich die auch berücksichtigen.

flegno hat geschrieben:falls die Peer-Belastung wegen/durch Suchanfragen zu vernachlässigen ist bzw. die Interessen von bestimmten Peers berücksichtigt werden, sind einfachere, robustere zukunftsweisendere Konzepte und Software-Lösungen bei der Entwicklung des YaCy-Projekts möglich.
Hm, der Satz klingt schön und auch irgendwie richtig, aber ich kann dem leider keine Information entnehmen. Was genau meinst Du damit?

flegno hat geschrieben:wo ich das Konzept für die Lastverteilung für die Suchanfragen nachschlagen kann?
Naja, das ergibt sich eigentlich eher implizit aus dem Konzept der Distributed-Hash-Table die als Verteilungsmechanismus für den Index benutzt wird, siehe http://de.wikipedia.org/wiki/Verteilte_Hashtabelle.

flegno hat geschrieben:Gibt es Statistiken bzw. Berichte, die belegen, dass ein Problem der Peer-Belastung wegen/durch die Suchanfragen existiert?
Es gibt einen Thread zu diesem Thema: http://forum.yacy-websuche.de/viewtopic.php?f=23&t=5302.

flegno hat geschrieben:Gibt es eine Möglichkeit, Statistiken bzw. Berichte zu erstellen, die belegen, dass ein Problem der Peer-Belastung wegen/durch die Suchanfragen existiert?
Naja, Du könntest Deinen Peer einfach mal gezielt überlasten und zusehen was passiert.

flegno hat geschrieben:iframe-Zwang
Wie kommst Du auf Zwang?
Mein Tool bietet mehrere Möglichkeiten sich mit einem bestimmten oder einem zufälligem YaCy-Peer verbinden zu lassen, die Variante mit dem iframe ist nur eine davon! Welche Variante Du oder ein beliebiger Anwender benutzen möchte wird von mir nicht vorgegeben, ich bemühe mich alle Varianten gleich gut zu unterstützen. Auch um z.B. eine YaCy-Suche direkt in eine eigene Web-Seite zu integrieren stehen alle diese Varianten zur Verfügung, die Entscheidung welche Variante letztlich benutzt wird liegt beim Betreiber der betreffenden Web-Seite (bzw. beim HTML-Autor) und nicht bei mir.

Bei der iframe-Lösung bemühe ich mich den Umstand des Frame-Sets deutlich zu machen damit der Anwender weiß das von meinem yacyDNS-Tool nur die Vermittlungsleistung aber nicht die Suchleistung kommt, das bin ich schon den Betreibern der Peers (die die eigentliche Suchleistung erbringen) schuldig. Auch das der Anwender möglichst einfach das Frame-Set verlassen können soll (um mit dem vorgeschlagenen YaCy-Peer direkt zu kommunizieren) geht in diese Richtung. Das es wichtig ist das der Reload-Button bzw. F5 einen anderen Peer selektiert kommt einfach aus der Tatsache das viele YaCy-Peers auf privaten Heim-Computern laufen und so ein Heim-Computer eben auch mal offline gehen kann und wenn dann der Anwender keine einfache Möglichkeit hat mein Tool anzuweisen einen anderen Peer zu probieren wäre das für den Anwender wohl eher abschreckend. Ich möchte hierzu noch mal auf den Thread http://forum.yacy-websuche.de/viewtopic.php?f=23&t=5302 verweisen.

Ich bin wirklich der Meinung das ich gute Gründe habe die iframe-Lösung so zu implementieren wie ich sie implementiert habe. Wenn Du andere Gründe kennst, auch ich bin nicht vollkommen, dann können wir darüber gerne diskutieren. Aber mir "Zwang" vorzuwerfen empfinde ich nicht als zielführend!

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast