Abschalten der Visualisierung in der Crawler-Überwachung

Ideen und Vorschläge sind willkommen.

Abschalten der Visualisierung in der Crawler-Überwachung

Beitragvon zottel » Fr Okt 03, 2014 1:01 am

In den meisten Fällen ist in dem Bild, das dort zu sehen ist, nach kurzer Zeit ohnehin nichts mehr zu erkennen. Und gerade bei mehreren gleichzeitig laufenden Crawls mit vielen Verbindungen zwischen Hosts braucht die Erstellung des Graphen sicher auch nicht unerheblich Rechenzeit.

Ich beobachte gern meinen Crawler, das Bild brauche ich dazu aber nicht. Ich würde es gern abschalten können. Vielleicht über eine Checkbox direkt auf der Seite, ähnlich wie man bei der RAM-Überwachung die Aktualisierung der Grafik zu- und abschalten kann?

EDIT: Und noch ein Wunsch dazu: Aktuell werden Bild und aktuell gecrawlte Seiten nur dann angezeigt, wenn lokale Crawls laufen. Laufen aktuell nur Remote Crawls, wird beides nicht angezeigt. Das Bild brauche ich, wie gesagt, nicht, aber ich würde mir wünschen, dass die aktuell gecrawlten Seiten auch dann angezeigt werden, wenn nur Remote Crawls laufen.
zottel
 
Beiträge: 51
Registriert: Mi Jan 16, 2013 3:04 pm

Re: Abschalten der Visualisierung in der Crawler-Überwachung

Beitragvon flegno » Fr Okt 03, 2014 5:55 am

Hallo,
zottel hat geschrieben:Ich beobachte gern meinen Crawler, das Bild brauche ich dazu aber nicht. Ich würde es gern abschalten können.
Willkommen im Club der Visualisierungs-Abstinenzler ;) !

Falls du noch nicht gesehen hast - ich habe vor einem Monat dazu den Thread Deaktivierung der Grafikerstellung ermöglichen und zwei Berichte:
im Mantis erstellt. Wie in Kommentaren zu lesen ist, existieren offensichtlich grundsätzlich unterschiedliche Ansichten auf die Notwendigkeit einer permanenten Visualisierung bzw. über die Beeinträchtigung der CPU-Performance durch die Visualisierung, bleibt für interessierte/betroffene YaCy-Anwender wohl nichts anderes übrig, als das Heft des Handelns selbst in die Hand zu nehmen und die gewünschten Features kostenpflichtig in Auftrag zu geben. Was für Kosten dabei fällig sind, das würden dann die Entwickler in entsprechenden Preisangeboten bekanntgeben.

@ zottel:
Würde mich auf eine Rückmeldung freuen, ob eine kostenpflichtige Bestellung für dich grundsätzlich infrage käme. Man kann ja ggf. eine Sammelbestellung machen. Die realisierte Lösung - hier „Abschalten der Visualisierung in der Crawler-Überwachung" steht nach der Bereitstellung entsprechend der GPL-Lizenz der Allgemeinheit zur Verfügung. Also ist meine Idee, dass die Interessente im Vorfeld vereinbaren können
, dass die Kosten anteilig getragen werden.

zottel hat geschrieben:ich würde mir wünschen, dass die aktuell gecrawlten Seiten auch dann angezeigt werden, wenn nur Remote Crawls laufen.
So ein Feature vermisse ich übrigens auch.
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: Abschalten der Visualisierung in der Crawler-Überwachung

Beitragvon Erik_S » Fr Okt 03, 2014 2:16 pm

Hallo,

laut Orbiter wird die Graphik auf '/Crawler_p.html' per Java-Script erzeugt und angezeigt, also warum nicht einfach für diese Seite Java-Script abschalten? Bei mir ist damit die CPU-Last komplett weg und es wird keine Graphik mehr neu gerendert.

flegno hat geschrieben:Wie in Kommentaren zu lesen ist, existieren offensichtlich grundsätzlich unterschiedliche Ansichten ...
Du hast die CPU-Last als Ursache für Bugs in der Webgraph-Library angenommen:
flegno hat geschrieben:Die CPU-Last ist zwar die Ursache, aber diese Ursache ist deswegen ernst zu nehmen, da diese immer wieder zu den YaCy-Abstürzen führt.
aber da die Webgraph-Library für die Crawler-Überwachung gar nicht verwendet wird fällt es mir noch immer schwer da einen Zusammenhang zu sehen.

Letzten Endes gibt es meiner Meinung nach nur zwei echte Gründe für das Abschalten der Graphik auf '/Crawler_p.html' : die ist Graphik uninteressant oder die CPU-Last (auf dem PC wo der Browser läuft) ist zu hoch.
Beides sind absolut nachvollziehbare Gründe und an diesen ist definitiv nichts auszusetzen. In der Hinsicht ist es natürlich bedauerlich das dieser Wunsch bei Orbiter so weit hinten auf der Dringlichkeitsliste steht, aber da sich das Problem auch einfach auf der Browser-Seite lösen lässt und es meiner Meinung nach deutlich wichtigere Probleme in YaCy gibt kann ich das gut nachvollziehen. Durch Abschalten von Java-Script im Browser lassen sich so weit ich sehen konnte alle automatischen Graphiken und auch der News-Ticker auf '/Status.html' abschalten.

Bitte versteht mich nicht falsch, der Wunsch nach Abschaltbarkeit der Graphiken ist absolut verständlich, nur sollten dafür keine irrelevanten Gründe (wie Bugs im Code) aufgeführt werden.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: Abschalten der Visualisierung in der Crawler-Überwachung

Beitragvon zottel » Mo Okt 06, 2014 8:22 am

Hallo Ihr zwei,

da geht wohl ein bisschen was durcheinander. :-)

Die CPU-Last auf dem Rechner, mit dem ich das betrachte, ist mir egal. Dass die Grafik per JS im Browser erzeugt wird, gilt aber nur dann, wenn gleichzeitig nur ein Host durchsucht wird. Das ist bei mir fast nie der Fall.

Sobald mehrere Hosts beteiligt sind (d.h die Grafik nicht sozusagen „windradförmig“ aussieht, mit vielen gebogenen Linien, sondern gerade Linien hat, mit Hostnamen dran), wird die Grafik auf dem yacy-Server erzeugt. Wie ich unter den Links jetzt gelesen habe, soll der dafür genutzte Code wohl recht performant sein.

Gilt das auch dann noch, wenn so viele Verbindungen dargestellt werden, dass das Bild praktisch komplett schwarz ist und überhaupt nichts mehr zu erkennen ist?

Ich meine, dass man sich die Rechenzeit dafür sparen könnte, aber wenn es so wenig ist wie beschrieben, gibt es sicher wichtigere Dinge zu tun. Und nein, es ist mir nicht so wichtig, dass ich dafür zahlen würde :-)

Viele Grüße, zottel
zottel
 
Beiträge: 51
Registriert: Mi Jan 16, 2013 3:04 pm

Re: Abschalten der Visualisierung in der Crawler-Überwachung

Beitragvon flegno » Mo Okt 06, 2014 9:25 am

Hallo,
zottel hat geschrieben:Sobald mehrere Hosts beteiligt sind (d.h die Grafik nicht sozusagen „windradförmig“ aussieht, mit vielen gebogenen Linien, sondern gerade Linien hat, mit Hostnamen dran), wird die Grafik auf dem yacy-Server erzeugt. Wie ich unter den Links jetzt gelesen habe, soll der dafür genutzte Code wohl recht performant sein.

Gilt das auch dann noch, wenn so viele Verbindungen dargestellt werden, dass das Bild praktisch komplett schwarz ist und überhaupt nichts mehr zu erkennen ist?

Ich meine, dass man sich die Rechenzeit dafür sparen könnte, aber wenn es so wenig ist wie beschrieben, gibt es sicher wichtigere Dinge zu tun.

Vertrauen darauf, dass die Vermutungen der Entwickler über die Performance des von ihnen gelieferten Code anstellen, stimmen, ist gut, handfeste messbare vergleichbare Werte, Statistiken aus der Praxis sind aber hilfreicher. Du kannst doch eine Antwort auf deine Frage
zottel hat geschrieben:Gilt das auch dann noch, wenn so viele Verbindungen dargestellt werden, dass das Bild praktisch komplett schwarz ist und überhaupt nichts mehr zu erkennen ist?
mit wenig Aufwand selbst rausfinden. Falls du mit Linux unterwegs bist, hat Linux bestimmt Tools, womit man CPU-Leistung messen kann. Ich habe unter Windows gemessene CPU-Auslastung im Wiki veröffentlicht. Würde mich freuen, wenn die CPU-Auslastung-Galerie fortgesetzt, vervollständigt wird :P .

Gruss, flegno
Zuletzt geändert von flegno am Mo Okt 06, 2014 10:26 am, insgesamt 1-mal geändert.
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: Abschalten der Visualisierung in der Crawler-Überwachung

Beitragvon zottel » Mo Okt 06, 2014 10:06 am

Naja, aber ich kann doch da keine aussagekräftigen Werte zur Bilderzeugung herausfinden. Ob das nun viel CPU braucht oder nicht, es wird mit Sicherheit wesentlich deutlichere Auswirkungen haben, ob der Crawler gerade mit 1500 Seiten/Minute oder mit 20 Seiten/Minute unterwegs ist. Da das ständig schwankt, kann ich keinerlei belastbaren Aussagen darüber treffen, wie stark die Erzeugung der Grafik auf die CPU geht.

Das würde nur mit direkten Messungen im Debugger gehen, aka Profiling, aber ich werde ganz bestimmt nicht anfangen, mir den yacy-Quellcode in eine IDE zu laden und mit Debug-Symbolen zu kompilieren, nur um zu messen, wie viel Zeit die entsprechende Funktion braucht. ;-)
zottel
 
Beiträge: 51
Registriert: Mi Jan 16, 2013 3:04 pm

Re: Abschalten der Visualisierung in der Crawler-Überwachung

Beitragvon Orbiter » Mi Okt 08, 2014 4:14 pm

das Feature ist nun da, als Teil des neuen 'decorations' Konzeptes: viewtopic.php?p=30939#p30939
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Abschalten der Visualisierung in der Crawler-Überwachung

Beitragvon zottel » Do Okt 09, 2014 2:42 pm

Perfekt, eben gleich gesetzt. Vielen Dank!
zottel
 
Beiträge: 51
Registriert: Mi Jan 16, 2013 3:04 pm


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste