rasut2 - Meine ersten Fragen zu Config der Suma

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon ramfresser » Do Sep 25, 2014 9:44 am

Guten Morgen

Seit fast 55 Stunden läuft meine Testsuchmaschine und mir reicht es langsam, den Robots zu zu schauen, wie sie durch das Netz wirbeln. Nun zu meinen Fragen:

1. Wo und wie kann ich den Namen des Crawler ändern?

2. Wo und wie kann ich die CPU und Arbeitsspeicherauslastung für die Suchmaschine festlegen?

3. Gibt es ein deutsches Handbuch für den Adminisrationsbereich?

4. Gibt es eine Möglichkeit den Quelltext in der Searchseite zu bearbeiten und wenn ja wo finde ich die Datei?

LG Patrick alias ramfresser
Zuletzt geändert von ramfresser am Fr Sep 26, 2014 11:35 am, insgesamt 2-mal geändert.
ramfresser
 
Beiträge: 28
Registriert: Di Sep 23, 2014 3:57 pm

Re: Meine ersten Fragen zu Config der Suma

Beitragvon flegno » Do Sep 25, 2014 11:56 am

Moin,
ramfresser hat geschrieben:3. Gibt es ein deutsches Handbuch für den Adminisrationsbereich?
4. Gibt es eine Möglichkeit den Quelltext in der Searchseite zu bearbeiten und wenn ja wo finde ich die Datei?
Ich habe keine Antworten auf die anderen Fragen, da ich selbst ersta seit etwa einem Monat mich mit YaCy beschäftige, aber hier ein Paar Hilfestellungen
  1. für die Anfänger ist es hilfreich im YaCy-Wiki rumzustöbern
  2. Layout der Suchseite anpassen
  3. es lohnt sich, die Forum-Suche und oder die Suchmaschine deines Vertrauens ab und zu zu bemühen ;)
  4. diese Anleitung Wie man Fragen richtig stellt? finde ich ist zielführend bei den Recherchen nach Lösungen und Lösungsansätzen :?
Und wenn man bei der Anwendung von YaCy auf weiterführende Ideen, Lösungsansätze kommt , dann gibt es hier die Wunschliste :P

Gruss, Gustav
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: Meine ersten Fragen zu Config der Suma

Beitragvon Erik_S » Do Sep 25, 2014 10:20 pm

Hallo,

ramfresser hat geschrieben:Wo und wie kann ich den Namen des Crawler ändern?
Was genau meinst Du, etwa den User-Agent den der Crawler benutzt?

ramfresser hat geschrieben:Wo und wie kann ich die CPU und Arbeitsspeicherauslastung für die Suchmaschine festlegen?

Auf /Performance_p.html kannst Du u.a. die Einstellungen für den RAM vornehmen. Bedenke dabei das die Menge RAM die Du YaCy zubilligst von YaCy auch komplett benutzt werden wird also setze den Wert nicht zu hoch. Für die meisten Dinge sollte der Default-Wert eigentlich passen.
Die Verwendung der CPU kann man grundsätzlich nicht limitieren, Du kannst aber die Priorität von YaCy in den Start-Scripten beeinflussen, so das andere Programme trotzdem immer bevorzugt an die CPU kommen. Auch hier sollte die Default-Einstellung für die meisten Scenarien passen. YaCy beansprucht die CPU eigentlich nur recht wenig, der RAM-Verbrauch dürfte für viele ältere Computer eher ein Problem sein.

ramfresser hat geschrieben:Gibt es ein deutsches Handbuch für den Adminisrationsbereich?
Klick Dich ruhig mal komplett durch, solange Du nicht auf "speichern" klickst sollte auch nichts kaputt gehen. Die meisten Texte sind recht aussagekräftig, wenn dennoch etwas unklar bleibt dann das YaCy-Wiki benutzen oder hier im Forum konkret nachfragen.
Du kannst die Sprache der Administrationsoberfläche auch auf Deutsch einstellen.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: Meine ersten Fragen zu Config der Suma

Beitragvon ramfresser » Fr Sep 26, 2014 10:34 am

Hallo

Danke für eure Antworten.

Erik_S hat geschrieben:Hallo,

ramfresser hat geschrieben:Wo und wie kann ich den Namen des Crawler ändern?
Was genau meinst Du, etwa den User-Agent den der Crawler benutzt?


Ich habe einen crawl auf mein eigenes Forum gestartet und im Forum im Bereich "Wer ist wo online", welche Browserkennung der Crawler hat. Die Bezeichnung die in der Browserkennung erscheint, möchte ich ändern aber wie?

LG Patrick alias ramfresser
ramfresser
 
Beiträge: 28
Registriert: Di Sep 23, 2014 3:57 pm

Re: Meine ersten Fragen zu Config der Suma

Beitragvon Erik_S » Fr Sep 26, 2014 11:23 am

Hallo,

ramfresser hat geschrieben:.... welche Browserkennung der Crawler hat. Die Bezeichnung die in der Browserkennung erscheint, möchte ich ändern aber wie?
Die Browserkennung ist der User-Agent.
Ich weis nicht ob es für dieses Detail ein offizielles Eingabefeld gibt aber unter /ConfigProperties_p.html gibt es in der Liste die Parameter crawler.userAgent.name und crawler.userAgent.string, falls Du Dich traust (das ist sowas wie die Registry in YaCy) kannst Du damit mal probieren. Einfach in der Liste anklicken und unten im rechten Feld einen anderen Wert eintragen und speichern. Theoretisch dürfte bei diesen beiden Parametern nichts kritisches kaputt gehen.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon Orbiter » Fr Sep 26, 2014 3:00 pm

diese Option arbeitet nur im allip-Netzmodus und ich empfehle dringend davon abzusehen diese Einstellung zu benutzen und/oder den User Agent zu ändern. Das hat mit den Anstandsregeln im Internet und dem Design von Suchmaschinen zu tun. An den User Agent Einstellungen hängen auch Mindestzeiten des Crawlers und die Einstellung lässt ausserdem keinen Namen zu, der das Wort 'YaCy' irgendwodrin hat. Wer diese Einstellung ändert ist also 'ausserhalb des YaCy-Projektes'. Ich sehe auch keinen Sinn darin den User-Agent zu ändern. Was ist denn das Problem?
Orbiter
 
Beiträge: 5793
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon ramfresser » Fr Sep 26, 2014 5:53 pm

Hallo

Irgendwie habe ich gerade das Gefühl in einem Wespennest zu sitzen.

Wir reden hier von der Browserkennung des yacybot die er beim Besuch der Webseite hinterlässt. Jede Suchmaschine benennt ihren crawlerbot so, wie die Suchmaschine heißt.

Das mir alleine von der Umbenennung dringend abgeraten wird, finde ich schon etwas komisch und unverständlich.

Sorry aber verstehen tue ich das nicht.

LG Patrick alias ramfresser
ramfresser
 
Beiträge: 28
Registriert: Di Sep 23, 2014 3:57 pm

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon flegno » Sa Sep 27, 2014 6:39 am

Hallo Patrick,

ramfresser hat geschrieben:1. Wo und wie kann ich den Namen des Crawler ändern?
[...]
Irgendwie habe ich gerade das Gefühl in einem Wespennest zu sitzen.
G'rade solche Konstellationen, unerwartete Entwicklungen, Wendungen, Verwicklungen habe ich im Blick gehabt, als ich dir empfohlen habe, pro Problem/Frage/Anregung/Verbesserungsvorschlag _ein_ Posting zu erstellen. Als Fragesteller weiss man nie, ob aus einer (scheinbar) Lappalie eine verwickelte Diskussion sich entwickelt :!: . Da ist es kompliziert genug, einem Strang zu folgen. Wenn du aber 5,10, 15 Fragen im Startposting gekippt hast, dann ... Einen Überblick über alle deine Fragen bekommst du zeitsparend in deinem Persönlichen Bereich - "Übersicht > Deine Aktivität > Deine Beiträge anzeigen".
ramfresser hat geschrieben:1. Wo und wie kann ich den Namen des Crawler ändern?
Was für dich eine Lappalie und Selbstverständlichkeit ist und wofür du bestimmt Gründe hast, dies so zu handhaben, kann ein Mitforist bzw.in diesem Falle ein Entwickler etwas oder ganz anders sehen 8-) . Wäre ich ramfresser und wäre mir diese Möglichkeit, "den Namen des Crawler ändern" essenziell wichtig, würde ich die Zeit investieren und im http://bugs.yacy.net einen Verbesserungsvorschlag erfassen - gefühlsneutral. Der Bugtracker ist nämlich dazu da, auch um Ideen und Verbesserungsvorschläge zu sammeln. Zu so einem Verbesserungsvorschlag gehört selbstverständlich eine Begründung, welche Vorteile eine Crawlerbot-Umbenennung für dich/für das YaCy-Proiekt hat. Das fehlt nämlich bis jetzt, so eine Begründung. Ich schätze, dass der Posting im bugs.yacy.net nicht zwangsläufig in Englisch verfasst werden muss. Obwohl eine einheitliche Sprache im Bugtracker erhebliche Vorteile hat. So könntest du ggf. vor dem Posten im Bugtracker recherchieren, ob dieses Thema dort bereits behandelt wurde. Wenn man zweisprachig fährt, dann ist auch jeweils eine Recherche pro Sprache fällig. Und eine Garantie, dass zeitnah eine Reaktion auf deinen Verbesserungsvorschlag erfolgt, gibt es nicht - ist halt eine ehrenamtliche Leistung :).

Die ausführliche Diskussion zu diesem Verbesserungsvorschlag kann dann auch hier im Forum ausgetragen werden - mit allen Einzelheiten.

Gruss, flegno
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon Erik_S » Sa Sep 27, 2014 1:14 pm

Hallo,

da ich derjenige war der den Tipp zum Ändern des User-Agents gegeben hat möchte ich mich dafür entschuldigen das ich so unbedarft eine kritische Einstellung zum Ändern vorgeschlagen habe.
Auf der anderen Seite muss ich auch Orbiter zustimmen wenn er fragt was denn eigentlich das Problem mit dem Default-User-Agent von YaCy ist. Diese Frage hätte eigentlich gleich von mir kommen sollen bevor ich Tipps gebe ein Problem zu lösen das vielleicht gar keines ist, sorry.

Orbiter hat geschrieben:diese Option arbeitet nur im allip-Netzmodus
Was genau ist dieser "allip-Netzmodus"? Eine Suche danach hat nichts brauchbares ergeben.

Orbiter hat geschrieben:ich empfehle dringend davon abzusehen diese Einstellung zu benutzen und/oder den User Agent zu ändern.
Warum?

Orbiter hat geschrieben:Das hat mit den Anstandsregeln im Internet und dem Design von Suchmaschinen zu tun.
Anständig wäre es auch wenn Web-Seiten diesen User-Agent nicht zum Browser-Fingerprinting benutzen würden, siehe https://panopticlick.eff.org/. Ich kann zumindest verstehen wenn die Leute versuchen in einer größeren Masse unterzutauchen um zumindest etwas an Anonymität zu behalten. Dem Design von HTTP würde es meiner Meinung nach gut zu Gesicht stehen wenn es dieses Header-Feld als depricated einstufen und stattdessen ein Header-Feld definieren würde in dem der Browser seine grundlegenden Fähigkeiten (z.B. Unterstützung von JavaScript bis zur Version X oder CSS bis Version X oder Unterstützung von HTML5 oder "mediasource:" usw.) mitteilen kann, gerade im Hinblick auf die Anfälligkeit (fast) aller Browser für spezifische Angriffe wäre es sehr von Vorteil wenn der Browser ansich dem Web-Server gegenüber so anonym wie möglich bleibt.

Orbiter hat geschrieben:An den User Agent Einstellungen hängen auch Mindestzeiten des Crawlers und die Einstellung lässt ausserdem keinen Namen zu, der das Wort 'YaCy' irgendwodrin hat. Wer diese Einstellung ändert ist also 'ausserhalb des YaCy-Projektes'.
In jedem Browser ist der User-Agent änderbar ohne dass das Auswirkungen auf die Funktionsweise des Browsers selber hat, nur mache Web-Seiten liefern je nach User-Agent verschiedenen Content aus.
Warum hat der nach außen gesendete User-Agent Auswirkungen auf die Funktionsweise von YaCy selber? Wäre es ein Kompromiss zumindest das Mitsenden des User-Agents abschaltbar zu machen ohne dass das Auswirkungen auf YaCy selber hat?

Orbiter hat geschrieben:Ich sehe auch keinen Sinn darin den User-Agent zu ändern.
Ich bin da mal ganz frech, nur weil Du keinen Sinn siehst heißt das nicht das keiner da wäre. Die Frage nach diesem Sinn ist natürlich trotzdem berechtigt.

ramfresser hat geschrieben:Sorry aber verstehen tue ich das nicht.
Da möchte ich mich ramfresser ganz klar anschließen, auch ich verstehe nicht wo eigentlich das konkrete Problem ist wenn der YaCy-Crawler einen anderen User-Agent-String mitschickt.
Wobei auch klar festzuhalten ist das in diesem Thread ebenfalls nicht erklärt wurde welches Problem der Default-User-Agent von YaCy eigentlich verursacht.

Ich hoffe das beide Standpunkte klar erläutert werden damit auch eine vernünftige Diskussion möglich ist.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon ramfresser » Sa Sep 27, 2014 2:10 pm

Hallo

Ich habe von keinerlei Problem gesprochen.

Für mich war die Frage nach der Namensänderung ganz einfach in der Tatsache begründet:

Google = Googlebot

Yahoo = yahoobot

Suma ramfresser = Suma ramfresser Bot

Das ich damit eine solche Diskussion auslöse wäre mir nie in den Sinn gekommen, denn ich bin nur ein Anwender und kein Profi oder so.

LG Patrick Popelka
ramfresser
 
Beiträge: 28
Registriert: Di Sep 23, 2014 3:57 pm

demnächst hat die YaCy-Lösung evtl. ein Paar Features mehr

Beitragvon flegno » So Sep 28, 2014 11:11 am

Hallo,
ramfresser hat geschrieben:Das ich damit eine solche Diskussion auslöse wäre mir nie in den Sinn gekommen, denn ich bin nur ein Anwender und kein Profi oder so.
Patrick, wenn es ein Versuch ist, sich klein zu machen, dann ist es vergebens :P .In der freien Software-Community sind die Anwender genauso wichtig wie die Entwickler. Gerade deswegen hat YaCy und nicht Bingooo das Rennen gemacht s. freie Software-Bewegung vs. proprietäre Softwareentwicklung: Fallbeispiel YaCy – Bingooo. Ich habe jetzt eine kleine [1] Inventur meiner Postings im forum.yacy-websuche.de gemacht. Und schau mal, Patrick, gleich nach zwei Tagen nach der Anmeldung im Forum hat mein Verbesserungsvorschlag eine sichtbare Veränderung in der Admin-Oberfläche bewirkt. Und noch nach 2 Tagen genauso ein Verbesserungsvorschlag (Postings 30462 und 30484).

Du als Anwender hast einen unverstellten Blick und entdeckst bzw. siehst Dinge, an die u.U. die Entwickler sich evtl. fälschlicherweise gewöhnt haben :) . Und wenn du Dinge so beschreibst, wie du diese siehst, dann profitieren alle davon. Vlt. nicht sofort. In meiner Liste [1] sind Wünsche, Vorschläge, Fragen aufgeführt, auf die (noch) keine Reaktion erfolgt ist. Macht nichts. Ich mache diese Tage aus [1] eine Auswahl von Fragen, die in einem Projekt ggf. relevant sein könnten. Und wenn bei der Anfrage an http://pro.yacy.net/ die Relation Preis/Leistung für beide Seiten OK ist, dann hat demnächst die YaCy-Lösung ein Paar Features mehr.

Anmerkung: Die Linkliste "Weitere Quellen ..." in [1] enthält die gleiche Webseiten wie oben - nur eine andere Ansicht bzw. Beschriftung.

Guss, flegno
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon Erik_S » So Sep 28, 2014 5:06 pm

Hallo,

ramfresser hat geschrieben:Ich habe von keinerlei Problem gesprochen.
Aber Du hast um eine Lösung gebeten. Sorry für die Spitzfindigkeit aber wenn eine Frage gestellt wird dann geht man immer davon aus das es einen wichtigen Grund gibt.
Das in Deinem Forum nur Googlebot angezeigt wird liegt eventuell daran das der tatsächliche User-Agent-String (siehe http://user-agent-string.info/list-of-ua/bot-detail?bot=Googlebot) von der Forum-Software erkannt wird und automatisch zu "Googlebot" gekürzt wird. Für YaCy funktioniert diese Erkennung vermutlich nicht und deswegen wird Dir einfach der komplette User-Agent-String angezeigt.

zum Thema:
Ich hab mal auf http://user-agent-string.info/list-of-ua/bot-detail?bot=yacybot nachgeschaut was der YaCy-Crawler so meldet und war entsetzt wie viel YaCy über das verwendete System verrät.
CPU-Architektur, exaktes Betriebssystem und exakte Java-Version gehen den Serverbetreiber definitiv rein gar nichts an!
Mehr als
Code: Alles auswählen
yacybot (compatible; YaCy/1.80; +http://yacy.net/bot.html)
sollte der User-Agent nicht enthalten (Die Versionsnummer hinter YaCy/ sollte auch maximal 2 Stellen nach dem Punkt haben, mehr geht keinen Serverbetreiber was an).
Anstand hin oder her aber man muss niemanden zu viele Informationen über sich verraten und wenn ich mir die User-Agent-Strings der anderen Bots auf der verlinkten Webseite so ansehe dann ist mein Vorschlag sehr konform und recht präzise. Wenn ich mich in der Offline-Welt in Geschäften nach Produkten suche werde ich doch auch nicht nach meiner Schuhgröße und Kontostand gefragt. Schon aus Gründen der Sicherheit sollte man niemanden zu genau verraten welche Software in welcher exakten Version auf dem eigenen System läuft, man muss ja niemanden geradezu auffordern das eigene System anzugreifen.

Ich sehe hier auf jeden Fall Handlungsbedarf und möchte daher vorschlagen das die verantwortlichen Programmierer zu diesem Thema noch mal konkret Stellung beziehen.

Mit einem derartigen User-Agent werde ich meinen YaCy-Installationen jedenfalls nicht erlauben im öffentlichen Internet zu crawlen. Vielleicht bin ich ja paranoid aber ich habe (leider schmerzlich) gelernt das Verschwiegenheit ein wesentlicher Bestandteil von Sicherheit ist.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon ramfresser » So Sep 28, 2014 6:33 pm

Hallo

Als reine Info: In meiner "Wer ist wo online" Liste, werden fast 180 Suchmaschinen erkannt. Ich sammel seit über zehn Jahre schon Browserkennungen, wobei ich glaube das die Sammlung nie ein Ende nehmen wird.

Ich habe mir auch die verlinkte Liste angeschaut und denke, bestimmte Informationen sollte der Bot wirklich nicht preisgeben. Dem Nutzer der Software sollte aus meiner Sicht, die Möglichkeit gegeben werden, selber zu entscheiden, was der Bot anzeigt oder nicht anzeigt.

LG Patrick alias ramfresser
ramfresser
 
Beiträge: 28
Registriert: Di Sep 23, 2014 3:57 pm

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon lux » Mi Okt 08, 2014 11:30 am

Hi,

ich möchte dieses Thema hier noch einmal aufwärmen, da auch ich Eriks Bedenken teile, was die Details anbelangt, die der YaCy-Crawler über sich selbst preisgibt. vgl. http://user-agent-string.info/list-of-u ... ot=yacybot

Erik_S hat geschrieben:CPU-Architektur, exaktes Betriebssystem und exakte Java-Version gehen den Serverbetreiber definitiv rein gar nichts an!

Erik_S hat geschrieben:Mit einem derartigen User-Agent werde ich meinen YaCy-Installationen jedenfalls nicht erlauben im öffentlichen Internet zu crawlen.


Ja, obige Aussage gilt auch für mich.

Und eigentlich sollten diese Angaben
Erik_S hat geschrieben:yacybot (compatible; YaCy/1.80; +http://yacy.net/bot.html)


doch ausreichen. Welche Gründe sprechen gegen diese schlanken Angaben?

Gruß
lux
lux
 
Beiträge: 42
Registriert: Sa Jun 01, 2013 9:49 am

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon ramfresser » Mi Okt 08, 2014 1:21 pm

Hallo

Ja schlanker auf jeden Fall und nach meiner Ansicht bitte auf die Möglichkeit das der Betreiber der Suchmaschine selber bestimmen kann was dort angezeigt werden kann oder nicht.

LG Patrick alias ramfresser
ramfresser
 
Beiträge: 28
Registriert: Di Sep 23, 2014 3:57 pm

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon lux » Do Nov 06, 2014 6:45 am

Hallo,

noch einmal die Frage an die YaCy-Devs bzgl. des 'crawler.userAgent.string'. Wozu soll der yacybot Auskunft über sein Betriebssystem, seine Java-Version, etc geben?
vgl. http://udger.com/resources/ua-list/bot- ... ot=yacybot

Zum korrekten Anzeigen einer Webseite sind solche Informationen gewiss hilfreich - aber beim Crawlen? Nach meinem Verständnis besteht für die Preisgabe dieser Daten keine Notwendigkeit, aber vielleicht übersehe ich ja etwas dabei.

Ich würde mir jedenfalls wünschen, diese Informationen auf ein Minimum zu reduzieren und nur soviele Angaben zu machen, wie die Nettiquette verlangt. Hinsichtlich meiner Privatsphäre wäre mir wohler dabei.

Ich würde deshalb gern verstehen, weshalb der 'crawler.userAgent.string' so ausführlich ist. Wer erklärt's mir?


Viele Grüße
lux
lux
 
Beiträge: 42
Registriert: Sa Jun 01, 2013 9:49 am

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon flegno » Do Nov 06, 2014 9:20 am

Hallo,
lux hat geschrieben:Ich würde deshalb gern verstehen, weshalb der 'crawler.userAgent.string' so ausführlich ist. Wer erklärt's mir?
ich vermute mal, dass nur Orbiter und/oder noch ein Paar Entwickler vom Kernteam diese Frage beantworten können.
Erik_S im Thread YaCy und Add-ons hat geschrieben:Vielleicht findet ja noch jemand die Zeit das in diesem Thread gewonnene Wissen in den Wiki-Artikel über den Proxy in YaCy einzupflegen, damit in Zukunft ein kurzer Hinweis/Link reicht falls noch jemand nicht weiß was die Grenzen eines Proxy sind.

Die ausstehenden Antworten bzw. Lösungen bei diesen zwei Themen "geschwätziger Crawler" und "YaCy und Add-ons" sind evtl. nicht zuletzt durch den chronischen Zeitmangel bei den Entwicklern verursacht. Ich verspreche mir ein wenig Licht :idea: am Ende des Zeitmangel-Tunnels durch diesen Losungsatz:
  1. wer Zeit und Lust hat, trifft sich für eine entspannte Plauderrunde im Mumble
  2. man beantwortet gegenseitig evtl. Fragen - das Wissenspool der Community ist immer größer als die Kenntnisse des Einzelnen. Die Wiki-Artikel können bei den routinierten Abläufen helfen, wenn dem Artikel-Verfasser gelungen ist, die Vorkenntnisse des zukünftigen Lesers zu erraten und zu berücksichtigen. Insbesondere bei den Anfängern tauchen massenweise neue Fragen beim Lesendes Artikels :roll:. In einem Mumble-Gespräch lassen sich diese und einige besonders komplizierte Fragen für alle Beteiligten zeitsparender klären - meine Erfahrung.
  3. und - ta-ta :P - durch diese gegenseitige Hilfe bleiben weniger Fragen beim YaCy-Kernteam hängen, wodurch die Entwickler ggf. eine Chance bekommen, sich Neuentwicklungen oder besonders komplizierten Fragen zu widmen - bspw. auch in der Mumble-Runde ;).
Ich habe die Dudle-Umfrage https://dudle.inf.tu-dresden.de/yacy201411/ für die Ermittlung eines Termins für ein Mumble-Treffens aufgefrischt und meine Termine eingetragen. Vlt. erübrigt der/die eine (e) oder MitforistIn noch vor der Weihnachtszeit eine Stunde für ein Mumble-Treffen. Wer eine andere als 19:00 Uhrzeit im Dudle braucht, kann auf den Menüpunkt "Spalten bearbeiten" klicken und dann mit einem Klick auf die "Nicht gewählt"-Schaltfläche weitere Uhrzeiten an den entsprechenden Tagen hinzufügen.

Gruss, flegno
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon Erik_S » Sa Nov 08, 2014 10:20 am

Hallo,

lux hat geschrieben:Zum korrekten Anzeigen einer Webseite sind solche Informationen gewiss hilfreich
Nein, sind sie nicht! Ein Web-Server interessiert sich eventuell dafür das z.B. der Browser in der Lage ist das gewählte Medien-Format (MP4 oder FLV) anzuzeigen oder ob der Browser Java-Script korrekt ausführen kann, aber auf was für einem Betriebssystem oder was für einer CPU-Architektur ein Browser läuft ist für keinen Web-Server eine benötigte Information. Die Serverbetreiber interessieren sich zwar dafür und loggen das auch aber eher aus Neugierde oder zum Ausschnüffeln der Besucher oder zum Erstellen von Statistiken. In meinem Browser hab ich den User-Agent auf "Firefox/XX" gekürzt und fertig, ich kann zumindest keinerlei Einschränkungen dadurch erkennen. Für einen Suchmaschinen-Bot gibt es ebenfalls keinen Grund so viele intime Details über den PC zu verraten. Gerade die exakte Version der Java-VM ist meiner Meinung nach eine sehr kritische Information da damit eventuell Angriffe möglich werden die sich speziell auf diese Java-VM-Version richten.

Da YaCy Open-Source ist ist aber niemand auf die Hilfe der Entwickler angewiesen um dieses Problem zu lösen. Es sollte reichen den String im Quell-Text zu suchen und dort zu ändern und einmal neu kompilieren und schon ist YaCy weniger geschwätzig. Es wäre aber definitiv schöner wenn die Entwickler diesen minimalen Eingriff selber vornehmen würden, schon damit die Anwender das nicht nach jedem Update erneut machen müssen.

lux hat geschrieben:Hinsichtlich meiner Privatsphäre wäre mir wohler dabei.
Es geht dabei nicht um Privatsphäre, die wird durch die IP-Adresse sehr viel mehr beeinträchtigt, es geht um die Sicherheit Deines PCs. Oder denke mal an die Leute die YaCy auf einem Root-Server im Internet betreiben, so ein Server kann durchaus ein lohnendes Ziel sein und wenn man solch intime Details des Servers bzw. der dort laufenden Software einfach so veröffentlicht ist das meiner Meinung nach eine direkte Einladung an jeden der sich da angesprochen fühlen mag.

flegno hat geschrieben:Ich habe die Dudle-Umfrage https://dudle.inf.tu-dresden.de/yacy201411/ für die Ermittlung eines Termins für ein Mumble-Treffens aufgefrischt und meine Termine eingetragen.
Ich hab mich ebenfalls mal großzügig eingetragen. Es ist mir persönlich schon wichtig das YaCy sich weiterentwickelt und dabei auch die Wünsche/Probleme der Anwender berücksichtigt werden. Es wäre wirklich von Vorteil wenn sich auch einer der YaCy-Entwickler zur Teilnahme entschließen könnte.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon lux » Mi Nov 12, 2014 9:52 am

Hi Erik,

vielen Dank für diese ausführliche Erklärung. Ich werde Deinen Tipp - den 'user-agent-string' im Quelltext zu ändern - aufgreifen und Yacy neu kompilieren.

Viele Grüße
lux
lux
 
Beiträge: 42
Registriert: Sa Jun 01, 2013 9:49 am

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon flegno » Mi Nov 12, 2014 10:52 am

Hallo,
lux hat geschrieben:Ich werde Deinen Tipp - den 'user-agent-string' im Quelltext zu ändern - aufgreifen und Yacy neu kompilieren.

Für mich als Anwender wäre die ideale Lösung, wenn YaCy-Entwickler derartige Config-Werte in einer Konfigurationsdatei im Textformat (.xml, .cfg, .ini oder Ähnliches) speichern. Dann brauche ich als Anwender keine Kompilierungsvorkenntnisse und eine freie Hand, um zu steuern, was der YaCy-Crawler von sich preisgibt.

Gruss, flegno
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon Erik_S » Mi Nov 12, 2014 7:00 pm

Hallo,

flegno hat geschrieben:Für mich als Anwender wäre die ideale Lösung, wenn YaCy-Entwickler derartige Config-Werte in einer Konfigurationsdatei im Textformat (.xml, .cfg, .ini oder Ähnliches) speichern.
Das ist bereits vorhanden, es werden nur sämtliche Strings abgelehnt die das Wort "yacy" irgendwie enthalten. Das soll wohl Missbrauch o.ä. verhindern aber letztendlich verhindert das effektiv das man einen gültigen User-Agent konfigurieren kann ohne am Quell-Code rumfummeln zu müssen. Gearscht sind also nicht die Leute die wirklich Böses vor haben sondern die normalen User die für Böses gar nicht ausreichend qualifiziert sind, eine Art Problem das Heutzutage relativ häufig vorkommt.

flegno hat geschrieben:Dann brauche ich als Anwender keine Kompilierungsvorkenntnisse und eine freie Hand, um zu steuern, was der YaCy-Crawler von sich preisgibt.
Stell Dir mal die Leute vor die YaCy auf einem Root-Server betreiben. Auf meinem Server ist gar keine Java-Entwicklungsumgebung drauf sondern nur "jre-headless" und mehr nicht. Wenn ich also dort YaCy verändern wollte müsste ich das auf meinen PC zu Hause erledigen dann YaCy neu verpacken, per FTP-Server o.ä. auf meinem heimischen PC freigeben um das per 'wget' am Server zu laden und dort wieder auspacken und dann geht es hoffentlich. Wobei ich auch kein Wireshark o.ä. auf dem Server hab (schwierig auf einem headless-Server) um zu kontrollieren das die Modifikation wirklich den gewünschten Erfolg hatte. Nein das ist deutlich zu aufwendig, selbst für engagierte Anwender.

Ich persönlich bin der Meinung das hier die offiziellen YaCy-Programmierer in der Pflicht sind die passende Modifikation vorzunehmen. Ohne dem werde ich jedenfalls keinem meiner YaCy-Peers erlauben im öffentlichen Internet auf irgendwelchen Web-Servern zu crawlen. Irgendwie schade!

Da mein Heimnetz durch einen SOCKS5-Proxy geschützt ist und YaCy diesen nicht direkt unterstützt hatte ich schon die Idee für mich ein kleines Tool zu programmieren das einen lokalen YaCy-Peer mit dem Proxy verbindet und dabei könnte dieses Tool auch gleich den User-Agent komplett entfernen oder beliebig verändern aber das funktioniert natürlich nur wenn nicht verschlüsselt wird also auch keine wirklich tolle Lösung (wobei YaCy als HTTP-Client die Verschlüsselung wahrscheinlich nicht so genau prüft wie moderne Browser das tun so das man die Verschlüsselung eventuell generell knacken kann ohne das YaCy sich daran stört).

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon flegno » Do Nov 13, 2014 7:38 am

Hallo,
Erik_S hat geschrieben:
flegno hat geschrieben:Ich habe die Dudle-Umfrage https://dudle.inf.tu-dresden.de/yacy201411/ für die Ermittlung eines Termins für ein Mumble-Treffens aufgefrischt und meine Termine eingetragen.
Ich hab mich ebenfalls mal großzügig eingetragen. Es ist mir persönlich schon wichtig das YaCy sich weiterentwickelt und dabei auch die Wünsche/Probleme der Anwender berücksichtigt werden. Es wäre wirklich von Vorteil wenn sich auch einer der YaCy-Entwickler zur Teilnahme entschließen könnte.

Ich habe für den Montag, 17.11.2014, 19:00 bis 21:00 Uhr den Raum 3 auf dem Server mumble://mumble.piratenpartei-nrw.de/ reserviert. Falls der Mumble-Client installiert und mumble: //- Verweise einmalig im Browser dem Mumble-Client zugeordnet sind, gelangt man in den Raum3 mit einem Klick auf diesen Verweis . Optimale Bedingungen für ein Mumble-Treffen sind mMn gegeben, wenn:
  1. der Mumble-Client installiert
  2. die Hardware mit dem Audio-Assistenten konfiguriert und im Idealfall in einem Mumble-Gespräch (in einem beliebigen Mumble-Raum) getestet ist
  3. die Benutzung der Kopfhörer hilft, um die Tonstörungen bei den Gesprächspartnern zu vermeiden
  4. man sich im Vorfeld Gedanken macht und ggf. Themenvorschläge hier [1] http://etherpad.yacy.net/p/Mumble skizziert
  5. das etherpad [1] und das Chat-Fenster im Mumble dafür verwendet werden, um im Gespräch zeitsparend Textnachrichten auszutauschen
Ich freue mich auf das Treffen am Montag :P, flegno
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon flegno » Mo Nov 17, 2014 4:46 pm

Hallo,
flegno hat geschrieben:Ich habe für den Montag, 17.11.2014, 19:00 bis 21:00 Uhr ...

Bei mir hat sich heute ein Termin ergeben, der höhere Priorität hat. Bin 19:00 Uhr nicht dabei. Ich melde mich evtl. erst am Mittmoch.

Gruss, flegno
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: rasut2 - Meine ersten Fragen zu Config der Suma

Beitragvon flegno » Mi Nov 19, 2014 2:55 pm

Hallo,
flegno hat geschrieben: Bei mir hat sich heute ein Termin ergeben, der höhere Priorität hat. Bin 19:00 Uhr nicht dabei. Ich melde mich evtl. erst am Mittmoch.

Der Termin für ein Vorstellungsgespäch, das nicht zuletzt dank meinen Aktivitäten im YaCy-Umfeld zustande gekommen ist und in dem diese Aktivitäten mir einige Pluspunkte beim Arbeitgeber gebracht haben, hat sich unglücklicherweise mit dem Mumble-Termin überschnitten. Dafür habe ich in diesem ziemlich ausgedehnten Vorstellungsgespächstermin einiges in Erfahrung gebracht, was m.E. auch für viele Entwickler wie Anwender im YaCy-Umfeld interessant ist. Ich werde beim nächsten Mumble-Treffen - ein Termin dafür wäre noch zu ermitteln - darüber berichten.

Gruss, flegno
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste

cron