QPH -> metager? 10/sec

Ereignisse, Vorschläge und Aktionen

QPH -> metager? 10/sec

Beitragvon liebel-lab » Do Jan 08, 2009 3:04 pm

Wenn es bei Metager 10 anfragen/ Sekunde gibt (ganz schoen heftig) und Yacy per default mit in die Suche eingebunden ist...
warum sieht man dann in der QPH Tabelle nur immer zwischen 10 und 30 QPHs? (freeworld) ...muesste dass dann nicht alleine durch Metager eher Richtung 36000 QPHs gehen?
liebel-lab
 
Beiträge: 175
Registriert: Sa Jan 26, 2008 7:00 pm

Re: QPH -> metager? 10/sec

Beitragvon Orbiter » Do Jan 08, 2009 4:00 pm

die haben ihre eigenen Robinson-Peers, so weit ich weis. Sonst würde das nicht gehen. Ausserdem geht das nur wenn man keinen Snippet-Fetch macht. Aber dann eben auch kein Problem.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: QPH -> metager? 10/sec

Beitragvon apfelmaennchen » Do Jan 08, 2009 6:45 pm

Tja, metager behauptet ja YaCy sei ein "ausgewählter deutschsprachiger Suchdienste".
Ich hatte in diesem Zusammenhang implizit den Begriff YaCy mit YaCy:freeworld in Verbindung gebracht.

Wenn nun metager eigene Robinson Peers im Einsatz hat, dann ist das ziemlich irreführend, denn wenn die QPHs nicht im freeworld ankommen wird folglich freeworld auch nicht befragt. Wann crawlen denn diese Robinson Peers noch, wenn sie 36.000 QPH beantworten, sprich auf was für einen Index wird dort zurückgegriffen.

Hätte es nicht unser Ziel sein müssen, mit freeworld genau diese Anfragen-Last bewältigen zu können....sonst lohnt sich doch der ganze schöne große Index nicht, oder hab ich da was missverstanden?

Gruß!
apfelmaennchen
apfelmaennchen
 
Beiträge: 429
Registriert: Mo Aug 20, 2007 7:06 pm

Re: QPH -> metager? 10/sec

Beitragvon Vega » Do Jan 08, 2009 8:23 pm

In diesen beiden Threads steht einiges über die Einbindung der Peers in Metager:
http://forum.yacy-websuche.de/viewtopic.php?f=15&t=1274&p=8742&hilit=+Metager#p8742
http://forum.yacy-websuche.de/viewtopic.php?f=7&t=1242&p=9016&hilit=+Metager#p9016

Ich habe meinen Peer seit einiger Zeit wieder in Metager mit eingebunden, die Suchanfragen stürzen nur so auf Ihn ein :) - natürlich wird
DHT dadurch langsamer, Craweln geht nur noch in Suchpausen, also spät Nachts. Vielleicht binden ja noch ein paar von euch Ihre Peers mit
ein, die dadurch gesammelten Erfahrungen sind - denke ich zumindest - auch für unsere Entwickler interessant - und mal ehrlich, bei 10 - 30 QPH's
langweilen sich die Peers doch :mrgreen: ....... Werbung an: Also Mail an wsb@suma-ev.de ......Werbung aus.....

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: QPH -> metager? 10/sec

Beitragvon Orbiter » Do Jan 08, 2009 9:05 pm

apfelmaennchen hat geschrieben:Hätte es nicht unser Ziel sein müssen, mit freeworld genau diese Anfragen-Last bewältigen zu können....sonst lohnt sich doch der ganze schöne große Index nicht, oder hab ich da was missverstanden?

nein, das hätte es nicht, aus mindestens 2 Gründen:
- das YaCy Netz steht vor allem den YaCy Usern zur Verfügung, nicht anderen. Wenn es umgekehrt wäre, so müssten wir werben: "lasst eure Peers laufen, damit metager Inhalte bekommt". Natürlich supporten wir mit unserer Software metager, aber wir sind nicht das metager-support Netz. Das muss natürlich nicht so bleiben, wer eine Initiative gründet nach dem Motto: machen wir ein metager-support-Netz, der kann das! Das ist aber nicht mein Programm, ich propagiere freie Suche für alle, nicht freie Suche nur über metager.
- natürlich muss es nicht so sein das YaCy so wie es ist automatisch ein performantes Netz für ein Portal mit so viel Last ist. Wie bei jeder Produktionsumgebung muss man ein wenig Basteln. Hier würde ich vom Portal aus das Netz über einen Load Balancer ansprechen, nicht nur über einen einzelnen Peer.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: QPH -> metager? 10/sec

Beitragvon Lilirasa » Do Jan 08, 2009 9:06 pm

Hallo!

apfelmaennchen hat geschrieben:...Wann crawlen denn diese Robinson Peers noch, wenn sie 36.000 QPH beantworten, sprich auf was für einen Index wird dort zurückgegriffen.
Hätte es nicht unser Ziel sein müssen, mit freeworld genau diese Anfragen-Last bewältigen zu können....sonst lohnt sich doch der ganze schöne große Index nicht, oder hab ich da was missverstanden?


Ich mutmasse mal, dass Freeworld mit z.Z. nicht mal 100 Aktiven Peers bei voller Anfragenlast von Metager schlicht in die Knie gezwungen würde. Auf jeden Fall käme wahrscheinlich kein Einziger Peer mehr zum crawlen.
Vielleicht wäre aber eine indirekte Anbindung an Metager möglich? Im Groben stelle ich mir einen (oder mehrere?) YACY-Cache-Server (YCS) zwischen Metager und Freenet vor. Bei 36'000 QPH kann man davon ausgehen, dass viele Suchbegriffe mehrfach gesucht werden. Der YCS führt dann eine Statistik über die verwendeten Suchbegriffe und hält sich in einer Datenbank, welche vielleicht sogar im RAM Platz findet, die Ergebnis-Listen für Metager bereit, welche sporadisch und Freenetverträglich aktualisiert werden.
Da es dann auch egal wäre, wie lange eine Anfrage ins Freenet dauert, könnten Suchergebnisse sogar mit Snippet ausgeliefert werden.

Ist nur so eine Idee... Ich fände es aber auf jeden Fall begrüssenswert, wenn das Freenet produktiver genutzt werden könnte.

Grüsse Andi
Lilirasa
 
Beiträge: 71
Registriert: So Sep 14, 2008 11:28 am

Re: QPH -> metager? 10/sec

Beitragvon apfelmaennchen » Do Jan 08, 2009 10:30 pm

Orbiter hat geschrieben:nein, das hätte es nicht, aus mindestens 2 Gründen

Ich kann Deine Argumentation nachvollziehen und ich erinnere mich auch leise wieder an frühere Diskussionen zum Thema metager und freeworld.

Ich wäre allerdings mit der "Marke" YaCy ein wenig restriktiver. Der Link von metager führt direkt zu http://www.yacy.de - müsste da nicht eigentlich ein Link auf einen Peer im metager-support-net hin, damit man auch weiss woher die Suchergebnisse kommen. Selbst die Angabe im Suchergebnis z.B. "gefunden von P2P-Suche Yacy4" ist mit http://www.yacy.de verlinkt!!

Der unbedarfte User hat keinen mauen Schimmer (und auch keine Chanche es herauszufinden), was er da durchsucht, wenn er bei metager YaCy anklickt. Er folgert im schlimmsten Fall, dass http://www.yacy.de für das Suchergebnis verantwortlich ist, denn dort liest er zur Bestätigung dann:

YaCy has a large number of users running their own peer to create a independent and open search engine. The standard YaCy release is configured in such a way that the software joins this public network.


Alle anderen von metager angebotenen Suchdienste sind übrigens nicht mit dem Hersteller der verwendeten Search-Engine Software verlinkt, sondern mit dem Anbieter des jeweiligen Suchindex.

Gruß!
apfelmaennchen
apfelmaennchen
 
Beiträge: 429
Registriert: Mo Aug 20, 2007 7:06 pm

Re: QPH -> metager? 10/sec

Beitragvon ribbon » So Jan 06, 2013 12:35 am

wie viele yacy peers sind derzeit in Metager?
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: QPH -> metager? 10/sec

Beitragvon Vega » Di Jan 08, 2013 10:05 pm

Hallo,

aktuell leider nur 1 Peer - http://yacy.suma-ev.de:8080/, dieser zieht demnächst um auf einen neuen Root-Server um einen größeren Index bei hoher Performance zu ermöglichen. Aktuell ist der Peer als Robinson-Peer konfiguriert, das wird auch erst einmal so bleiben, da wir bei den vom SUMA-EV betriebenen/bezahlten Peers den Inhalt des Indexes selbst bestimmen wollen. Das hat den Hintergrund das dieser Peer(s) hauptsächlich als "Daten-Zulieferer" für Metager/Metager2 dienen.
Wenn jemand Metager (viel Traffic) oder Metager2 (wenig Traffic) helfen will - indem er seinen Peer anzapfen lässt, bitte einfach hier melden oder mir eine Nachricht schreiben.

Gruß,
Thomas

ribbon hat geschrieben:wie viele yacy peers sind derzeit in Metager?
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: QPH -> metager? 10/sec

Beitragvon ribbon » Mi Jan 09, 2013 6:47 pm

danke, wie gross ist denn der index dann des robinson und wird er gefüttert? bzw womit wurde er gefüttert?
und wenn nun andere hinzukommen, dann ist doch auch der span da.
d.h. metager ist gar nicht mit freeworld verbunden?
ich dachte immer es sind mind. 5 peers, die metager unterstützen
wie kann man zu mind 7 peers bei metager kommen?
warum macht die uni da nix?
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: QPH -> metager? 10/sec

Beitragvon Vega » Mi Jan 09, 2013 10:52 pm

Hallo,

der Index des jetzigen Robinson-Peers ist aktuell recht klein - siehe http://yacy.suma-ev.de:8080/Status.html.
Gefüttert wurde er mit den hier aufgeführten Seiten/RSS Feeds http://yacy.suma-ev.de:8080/Wiki.html?display=1.
Der neue Server hat ja wesentlich mehr Speicher, daher wird auch dort der Index deutlich größer werden, ich hatte eigentlich vor testhalber
mal den Deutschen Teil des DOMZ Verzeichnisses zu importieren http://www.dmoz.org/World/Deutsch/. Andere Ideen ????

Nein Metager/Metager2 fragen aktuell nicht das Freeworld-Netz ab - und haben das auch noch nie, es wurde immer nur im lokalen Index der angebundenen Peers gesucht, für eine Suche im gesamtem Freeworld-Netz sind die Antwortzeiten zu hoch, das würden die Peers/das Netz nicht hergeben (jedenfalls nicht bei Metager)

In "guten Zeiten" hatten der SUMA-EV 3 Rootserver gemietet, die das Freeworld-Netz gestützt haben + Daten für MG geliefert haben. Aus Kostengründen ist das aktuell heruntergefahren auf 1 Server.

Mehr Server:
Wenn uns also jemand Server Sponsoren will werden wir nicht nein sagen.... Wir können aber auch PCs anbinden die über eine DynDNS oder ähnlichen Dienst erreichbar sind und möglichst 24/7 erreichbar sind.

Uni:
Die Uni macht nichts mehr, da Wolfgang (wsb hier im Forum) mittlerweile seinen Dienst an der Uni beendet hat und sich jetzt ausschließlich um den SUMA-EV kümmert.
Metager wird aktuell noch in einer Kooperation mit der Uni betrieben, gehört aber dem SUMA-EV. irgendwann wird auch diese Kooperation beendet werden und wir müssen dann sehen wie wir die Serverkosten für Metager gestemmt bekommen. Metager2 hat der SUMA-Ev schon immer selbst betrieben.

So, ich hoffe das hat ein paar EDinge rund um Metager/Metager2 beleuchtet, wie gesagt für Hilfe sind wir dankbar.

Gruß,
Thomas

ribbon hat geschrieben:danke, wie gross ist denn der index dann des robinson und wird er gefüttert? bzw womit wurde er gefüttert?
und wenn nun andere hinzukommen, dann ist doch auch der span da.
d.h. metager ist gar nicht mit freeworld verbunden?
ich dachte immer es sind mind. 5 peers, die metager unterstützen
wie kann man zu mind 7 peers bei metager kommen?
warum macht die uni da nix?
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: QPH -> metager? 10/sec

Beitragvon ribbon » Do Jan 10, 2013 8:59 pm

Danke für die Ausführung, Thomas.
Ich habe eigentlich drei Punkte hier.

1. Die Zahl der YaCy Nodes in Metager (Metager 2 insteressiert mich weniger, da Metager total gut ist) muss erhöht werden. Hier sollten wir überlegen wie. Ich dachte, dass die Zugpferde aus der Freeworld sich alle freiwillig haben anbinden lassen, so dass hier schon 10 Nodes zusammen kommen, ok das scheint nicht der Fall zu sein. Aber die Aussage, dass das Freeworldnet dem Ansturm von Metager nicht gewachsen wäre, stellt YacY schon in Frage.. Ok und dann Server ankaufen ist sicherlich durch Spenden möglich, würde ich auch machen, aber ich denke es ist dann nur eine begrenzte und nicht nachhaltige Lösung. Ich dachte, dass man wirken könne, dass ein paar Uni-Rechenzentren Metager unterstützen, aber anscheinend ist das WSB und der Suma schon nicht gelungen zur Zeit, wo Metager noch im Rechenzentrum eingebunden war/ist. Mein Tip wäre daher, dass Metager so lange wie möglich an der Uni angebunden bleibt. Und auch andere Rechenzentren dieses Tool unterstützen mit einem YaCy Node.

2. Die erhöhung der Anzahl an URLs in dem Metager-Yacy Node sollte ein weiteres Anliegen sein. Es gibt ja inzwischen schon gute Quellen an URLs (habe hier auch mehrer Millionen) und man kann ja auch Crawlen, oder diese Crawls per DHT sich besorgen. Aber gut, wenn es ein definierter Robinson sein soll, dann ist es wie es definiert ist (was wenig ist und ggf aufzeigt, dass sich keiner um weitere RSS oder Startseiten kümmert). Wie können wir also die Anzahl der URLs vergrössern? Hier ist sicherlich die Daten-Interface-Kompatibilität wichtig, die ganzen URL Daten Dumps kann man nicht so leicht importieren.

3. Die Frage nach mehr Nodes und mehr URLs ließe sich ja durch den Anschluss von Freeworld and die Metager beheben. Warum macht man das nicht? Aus inhaltlich-politischen Gründen oder weil das Netz sonst kollabiert? Ok, also der Austausch ist entscheidend, sind wir wieder bei einer Importfunktion.
Solr macht sich und gibt es dazu Informationen, wie man diese URLs lesen kann? Gibt es Tools wie SQLTableBrowser für SQL, mit denen man einen Solr Dump lesen kann? Letztlich ist die beste Import Basis ja eine txt-Datei mit URL pro Zeile. Aber bei der Freeworld-Anbindung an Metager wäre auch dieses hintergründige Maintainance.

Können wir also Metager anbinden an Freeworld?
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: QPH -> metager? 10/sec

Beitragvon Vega » Sa Jan 12, 2013 10:52 pm

Hallo,

dazu möchte ich Dir wie folgt antworten:

1. Nein, es gibt kaum freiwillige die Ihre Peers anbinden lassen, das Problematische bei der Anbindung an Metager ist das die Rechner möglichst 24/7 verfügbar sein sollten. Ein Peer der nicht Antwortet, sorgt für ein schlechtes Antwortverhalten von Metager - Metager2 hat diese Probleme übrigens nicht. Wenn Du Unterstützer gewinnen kannst für YaCy - gern, trotz vieler Kontakte ist mir das noch nicht gelungen. Wolfgang hat da auch viele Jahre gekämpft, es ist schon ein Erfolg das Metager Überhaupt an der Uni betrieben werden konnte. YaCy stellt das nicht in Frage, das wir nur auf dem lokalem Index der angebundenen Peers gesucht haben ist Performancegründen geschuldet, eine Remote Suche über das ganze YaCy netzt dauert schlichtweg zu lange. Metager braucht die Ergebnisse möglichst in 2 - 5 Sekunden, alles andere ist für die Nutzer nicht akzeptabel.

2. Ja, das ist in Arbeit - bei mehreren Peers werden auch von YaCy wieder mehr Ergebnisse geliefert - das ganze ist immer ein "Henne" - "Ei" Problem.

3. Siehe 1, letzter Satz...es ist schlichtweg zu langsam. Das würde nur funktionieren, wenn wir XXX Server in einem RZ mieten die "nebeneinanderstehen" und ein eigenes
Netzwerk damit Bilden.

Gruß,
Thomas

1. Die Zahl der YaCy Nodes in Metager (Metager 2 insteressiert mich weniger, da Metager total gut ist) muss erhöht werden. Hier sollten wir überlegen wie. Ich dachte, dass die Zugpferde aus der Freeworld sich alle freiwillig haben anbinden lassen, so dass hier schon 10 Nodes zusammen kommen, ok das scheint nicht der Fall zu sein. Aber die Aussage, dass das Freeworldnet dem Ansturm von Metager nicht gewachsen wäre, stellt YacY schon in Frage.. Ok und dann Server ankaufen ist sicherlich durch Spenden möglich, würde ich auch machen, aber ich denke es ist dann nur eine begrenzte und nicht nachhaltige Lösung. Ich dachte, dass man wirken könne, dass ein paar Uni-Rechenzentren Metager unterstützen, aber anscheinend ist das WSB und der Suma schon nicht gelungen zur Zeit, wo Metager noch im Rechenzentrum eingebunden war/ist. Mein Tip wäre daher, dass Metager so lange wie möglich an der Uni angebunden bleibt. Und auch andere Rechenzentren dieses Tool unterstützen mit einem YaCy Node.

2. Die erhöhung der Anzahl an URLs in dem Metager-Yacy Node sollte ein weiteres Anliegen sein. Es gibt ja inzwischen schon gute Quellen an URLs (habe hier auch mehrer Millionen) und man kann ja auch Crawlen, oder diese Crawls per DHT sich besorgen. Aber gut, wenn es ein definierter Robinson sein soll, dann ist es wie es definiert ist (was wenig ist und ggf aufzeigt, dass sich keiner um weitere RSS oder Startseiten kümmert). Wie können wir also die Anzahl der URLs vergrössern? Hier ist sicherlich die Daten-Interface-Kompatibilität wichtig, die ganzen URL Daten Dumps kann man nicht so leicht importieren.

3. Die Frage nach mehr Nodes und mehr URLs ließe sich ja durch den Anschluss von Freeworld and die Metager beheben. Warum macht man das nicht? Aus inhaltlich-politischen Gründen oder weil das Netz sonst kollabiert? Ok, also der Austausch ist entscheidend, sind wir wieder bei einer Importfunktion.
Solr macht sich und gibt es dazu Informationen, wie man diese URLs lesen kann? Gibt es Tools wie SQLTableBrowser für SQL, mit denen man einen Solr Dump lesen kann? Letztlich ist die beste Import Basis ja eine txt-Datei mit URL pro Zeile. Aber bei der Freeworld-Anbindung an Metager wäre auch dieses hintergründige Maintainance.

Können wir also Metager anbinden an Freeworld?
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: QPH -> metager? 10/sec

Beitragvon ribbon » So Jan 13, 2013 4:48 pm

dieser Rechner kostet 79 Euro, es sollte doch kein Problem sein, 5 Stück davon zu verschenken an Metager
http://www.one.de/shop/product_info.php ... ts_id=7678

Ich finde dennoch, dass Metager eine Handvoll eigene Nodes braucht und auch an das Freeworld Net angeschlossen sein sollte.
Metager kann nach 3 Sekunden NICHT eingegangene Queries ja kappen.

Aber mit kommt es mehr darauf an, dass jeder URLs per DHT and die Lokal MG-Cluster senden kann, wieso sollte der lokale Metager Node jede URL selbst crawlen, ich meinte den DHT URL Austausch, nicht unbedingt die queryhits.
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: QPH -> metager? 10/sec

Beitragvon Orbiter » Mo Jan 14, 2013 1:46 pm

zur Abfrage von opensearch/rss Suchergebnissen (aus metager oder woher auch sonst) möchte ich anmerken dass es ja über das solr interface und dessen angepassten result writer eine Suchergebnisausgabe in opensearch bzw. rss gibt.

Dazu einfach den folgenden Pfad benutzen (für eine Beispielsuche nach 'metager' und 30 Treffern):
/solr/select?q=text_t:metager&start=0&rows=30&wt=opensearch
oder
/solr/select?q=text_t:metager&start=0&rows=30&wt=rss

beide benutzen über die Option 'wt' einen alternativen solr result writer, den ich dazugebaut habe. Das ist nicht so im Original in Solr drin. Beide Optionen 'opensearch' und 'rss' liefern exakt das gleiche Datenformat aber mit jeweils anderen mime-types, so dass ein Aufruf im Browser dann auch zu einem anderen Rendering führt. Das ganze ist wesentlich schneller als über das YaCy interface, macht dafür aber auch keine Remote Suche.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: QPH -> metager? 10/sec

Beitragvon Vega » Mi Jan 16, 2013 9:41 pm

Hallo,

die Idee ist ja an sich nicht schlecht, aber da gibt es 2 Probleme - erstens haben die Rechner wenig Speicher und langsame Festplatten, zweitens - wo sollen die Kisten dann stehen, wer betreibt Sie ? Natürlich wäre eine Handvoll Nodes für Metager fein - so etwas wäre besser geeignet http://www.one.de/shop/product_info.php?cPath=364_361&products_id=8023. Wenn sich 5 Leute finden die sich so eine/vergleichbare Kiste zulegen und 24/7 betreiben und auch noch Sinnvoll ans Internet angebunden sind...gern. Besser wären aber Rootserver bei Server4You etc, damit kann man ein eigenen Cluster Bilden und URL's einspeisen. Remote-Suche im Freeworld Netz ist einfach zu langsam. Das liegt einfach an den Internetzugängen/der verwendeten Peers, das sagt nichts über die Leistungsfähigkeit von YaCy aus.

Gruß
Thomas

ribbon hat geschrieben:dieser Rechner kostet 79 Euro, es sollte doch kein Problem sein, 5 Stück davon zu verschenken an Metager
http://www.one.de/shop/product_info.php ... ts_id=7678

Ich finde dennoch, dass Metager eine Handvoll eigene Nodes braucht und auch an das Freeworld Net angeschlossen sein sollte.
Metager kann nach 3 Sekunden NICHT eingegangene Queries ja kappen.

Aber mit kommt es mehr darauf an, dass jeder URLs per DHT and die Lokal MG-Cluster senden kann, wieso sollte der lokale Metager Node jede URL selbst crawlen, ich meinte den DHT URL Austausch, nicht unbedingt die queryhits.
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: QPH -> metager? 10/sec

Beitragvon RoGott » So Jan 27, 2013 10:47 pm

Hallo
ich habe schon seit längerem einen Rootserver angemietet, auf dem ich Yacy alleinig packen will und nach jetzt einen Jahr experimentieren und ausprobieren, mich für die Robisonvariante entschieden habe, weil die meines erachtens bei mir stabiler läuft und ich kontroliere was ich drinn haben will, könnte ich mir vorstellen, das ich diese mit Eurer Diskusion entsprechen zusätzlich zur Verwendung stellen könnte.
Voraussetzung ich kann sie dann auch auf allen meinen Webseiten als Suchmaschine einbinden.
Allerdings benötige ich Hilfe zur installation.
Das wäre dann die vierte Yacy die ich betreibe.

Selber habe ich zuwenig Breitbandinternetzugang um so eine große Maschine wie oben verlinkt sinnvoll an ein schnelles Netz zu bringen.
Haben tuhe ich so eine Maschine hier gerade geschenkt bekommen.
Nur müßte ich mehr Powerzugang bein Internet haben und das bekomme ich erst nach einen entsprechenden Wohnortwechsel.

Den Dmoz Katalog wollte ich auch demnächst einlesen nur den deutschen soweit ich das hinbekomme, selber habe ich auch noch auf meiner rogott.de Seite einen Katalog mit über 150.000 Webseiten indexiert.

Naja vielleicht interessiert es Euch ja.
Ich bin offen für Yacy.

Gruß Roland
RoGott
 
Beiträge: 44
Registriert: Fr Aug 24, 2012 2:05 am
Wohnort: Erkelenz Geneiken

Re: QPH -> metager? 10/sec

Beitragvon Orbiter » Di Feb 05, 2013 11:16 am

woran hängts denn?
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: QPH -> metager? 10/sec

Beitragvon RoGott » Mi Feb 06, 2013 7:23 pm

Hallo orbiter

die yacy läuft jetzt ganz gut, aaaaaaaaber ich kann mich nicht mehr einloggen Password weg,
Auf einem OnlineRootServer Debian 5 mit 1 Tb Festplatte Nur 2 Gig Arbeitspeicher komme ich also nicht mehr ins Backoffice von Yacy.
Hier läuft sie ohne Probleme http://espch.de/
http://81.7.10.240:8090/
aber wenn ich nun einen Crawel starten will, kommt eine Passwordabfrage an der ich nicht vorbei komme.

Nun habe ich noch einen zweiten OnlineRootServer 500 Gig Festplatte 4 Gig Arbeitspeicher auch Debian, frist das dortige yacy bei der zweiten Suchabfrage fest, auch innerhalb Office, denn da komme ich rein, frist sie sich fest und läßt sich nur über Konsole starten, läuft aber nicht lange, dann ist sie wieder Festgefressen

Kannst Du mir hier helfen.
Gruß Roland
RoGott
 
Beiträge: 44
Registriert: Fr Aug 24, 2012 2:05 am
Wohnort: Erkelenz Geneiken

Re: QPH -> metager? 10/sec

Beitragvon Low012 » Do Feb 07, 2013 8:43 am

RoGott hat geschrieben:die yacy läuft jetzt ganz gut, aaaaaaaaber ich kann mich nicht mehr einloggen Password weg


Wenn du auf dem Server lynx (oder links o.ä.) installiert hast, kannst du mal versuchen, dich per SSH zum Server zu verbinden und dann eine lokale Verbindung zu YaCy herzustellen. Wenn das klappt, musst du dich bis zur Benutzerkonfiguration durchhangeln, was mit lynx ein ein bisschen mühsam sein kann.

Alternativ kannst du versuchen, das Skript $YACYDIR/bin/passwd.sh zu benutzen. Die Syntax müsste sein:

passwd.sh neuespasswort

Danach heißt der Admin-User "admin" und das Passwort ist "neuespasswort".

Beides funktioniert aber nur, wenn YaCy läuft und der Zugriff auf YaCy von localhost erlaubt ist. Ist das nicht der Fall, kannst du das Skript reconfigureYACY.sh (im Hauptverzeichnis von YaCy) benutzen. Dazu musst du eventuell erst ein YaCy-Update "von Hand" (tar.gz. von http://yacystats.de/yacybuild/ runterladen) durchführen, weil das Skript bis vor zwei Wochen einen Bug hatte, der das korrekte Setzen eines neuen Passworts verhindert hat. reconfigureYACY.sh sollte selbsterklärend sein, ist aber nur auf Englisch verfügbar. Wenn du YaCy vorher per "kill" abgeschossen haben solltest, meckert das Skript beim Start und du musst noch die Datei yacy.running (glaube ich, sagt das Skript dir aber auch) im DATA-Verzeichnis löschen.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: QPH -> metager? 10/sec

Beitragvon RoGott » Do Feb 07, 2013 2:42 pm

Ich habe versucht das hinzubekommen, aber ich bekomm das nicht auf die Reihe. Ich kann da nur auf Hilfe aus dem Forum hoffen.
Gruss Roland
RoGott
 
Beiträge: 44
Registriert: Fr Aug 24, 2012 2:05 am
Wohnort: Erkelenz Geneiken

Re: QPH -> metager? 10/sec

Beitragvon Low012 » Mo Mär 04, 2013 12:25 pm

Das Problem des "Festfressens" ist bei mir seit Orbiters Änderungen in den letzten zwei Tagen nicht mehr aufgetreten. :)
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: QPH -> metager? 10/sec

Beitragvon Vega » Mi Apr 10, 2013 7:44 am

Ist das noch aktuell ?

Thomas

RoGott hat geschrieben:Ich habe versucht das hinzubekommen, aber ich bekomm das nicht auf die Reihe. Ich kann da nur auf Hilfe aus dem Forum hoffen.
Gruss Roland
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: QPH -> metager? 10/sec

Beitragvon Low012 » Mi Apr 10, 2013 1:15 pm

Ich habe Roland zumindest auf einem Rechner YaCy vor einiger Zeit (so um den Zeitpunkt meines letzten Postings) neu eingerichtet.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: QPH -> metager? 10/sec

Beitragvon Vega » Do Apr 11, 2013 12:04 am

Ah ok.
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: QPH -> metager? 10/sec

Beitragvon RoGott » Fr Apr 12, 2013 7:02 pm

Ja das ist abgeschlossen
RoGott
 
Beiträge: 44
Registriert: Fr Aug 24, 2012 2:05 am
Wohnort: Erkelenz Geneiken


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron