SVN 7412 - Local Queue leer oder doch nicht?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

SVN 7412 - Local Queue leer oder doch nicht?

Beitragvon henschi » Mi Dez 29, 2010 5:42 pm

Die Status und Crawler Queue Seite erzählt mir, dass die Local Queue 359 Einträge hat. Hm, aber wenn ich mit den Inhalt der Local anzeige, ist diese leer.
Mein Peer macht nun nichts mehr!
Wie habe ich das geschafft? Peer gestartet und mal nach Wikipedia gesucht. Danach ist die Queue "voll" und mein Peer macht nichts mehr.
henschi
 
Beiträge: 65
Registriert: So Okt 07, 2007 6:49 pm
Wohnort: Brandenburg an der Havel

Re: SVN 7412 - Local Queue leer oder doch nicht?

Beitragvon henschi » Mi Dez 29, 2010 6:20 pm

Als ich einen lokalen Crawler (Expert) erstellt und gestartet habe, wurde auch die Queue abgearbeitet, obwohl in Local Queue eigentlich nur meine Startseite vom Crawler zu sehen war.
henschi
 
Beiträge: 65
Registriert: So Okt 07, 2007 6:49 pm
Wohnort: Brandenburg an der Havel

Re: SVN 7412 - Local Queue leer oder doch nicht?

Beitragvon Orbiter » Mi Dez 29, 2010 7:09 pm

keine Panik, ist eine neue 'Nebenqueue' die zusammen mit der local queue abgearbeitet wird. Das ist die neue 'noload' queue in die alle URLs gehen deren Inhalt aus verschiedenen Gründen nicht geladen wird aber wo zumindest der Dateinamen indexiert wird. Das ist ein Feature für die 27c3 FTP-Suche wo es viele sehr große Dateien gibt (Filme, Rainbow Tables etc).
Die 'noload' Queue ist nun da aber noch kein Servlet das sie anzeigt, aus (Programmier-) Zeitgründen. Muss ich wohl noch nachziehen.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: SVN 7412 - Local Queue leer oder doch nicht?

Beitragvon henschi » Mi Dez 29, 2010 10:17 pm

Das Problem ist eher, wenn in der NoLoad Queue nur ein einziger Eintrag enthalten ist, hält mein Remotecrawler einfach an. :(
henschi
 
Beiträge: 65
Registriert: So Okt 07, 2007 6:49 pm
Wohnort: Brandenburg an der Havel

Re: SVN 7412 - Local Queue leer oder doch nicht?

Beitragvon Quix0r » Fr Jan 07, 2011 2:59 am

Hmmm, selbiges auch mit LocalQueue, dort waren anfangs nur zwei Eintraege drin (lokaler Crawler pausiert), was zwei Crawl-Startpunkte waren. Die Remote-Queue wurde aber auch nicht voll (Remote-Crawls sind aktiviert).

Meiner Meinung nach waere es besser, wenn YaCy die Queues miteinander vermengt. Sagen wir im Verhaeltnis 1000 lokale (core crawler bei euch noch genannt) zu 50 Remote-Queue? Nach einer Komplettloeschung meines Indexes sehen meine Queues nun so aus:

Local Crawler: 66,290
Global Crawler: 1,233,004
Remote Crawler: 0


Koennen nicht vielleicht ein paar Remote-Crawls mit untergemengt werden? Dann wird wieder durcheinander gecrawlt und auch die Remote-Queue wird endlich abgearbeitet. Wenn jemandem die vorgeschlagenen Werte nicht passen, koennen diese konfigurierbar gemacht werden. Andererseits macht das doch dann ueberhaupt keinen Sinn mehr, Remote-Queues zu haben, da wohl kaum niemand ausschliesslich Remote crawlt, oder sehe ich das falsch?
Zuletzt geändert von Quix0r am Fr Jan 07, 2011 10:08 am, insgesamt 1-mal geändert.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 7412 - Local Queue leer oder doch nicht?

Beitragvon Orbiter » Fr Jan 07, 2011 9:51 am

bei der von dir geposteten Statistik ist es aber klar dass ausschliesslich nur die local queue abgearbeitet werden soll: die global queue ist dafür da, dass Leute sich von aussen daraus Links abholen können. Es macht keinen Sinn erst eine solche Liste zu erstellen und dann daraus zu 'räubern', es sei denn deine local queue ist leer. Ist sie aber nicht.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: SVN 7412 - Local Queue leer oder doch nicht?

Beitragvon Quix0r » Fr Jan 07, 2011 10:15 am

Man beachte die Uhrzeit der Beitragerstellung... :oops: :lol:

Okay, was ich wollte ist, dass lokales und Remote-Crawl vermischt werden, so dass der lokale Peer anderer Peer's globalen Queue auch mit am abarbeiten ist, was zu einer Traffic-Vermischung fuehrt.

Da faellt mir gerade eines auf: In der Liste http://127.0.0.1:8080/Network.html?page=1, Spalte URLs for Remote Craw nur mein Peer mit den korrekten Werten, alle anderen Peers sind auf 0. Ich denke, jeder wird wohl was im Limit-Crawler (globale Queue) haben?
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: SVN 7412 - Local Queue leer oder doch nicht?

Beitragvon henschi » Fr Jan 07, 2011 12:16 pm

Da ich mit einem meiner Peer nur Remote Crawle wiegt das Problem bei diesem schwerer. Der Remote Crawler hält an, wenn etwas in die NoLoad Queue gelegt wird. Nur wenn ich einen eigenen Crawler starte und dieser sich beendet, wird danach wieder Remote gecrawlet bis wieder etwas in der NoLoad Queue liegt. :-(

Ich habe mir im Moment so geholfen, dass ich das Eintragen in die NoLoad Queue, einfach auskommentiert habe. :-)
henschi
 
Beiträge: 65
Registriert: So Okt 07, 2007 6:49 pm
Wohnort: Brandenburg an der Havel

Re: SVN 7412 - Local Queue leer oder doch nicht?

Beitragvon Orbiter » Fr Jan 07, 2011 2:06 pm

die NoLoad Einträge wurden beim 27C3 mit 30000 PPM abgearbeitet. Ansonsten wäre eine Indexierung von 1.2 Mio Dokumenten in 1-2 Stunden nicht möglich gewesen.

Das heisst wiederum dass sich wenige Einträge inder NoLoad-Queue dort nur Millisekunden drin befinden können. Es gibt hier ein problem wenn es gar keine Abarbeitung gibt. Die Abarbeitung selbst ist aber keins, weil kann ja nicht lange dauern.

Hier gibt es aber noch einen anderen Aspekt: wenn du nur remote Crawls machst dann darf es eigentlich gar keine Einträge in die NoLoad Queue geben. Ausser du startest noch lokale Indexierungen, dann ist es aber so dass du dort Einträge drin haben willst.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: SVN 7412 - Local Queue leer oder doch nicht?

Beitragvon henschi » Fr Jan 07, 2011 3:58 pm

Dann hätten wir ja den Fehler. Wenn ich nur Remote arbeite füllt sich bei mit die Local Queue. Seit dem ich den einen push zur NoLoad Queue raus genommen habe ist alles schick. Wird denn auf die NoLoad nicht alles gelegt, was zu groß ist?
henschi
 
Beiträge: 65
Registriert: So Okt 07, 2007 6:49 pm
Wohnort: Brandenburg an der Havel

Re: SVN 7412 - Local Queue leer oder doch nicht?

Beitragvon Orbiter » Sa Jan 08, 2011 1:35 pm

ja ok ich schaue mal ob der remote loader ein beladen der noload verursachen kann.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: SVN 7412 - Local Queue leer oder doch nicht?

Beitragvon henschi » Mo Jan 10, 2011 9:55 pm

Supi, aber nicht übereilen! Ich habe ja einen Workaround.
Beim rüber schauen habe ich auf Anhieb nichts gefunden. Das könnte aber auch daran liegen, dass ich nicht alles verstanden habe. :-)
henschi
 
Beiträge: 65
Registriert: So Okt 07, 2007 6:49 pm
Wohnort: Brandenburg an der Havel


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Yahoo [Bot] und 1 Gast

cron