Datenbank scheint gefüllt, aber Suche geht nicht

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Datenbank scheint gefüllt, aber Suche geht nicht

Beitragvon datenritter » So Sep 20, 2009 2:18 pm

Ich habe vor einiger Zeit auf Yacy 0.900/06128 geupdatet.

Nun fiel mir gerade auf, dass der Index leer zu sein scheint. Ich bekomme nur Suchergebnisse, die kürzlich hinzugefügt wurden, aber viele "alte" Sachen erscheinen trotz ebenso einfacher wie eindeutiger Suchbegriffe nicht. Mein Datenverzeichnis ist 1.3 GB groß :shock:

Zur Sicherheit habe ich die 09er Version nochmal heruntergeladen und über die alte Installation "drüber" entpackt. Keine Veränderung.

Woran könnte das liegen, und wie kann ich ggf. meine alten Daten wiederherstellen?
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: Datenbank scheint gefüllt, aber Suche geht nicht

Beitragvon Orbiter » So Sep 20, 2009 5:40 pm

die Datenmodelle haben sich stark geändert. Wenn du deine Daten erhalten willst, musst du schrittweise von deiner alten Version über alle stable releases updaten.
Ansonsten: 1.3 GB sind mit der aktuellen Version schnell wieder zusammen...
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Datenbank scheint gefüllt, aber Suche geht nicht

Beitragvon datenritter » So Sep 20, 2009 6:28 pm

Oh je.

Kann ich irgendwie erkennen, welche Versionen ich bisher hatte? Steht das vielleicht in irgendeinem Logfile?
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: Datenbank scheint gefüllt, aber Suche geht nicht

Beitragvon datenritter » Mo Sep 21, 2009 1:35 am

hmm, also ich bin jetzt von 0.53 über 0.7, 0.8 auf 0.9 gesprungen, aber der indey scheint kaputt. da liegen dateien vom 30.08. - wie kann ich herausfinden, welche version ich an dem tag hatte? :?:
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: Datenbank scheint gefüllt, aber Suche geht nicht

Beitragvon datenritter » Mo Sep 21, 2009 1:45 am

So sehen die aus:

151M 30. Aug 13:01 collection.04.0028.00.00.kca
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: Datenbank scheint gefüllt, aber Suche geht nicht

Beitragvon Orbiter » Mo Sep 21, 2009 7:09 am

die Collections werden, wenn ich mich richtig erinnere, in 0.9 noch automatisch in die neue Datenstruktur migriert, aber nur während man crawlt. Oder war das noch 0.8?
Das ganze lief vom Februar an, ggf. muss man längere Zeit 0.8 laufen lassen. Ich weiss das auch nicht mehr so ganz. Das migrieren macht aber keinen Spass wegen hoher IO. Mit der neuen Datenbank hast du nun weitgehend Ruhe auf der Platte. Sind die alten Daten denn so unwiederbringlich?
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Datenbank scheint gefüllt, aber Suche geht nicht

Beitragvon dulcedo » Mo Sep 21, 2009 8:08 am

.5 kann ich nicht sagen aber .6 könnte noch klappen, so wie von dir versucht über 0.7 Beim Schritt auf 0.8 und auf 0.82 sollte man ihn eine Weile (1 Tag) laufen lassen und langsam crawlen. Dabei sollte bei deinem Index 500MB Ram in der JVM frei sein. Das kanst du unterstützen indem du solange den RWI-Puffer auf 10k heruntersetzt (PerformanceQueues_p.html). Wenn dann 0.82 läuft sind alle Daten von RICOLLECTION nach RICELL kopiert worden und man kann RICOLLECTON löschen/verschieben. Die lohnt aber nur aufzuheben wenn das komplette INDEX gesichert wird.
Dann müsste jede 0.9 Version funktionieren. Ansonsten wie Orbiter vorschlägt die Crawl-Startpunkte nochmal abbarbeiten lassen, das dürfte Faktor 10 schneller sein als vorher.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Datenbank scheint gefüllt, aber Suche geht nicht

Beitragvon datenritter » Mo Sep 21, 2009 9:46 am

Hmm, ich bekomme aber in keiner der von mir verwendeten Versionen überhaupt ein Suchergebnis. Also nach dem Downgrade wird die DB wohl auch nicht verwendet. Vielleicht muss ich aber wirklich zu 0.62 zurück, dummerweise finde ich die nicht im Netz. Das Release-Verzeichnis ist nicht browseable.
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: Datenbank scheint gefüllt, aber Suche geht nicht

Beitragvon Orbiter » Mo Sep 21, 2009 10:03 am

uä Mist, ich habe auch gar keine 0.62 mehr auf dem Server liegen! Muss ich dann noch mal hoch laden, heute Abend frühestens komme ich da dran.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Datenbank scheint gefüllt, aber Suche geht nicht

Beitragvon datenritter » Mo Sep 21, 2009 10:11 am

Moment, muss ja keine 0.62 sein, wenn ich das richtig verstanden habe, reicht irgendeine 0.6er?

Wie kann ich eigentlich einen "total recrawl" ;) anstoßen, wenn ich keinerlei Bookmarks gesetzt habe?
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: Datenbank scheint gefüllt, aber Suche geht nicht

Beitragvon Orbiter » Mo Sep 21, 2009 10:23 am

da würde ich eine domain-Liste exportieren, und die wieder in den Crawler schicken.
Die URL-DB sollte die gleiche sein, die war nicht von der Datentypumstellung betroffen.
http://localhost:8080/IndexControlURLs_p.html
aufrufen, dort "Only Domain"/HTML auswählen.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Datenbank scheint gefüllt, aber Suche geht nicht

Beitragvon datenritter » Mo Sep 21, 2009 10:38 am

Achso, URL-Liste exportieren und recrawlen - das kann ich ja dann eigentlich auch gleich mit v0.9 machen, dann erstelle ich eben die DB auf diesem Wege neu. :)
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: Datenbank scheint gefüllt, aber Suche geht nicht

Beitragvon dulcedo » Mo Sep 21, 2009 12:28 pm

Das dürfte das beste sein weil du dann keinen Müll der eventuell entsteht mit dir rumschleppst. Die neue DB ist sehr performant, lieber ein bischen Zeit in die Auswahl der Crawls stecken, danach geht es fix.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Exabot [Bot] und 3 Gäste

cron