Datenbestand

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Datenbestand

Beitragvon guckstdu » Mi Okt 15, 2008 8:57 pm

Hallo,

Was passiert eigentlich mit den gesammelten Daten. :geek:
Werden die Domains ab und zu nach Erreichbarkeit geprüft oder sammeln sich mit der zeit haufenweise nicht erreichbare Domains an :?:
guckstdu
 
Beiträge: 66
Registriert: Mi Sep 26, 2007 9:47 pm
Wohnort: /root

Re: Datenbestand

Beitragvon Lilirasa » Mi Okt 15, 2008 10:26 pm

Hallo,
soweit ich das verstanden habe und man korrigiere mich bitte, sofern ich falsch liege, verbleiben einmal gesammelte Daten im Index, bis der Crawler per Zufall oder absichtlich auf eine bereits gecrawlte URL stösst. Dann wird die URL, sofern in den Crawleinstellungen definiert, neu indexiert.

Bei jeder Suchanfrage wird allerdings jede URL auf ihre Erreichbarkeit geprüft.

Hoffe das ist jetzt richtig so...

Grüsse
Andi
Lilirasa
 
Beiträge: 71
Registriert: So Sep 14, 2008 11:28 am

Re: Datenbestand

Beitragvon Orbiter » Do Okt 16, 2008 8:42 am

Lilirasa hat geschrieben:Bei jeder Suchanfrage wird allerdings jede URL auf ihre Erreichbarkeit geprüft.

.. und dann ggf. gelöscht.

Einen kompletten re-scan der Seiten ist ein zu hoher Aufwand. Natürlich brauch man ein Konzept um den Index aktuell zu halten. Hierfür ist momentan folgender Prozess vorgesehen:
- regelmäßiges Re-Crawl von einem Startpunkt, wenn man das so will (implementiert)
- Löschen von URLs nach Erstellungszeitpunkt (noch nicht implementiert, ist aber effizient möglich)

Beide Vorgänge zusammen würden dann für ein ständiges 'Frischhalten' des Indexes sorgen.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron