Challenges: parsing/indexing of large files without OutOfMem

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Challenges: parsing/indexing of large files without OutOfMem

Beitragvon tara » Do Jan 08, 2009 11:09 am

Aus dem Wiki: http://www.yacy-websuche.de/wiki/index. ... Challenges

Challenges: parsing/indexing of very large files without OutOfMemory: well, where is an example?


Z.B. die Werke von Jules Verne gibt es als PDF http://de.wikipedia.org/wiki/Jules_Vern ... sch_im_Web - die Dateien sind teilweise 30MB groß.

Unter http://www.gasl.org/wordpress/?page_id=70 gibt es noch mehr große PDF Dateien. Bei diesen größeren Dateien gab es bei mir noch OutOfMemory.

Um das zu testen vielleicht ein paar Dateien vorher manuell herunterladen und in das repository (HTDOCS/repository/) Verzeichniss hinterlegen. Dann ist ggf. die heimische DSL Leitung nicht der Flaschenhals.
tara
 
Beiträge: 41
Registriert: Fr Jan 11, 2008 8:43 pm

Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast