Crawl/Index all files found

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Crawl/Index all files found

Beitragvon DNcrawler » Mi Dez 21, 2016 2:15 am

Hello,

I'd like to setup a crawl to collect all images, videos, pdfs, Word documents, etc found on some intranet sites. I don't see any options in any config file to allow for this to be completed. Storage space is not an issue. Even if yacy cannot parse the file (such as video files), I'd like the name and location on the site indexed. Currently, I'm parsing the log files to find files the indexer refused to create a list on a wiki, which is then indexed by the crawler.

Thank you.
DNcrawler
 
Beiträge: 18
Registriert: Mi Dez 21, 2016 1:48 am

Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste

cron