Sitemap erstellen

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Sitemap erstellen

Beitragvon jinside » Fr Sep 11, 2009 1:53 am

Hallo zusammen,
ist es möglich mit yacy eine Liste aller URLs für eine Domain zu erzeugen (keine Indizierung von Title, content oder etc.)?
Ich habe versucht einen crawl zu starten ohne Indizierung von text und media-daten.
Allerdings startet der crawler dann nicht (seltsam, er ist eh sehr zickig, mal startet er mit der Ermittlung der Seiten und mal nicht).
Gibt es vielleicht noch eine schickere Variante um alle Unterseitenvon z.b. mister-wong.de herauszufinden?

grüße aus dunkeldeutschland
jinside
 
Beiträge: 1
Registriert: Fr Sep 11, 2009 1:26 am

Re: Sitemap erstellen

Beitragvon dulcedo » Fr Sep 11, 2009 5:20 am

Ich glaube nicht dass das momentan so funktioniert, wäre aber auch für Testcrawls sinnvoll. Man könnte dann einen Crawl simulieren und abschätzen welche Domains dann im 'scharfen' Durchlauf indexiert werden. Ob das die Datenstrukturen zulassen müsste jemand von den Entwicklern sagen.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast