Internetvisualisierung nicht komplett

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Internetvisualisierung nicht komplett

Beitragvon susanne » Fr Apr 20, 2012 10:15 pm

Hallo liebe YaCy-Gemeinde,

vor einigen Tagen habe ich einen Crawl gestartet und dann vorgestern die Internet Visualisierung generiert. Zu sehen waren mehrere Dutzend Knoten mit diversen Links. Heute habe ich dann YaCy einige Male killen und restarten müssen, jedoch nichts an den Daten verändert (die gecrawlte Seitenzahl steigt auch weiterhin). Allerdings sind nun nur noch 8 Knoten zu sehen und sehr wenig Links - vermutlich die, die er seit dem Neustart gefunden/"angefasst" hat. Ich würde aber gern wieder meinen kompletten Graphen sehen, die Daten müssten ja vorhanden sein. Was habe ich falsch gemacht, was muss ich tun?

Viele Grüße,
Susanne
susanne
 
Beiträge: 3
Registriert: Fr Apr 20, 2012 10:11 pm

Re: Internetvisualisierung nicht komplett

Beitragvon iqualfragile » Fr Apr 20, 2012 11:16 pm

möglicherweise wurde der index durch das killen beschädigt, in diesem fall würde etwas in der richtung im log stehen.
iqualfragile
 
Beiträge: 60
Registriert: Do Jan 19, 2012 8:54 pm

Re: Internetvisualisierung nicht komplett

Beitragvon Orbiter » Fr Apr 20, 2012 11:28 pm

andere Möglichkeit: der Graph wird ja per default aufgrund eines Startknotens bestimmt, und der steht ohne dass ein Crawl bekannt ist auf 'auto'. Wenn mehr als ein Crawl bekannt ist steht der auch auf 'auto', wenn nur ein crawl bekannt ist steht er auf die Domäne des einen vorkommenden Crawls. Wenn das auf 'auto' steht wird als 'zentrum' der Grafik die Domäne genommen, welche die meisten outlinks innerhalb der Link-Datenbank hat. Das heisst dass bei jedem Start die Situation anders aussehen kann.
Eine nachvollziehbare Situation bekommst du nur wenn du die Domäne für die Netzgrafik explizit einstellst und guckst wie es sich verändert.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Internetvisualisierung nicht komplett

Beitragvon susanne » Sa Apr 21, 2012 11:02 am

Hmm, das wäre natürlich ärgerlich, wenn der Index kaputt wäre... in diesem Fall sollte ichdann was tun? - Alle Daten löschen und den Crawl erneut starten, um ein exaktes Ergebnis im Netzgraphen zu bekommen?
Zwischen "auto" und der Domain ändert sich nichts im Graphen, scheint also wirklich so, als wären Daten verloren gegangen. Kann das denn überhaupt sein? Wenn ich tagelang crawle, muss doch ein riesiger Index aufgebaut werden (soweit ich weiß, ja auch in diversen Dateien und nicht nur einer großen temporären). Und der wird dann einfach (fast) komplett gelöscht, wenn ich das Skript kille? Seltsam... ich schaue mal in den Logs nach.
susanne
 
Beiträge: 3
Registriert: Fr Apr 20, 2012 10:11 pm

Re: Internetvisualisierung nicht komplett

Beitragvon susanne » Sa Apr 21, 2012 11:08 am

Ach, und eine Frage schließt sich mir noch an zum Thema XML/Internetvisualisierung:
Wenn ich meinen zentralen Knoten A habe, welcher Links zu den Knoten B1 und B2 hat, ist das ja entsprechend in der XML vermerkt. Nun gibt es aber einen Link zwischen B1 und B2, den ich in der XML nicht entdecken kann, er taucht nur in der XML auf, wenn ich die entsprechende URL in der Adresse verändere. Gibt es auch die Möglichkeit, alle diese "Drittlinks" mit den normalen "Kernlinks" von A aus in einer Datei zu speichern? Das manuell zu machen wäre ja ziemliche Arbeit.
susanne
 
Beiträge: 3
Registriert: Fr Apr 20, 2012 10:11 pm

Re: Internetvisualisierung nicht komplett

Beitragvon Orbiter » Sa Apr 21, 2012 12:12 pm

also zu:
- Linkstruktur durch killen kaputt: das ist völlig ausgeschlossen weil die Linkstruktur der Domänen untereinander nur einmal beim Start gelesen wird und das File ansonsten nicht offen ist. Es wird nur ein mal beim Shutdown neu geschrieben. Wenn du aber das Ding killst ist alles seit dem Start weg. Es ist nicht kaputt sondern nur nicht geschrieben.
- Die Linkstruktur zwischen den Domänen wird aber im laufe der Zeit gelöscht wegen Größe der Struktur. Das könnte man ändern. Ist aber so weit ich weiss gar nicht das was du brauchst, du willst ja soweit ich weiss eine exakte Verlinkung aller URLs. Das gibts jetzt ja auch und wird nie gelöscht und während dem Programmverlauf laufend geschrieben. Das Ergebnis daraus bekommst du aber nicht in der Grafik sondern nur per XML
- 'vollständige' Verlinkung im XML: das könnte sehr umfassend sein. Deswegen liefert eine Abfrage der Linkstruktur _ohne_ die Angabe einer Referenz (in about=) nur einen Ausschnitt. Wenn du exakte Werte von A, B1 und B2 haben willst, so musst du diese über A, B1 und B2 auch anfordern. Das ist nicht 'ziemlich Arbeit' sondern einfach das was du brauchst. Es gibt ja nicht einen eingebauten Orakel der dann weiss ob du vielleicht auch noch einen 'B3' gerne gehabt hättest.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Internetvisualisierung nicht komplett

Beitragvon Quix0r » Mi Apr 25, 2012 7:18 am

Mir fällt noch ein, dass die für die Visualisierung zu grunde liegende Map bereinigt wird, also die ältesten Einträge in der Visualisierungsmap (nicht Index) rausgeworfen werden.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Internetvisualisierung nicht komplett

Beitragvon Orbiter » Mi Apr 25, 2012 1:03 pm

Quix0r hat geschrieben:Mir fällt noch ein, dass die für die Visualisierung zu grunde liegende Map bereinigt wird, also die ältesten Einträge in der Visualisierungsmap (nicht Index) rausgeworfen werden.

das ist richtig für die bisherigen Verlinkungsdaten (zwischen Domänen) aber: die neuen Daten für die komplette Verlinkung wird nicht bereinigt und bleibt! Die komplette Backlink-Strukur wird aber nicht für die Grafik sondern bislang nur das Ranking benutzt.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron