YaCy 0.97

Ereignisse, Vorschläge und Aktionen

YaCy 0.97

Beitragvon Low012 » Mo Sep 13, 2010 11:54 am

Ich würde gern einen kurzen Eintrag im Blog posten, in dem die wichtigsten Neuerungen der neue Version 0.97 eschrieben sind. Mir ist auf dei Schnelle eingefallen:

  • völlig neue Implementierung des Re-Crawl-Mechanismus mit Scheduler
  • RRS-Parser
  • YaCy lässt sich jetzt auf dem Mac wie dort üblich installieren

Was gibt es sonst noch Wichtiges?
Zuletzt geändert von Low012 am Di Sep 14, 2010 4:53 pm, insgesamt 1-mal geändert.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: YaCy 0.97

Beitragvon Vega » Mo Sep 13, 2010 12:55 pm

Performace, schnellere Bildersuche, fast komplette deutsche Übersetzung, - für mehr müsste ich das SVN-Log mal wieder ausführlich lesen.....

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: YaCy 0.97

Beitragvon Orbiter » Mo Sep 13, 2010 1:15 pm

"RSS-Parser" trifft die Funktion nicht ganz, denn es wird nicht die RSS-Datei indexiert, sondern die eingebetettenen Links. Es ist somit eine Speziealerfassung insbesondere für alle CMS' die RSS anbieten, bsp. auch Blogs. Das Ding liefert damit eine optimale Funktion um regelmäßig Blogs zu erfassen ohne diese zu Crawlen. Dabei wird die Fronseite eben nicht x-mal neu erfasst sondern nur die Artikel. Ähnlich ist es mit Foren die RSS für Artikel anbieten (wie jetzt auch unser Forum)

noch neu:
  • rss feeds werden automatisch gefunden und in einer Liste beim RSS Importer angezeigt
  • animierte Netzgrafik, Netzgrafik zeigt ausserdem nun hohe Querie-Zahlen in der Grafik animiert (grüne Strahlen)
  • überarbeiteter Crawl-Profile editor (bietet nun eine 'View' auf die 'Steering' seite wo nur die Crawl Requests drin stehen) um dort den Scheduler in die Nähe des Crawlers zu bringen, eine Funktion die sonst nur im Peer-Control gewesen wäre.
  • die robots.txt Table ist nun in das Table Framework mit drin, man kann sich damit die robots.txt Tabelle auch im Table Editor angucken (siehe /Tables_p.html?table=robots) oder in einem eigenen Robots viewer (/Table_RobotsTxt_p.html ) - oder hatten wir das schon vorher?
  • in der Web Visualization (/WatchWebStructure_p.html) kann man nun die Farben der Grafik angeben um damit schöne Poster machen zu können. Ich hab mir damit bsp. ein Bildschirmhintergrund in grün gemacht)
  • und natürlich die ganze Migration zu apache http client 4.0
  • jede Aktion die in Steering festgehalten wird (/Table_API_p.html , nicht nur Crawls) kann man mit dem Scheduler wiederholen lassen
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy 0.97

Beitragvon Orbiter » Mo Sep 13, 2010 1:39 pm

ach und da fällt mir noch was ganz wichtiges ein: die Suchheuristiken. Das ist die 'ich will nichts verpassen wenn ich mit YaCy suche'-Funktion.
In /ConfigHeuristics_p.html kann mann die 'scroogle'-Heuristik anklicken, dann wird bei einer Suche auch eine Suchanfrage an scroogle (Google-Anonymisierer) gesendet und dessen Ergebnis als Crawl-Auftrag gestartet. Das ist also keine Metasuche sondern man bekommt dann die Suchergebnisse aus Google auch aus dem YaCy-Index.

Effektiv führt das dazu dass die Heuristik-Ergebnisse erst auf der 2. Suchseite auftauchen. Aber man kann sagen: man 'verpasst' sie nicht. Diese Ergebnisse werden in der Ergebnisanzeige markiert; man sieht dann ob diese Ergebnisse YaCy schon gekannt hatte oder durch den Crawl-Auftrag neu hinzu gekommen sind.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy 0.97

Beitragvon Vega » Mo Sep 13, 2010 7:58 pm

@Michael - Heuristik ist mir beim heimfahren heute auch eingefallen..... :) Zwei kurze Fragen dazu:

1 - die Heuristik-Funktion ist nur aktiv wenn man als Admin eingelogt ist ?
2 - wo sehe ich das diese Funktion aktiv ist ? Ich habe auf meinem Peer http://tokeek.homedns.org:8080 die Heuristik über die scroogle Funktion aktiviert, merke aber keinen Unterschied bei den Suchergebnissen, bzw. bemerke ich sonstige Ausgaben die auf die Korrekte Funktion an dieser Stelle hinweist.

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: YaCy 0.97

Beitragvon Orbiter » Mo Sep 13, 2010 9:42 pm

ja die Funktion wird nur als Admin ausgeübt.
Wie man heuristik-Ergebnisse von anderen unterscheidet wird auf der Heuristik-Seite beschrieben.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy 0.97

Beitragvon Quix0r » So Feb 06, 2011 1:39 pm

Ich habe leider den Original-Thread zum Thema "externe Libs aktualisieren" nicht gefunden. Es gibt bereits eine HTTPClient-Biliothek in der stabilen Version 4.1:
http://projects.apache.org/projects/htt ... lient.html

Bitte mal Client, Core und MIME updaten, laut der Release-Notes hat sich dort einiges getan.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: YaCy 0.97

Beitragvon sixcooler » So Feb 06, 2011 9:05 pm

Hallo,

danke für den Hinweiss - ich guck mir das mal an.

Cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron