Neues Link Rating System

Allgemeines und Nachrichten zu Suchmaschinen-Themen

Neues Link Rating System

Beitragvon linksystem » So Feb 03, 2008 12:19 pm

Hallo,
hier gibt es ein neues Link Rating System:
http://retroshare.svn.sourceforge.net/v ... vision=326
(Links Dialog) Ähnlich wie: http://www.webnews.de/

Es wäre schön, wenn yacy dieses nutzen könnte bzw. in der Application es möglich wäre, yacy bzw. die Links einzupluggen?
http://doc.trolltech.com/4.3/plugins-howto.html
Das könnte ein subdirectory sein, in dem yacy läuft und dann auf die Datenbank des Link Rating Systems zugreift.
Yacy selber könnte man durch einen Button zum default-Browser aufrufen.

So könnte man die Rankings der User dieses Linksystems auch in yacy ausgeben..
linksystem
 
Beiträge: 7
Registriert: So Feb 03, 2008 11:35 am

Re: Neues Link Rating System

Beitragvon Orbiter » So Feb 03, 2008 10:49 pm

ich hab das nicht alles verstanden was auf den verlinkten Seiten drauf steht. Kannst du das bitte kurz zusammenfassen?
Orbiter
 
Beiträge: 5799
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Neues Link Rating System

Beitragvon linksystem » So Feb 03, 2008 11:54 pm

Das ist ein friend-to-friend netzwerk; indem ein node urls definiert mit: titel und url und kommentar, ergibt sich eine Datenbank. Das machen aber auch alle anderen im Netzwerk. Ein Node sendet nun alle seine Url oder halt die Datenbank an alle seine verlinkten Freunde und diese tun selbiges zu deren Freunde.
So entsteht zu jedem Node ein Upoad, der die Daten oder Bookmarks aller Teilnehmer im Freundeskreis zusammenbringt - und zwar mit eingebautem Ranking, d.h. ähnlich wie DIGG oder http://www.webnews.de kann jeder die in seinem node befindlichen Bookmarks voten auf einer Bewertungsskala (und wieder zu seinen Freunden uploaden). In jedem Node, je nach verbundenen Nodes und einem gewünschten Zeitraum (urls der letzen Woche oder Urls nur des heutigen Tages) kann dann jeder das Ranking filtern bzw. aus dem Ranking das gewünschte Datum oder Zeitraum filtern und er erhält eine Top 10 oder Top 100 Liste an Urls, die die User am heutigen Tage besonders hoch gewertet haben. Dadurch sind auch SPAM-Urls ausgeschlossen.
Die Anfrage ist nun, dass a) die Urls dieses Systems in yacy indiziert werden b) ggf. das statische (, d.h. ohne Ranking und Zeitbezug) Bookmarksystem in yacy ersetzen oder ergänzen c) dass die bookmarks aus dem f2f netz auch in der Suche von yacy auftauchen entweder einsortiert in den Top Positionen oder als Fenster-Box im Seitenmenü (dann unabhängig vom Suchbegriff, eher nach dem Motto: Top rated urls today), an der Stelle, wo tags sind oder bei google sonst die Ads.
Idealerweise könnte yacy sich dazu in das f2f netzwerk einpluggen, d.h. wenn man es installiert, sich dort - wenn vorhanden - in einen sub-Pfad installieren und die Daten der bewerteten Bookmarks übernehmen, oder gleich einen gemeinsamen Installer machen, damit das Url-Rating auch in yacy ist.
Da der yacy installer zu gross ist, müsste es einen Qt-Installer als plugin von yacy geben, dass sich in bereits vorhandene f2f Installationen einplugged bzw. bei neuen yacy Erstinstallationen könnte das bookmark-ranking-system auch mit yacy distribuiert werden. Die Installation ist aber Nebensache, wichtig wäre, dass dieses System handverlesene Urls ermöglicht als Datenbasis, die spam-frei ist und daher in yacy eingespeist werden könnte mit entsprechendem Ranking. (Natürlich könnte zwar ein yacy node dieses faken, aber wenn dann die Suche eines Portals oder der Node des users, die eigene Datenbank mit ihren Ergebnissen (die auch die F2F-rated-urls beinhaltet) höher bewerten würde (als andere), würden diese Urls direkt auch in der Suchliste on top erscheinen). Die Ende Februar erscheinende Version 4.0 wird dieses beinhalten und könnte auch einen yacy launcher haben (wenn installiert bzw einen download des plugins). Somit wären Urls handverlesen geränkt verfügbar aus einer Gruppe von Freunden für einen yacy peer, der diese Links dann auch indexieren kann und ggf. entweder als Top 10 in ein Seitenmenü postet (unabhängig vom Suchbegriff stehen an der Seite die Top 10 urls des Tages) oder sie - wie gesagt - im Peer indexiert hat und diese dann bevorzugt als handverlesene und geprüfte Urls in den Suchergebnissen ausweisst.
linksystem
 
Beiträge: 7
Registriert: So Feb 03, 2008 11:35 am

Re: Neues Link Rating System

Beitragvon apfelmaennchen » Mo Feb 04, 2008 6:52 am

Ich fände es nach wie vor schöner, wir würden das mit unseren eigenen YaCy-Bookmarks hinbekommen. YaCy um eine Liste mit befreundeten Peers zu ergänzen dürfte easy sein. Deren Lesezeichen abzurufen auch....

Der einzigste Grund auf einen fremden Zug aufzuspringen wäre der, wenn man dort auf eine funktionierende Userbasis zugreifen kann. Auf die Schnelle konnte ich das beim genannten Projekt so nicht erkennen.

Gruß!
apfelmaennchen
apfelmaennchen
 
Beiträge: 429
Registriert: Mo Aug 20, 2007 7:06 pm

Re: Neues Link Rating System

Beitragvon linksystem » Mo Feb 04, 2008 8:11 am

das wäre wünschenswert, nicht zwingend dasselbe. Du kannst auch die webseite http://www.webnews.de indexieren, dann haste die Top News auch in yacy indexiert und je nach Stichwortsuche und Algorhythmus in der Suche ausgewiesen. Dennoch wird p2p ranking nicht dasselbe sein wie ein f2f ranking, da nur dieses spamfrei ist. Was aber durch einen Spam-peer wieder aufgehoben werden könnte und es stände 1:1, wenn ein node die durch Freunde gerankte urlliste einstellt und der andere Peer 1:1 seine gefakte. Dennoch kann yacy eine Sache nicht abbilden, ein Darknet bzw ein Web of Trust. Wie findet man unter yacy peers Freunde? Und welcher Sinn steckt dahinter? Peers seine Bookmarks zuzuschustern macht keinen Sinn (es sei denn man macht es für das System, was ja jetzt schon schwierig läuft), hingegen Freunden Links zu Daten und Webseiten zu senden schon. Es geht auch noch um erweiterte Links nicht zu Webseiten, sondern zu Digitalen Medien. Bald wird diese Suche genutzt, um sog. OFF-Links (auch http) zu verzeichnen. http://offsystem.sourceforge.net/en_search.html
Diese OFF-Links wären dann auch in yacy und eben nicht in google. was http://www.emugle.com/ für Ed2k-Links und http://youtorrent.com für torrent ist, wäre yacy für OFF-Links. Und zwar nicht als darknet oder exclusive net (f2f), sondern als p2p netz. Yacy würde damit zu einer Bibliothekssuche. Die ist im OFF-System schon drin, auch dort gibt es trusted peers und einen DHT, man könnte auch webseiten zippen und dort einstellen... aber es ist sinnvoll, die Links auch in einem anderen System suchen zu können. Man kann auch in yacy an eine Suche denken, die nur OFF-Links auswirft als eigene Kategorie. Diese kommen aber nur rein, wenn sie durch Freunde gerankt und "übergeben" werden. DIese Überganbeschnittstelle ist der Request. (Denn die p2p suche nach Links wird die public Boards ersetzen und da es f2f ist, sind sie aber nicht mehr öffentlich, und daher könnten diese jedoch in yacy abgebildet werden und damit öffentlich werden).
Es ebenso zu machen würde eine Konkurrenzsituation erzeugen, ein "Einpluggen" würde nur (vergleichbar) einen crawl laufen lassen und die benötigten Daten einsaugen. Dieses ist sinnvoller, da für (unbekannte) Peers niemand das Einpflegen von Bookmarks oder das Ranken übernehmen würde, und schon gar nicht für OFF-Links, da niemand mit seinem Peer Links zu copiergeschützten Medien gerankt verlinken würde als Bookmark, sie im Webseiten Index zu spidern, geht eher.

Das System von Retroshare würde sich sehr gut eignen:
yahoo macht ähnliches:

Yahoo plant neuen "Buzz"-Dienst Meldung vorlesen

Yahoo, diesen Monat prominent in den Schlagzeilen durch Microsofts Übernahmeangebot und die anschließende Ablehnung desselben, plant einen neuen Dienst. Ab dem 26. Februar soll Buzz eine Alternative zur Social-News-Website Digg werden, zunächst als Beta, ab Sommer dann in größerem Umfang.

Das Angebot ist als News-Tracker für Nachrichten und interessante Artikel gedacht. Das Ranking-System soll dabei, wie Digg, auf den Bewertungen von Internetnutzern basieren und populäre Suchbegriffe berücksichtigen, die bei Yahoo selbst sowie im Yahoo Publisher Network eingegeben werden. Wer also den Online-Portalbetreiber Werbung auf seiner Internetseite verkaufen lässt, darf damit rechnen, dass seine Geschichten auf Buzz auftauchen. Seit Ende 2005 betreibt der Internet-Konzern unter buzz.yahoo.com bereits einen News-Trackerdienst für populäre Nachrichten. Der soll nun ergänzt und erweitert werden.

Der neue Buzz-Dienst ist bereits der zweite, den der Suchmaschinen- und Portalbetreiber diese Woche ankündigte. Auf dem World Mobile Congress in Barcelona stellte Yahoo Anfang der Woche den Service oneConnect vor, der unterschiedliche Kommunikationsdienste wie E-Mail, Instant Messaging, SMS und soziale Netzwerke unter einen Hut bringen will. (akl/c't)

http://www.heise.de/newsticker/meldung/103610
linksystem
 
Beiträge: 7
Registriert: So Feb 03, 2008 11:35 am

Re: Neues Link Rating System

Beitragvon linksystem » Mo Mär 03, 2008 9:01 pm

apfelmaennchen hat geschrieben:Ich fände es nach wie vor schöner, wir würden das mit unseren eigenen YaCy-Bookmarks hinbekommen.
Gruß!
apfelmaennchen



Die Version 0.4 alpha ist draussen:
http://downloads.sourceforge.net/retros ... irror=osdn

im Tab "Unfinished" unter "Link Cloud" kann man links "raten".

Ein peer rating hat immer spams, ein f2f rating nicht.
Daher ist es ggf interessant, mit dem Projekt sich mal zu beschäftigen.

Ferner: OFF-Links können dort auch eingegeben werden. Auch diese kann yacy nur indexieren, wenn sie copyright-free sind, alle anderen kann yacy nur übernehmen, wenn es die dort f2f abholt, also ebenso ein Grund, sich damit zu beschäftigen.

f2f weitergegebene Links kommen über p2p in eine nicht zensierbare p2p Suchmaschine, damit wäre praktisch es ed2k-link board in yacy und dort aufgefangen...

Man kann da viele Zukunft drin sehen, f2f geratete Links in yacy einzuklinken.
linksystem
 
Beiträge: 7
Registriert: So Feb 03, 2008 11:35 am

Re: Neues Link Rating System

Beitragvon apfelmaennchen » Mo Mär 03, 2008 11:00 pm

Retroshare is a cross-platform private p2p sharing program.


Sagen zumindest die Autoren...

Aus p2p wird f2f, wenn man vertrauenswürdige Peers zu Freunden erklärt.
Diese Technik könnte ich mir zumindest recht gut vorstellen, wenn man die Community-Features von YaCy weiter ausbauen wollte.
Damit könnte man dann das Ranking, die Lesezeichen vertrauenswürdiger Peers etc. entsprechend nutzen (ohne Spam) - das würde sich auch ohne Retroshare realisieren lassen.
Geht es also um Retroshare oder f2f?

Gruß!
apfelmaennchen
apfelmaennchen
 
Beiträge: 429
Registriert: Mo Aug 20, 2007 7:06 pm

Re: Neues Link Rating System

Beitragvon miTreD » Mi Mär 05, 2008 9:55 am

apfelmaennchen hat geschrieben:Aus p2p wird f2f, wenn man vertrauenswürdige Peers zu Freunden erklärt.
Wir hatten vor langer Zeit, noch im alten Forum, eine Diskussion über secure Peer-Hashes. Ist nie implementiert worden, würde aber wohl genau diese Funktionalität abbilden.
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: Neues Link Rating System

Beitragvon ribbon » Do Mär 06, 2008 7:47 am

Retroshare ist recht stark, das Rad muss man ja nicht neu in java erfinden.
Das Linkratingsystem scheint mir auf den ersten blick recht gut, denn es erklaubt ja auch freunden von freunden das raten der links.
das alles in java zu machen hiesse eine complette java version von retroshare zu machen.
Es geht schon um f2f, aber compatibel zum marktführer, und daher kann man gleich den c++ code integrieren statt es in java umzucoden.
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: Neues Link Rating System

Beitragvon Lotus » Do Mär 06, 2008 5:27 pm

ribbon hat geschrieben:das Rad muss man ja nicht neu in java erfinden.

Was ist mit gleichem Code ausführbar auf Solaris, BSD, Linux, Mac und Windows?
Führ mal was vor, wenn du Fremdsoftware integriert haben möchtest. Unser Code ist jedem frei zugänglich.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Neues Link Rating System

Beitragvon ribbon » Do Mär 06, 2008 10:38 pm

solaris und BSD weiss ich nich, aber die anderen drei funktionieren auch, da alles portable ist.
ich hatte mal einen installer gemacht für beides, aber war mit NSIS und nur für windows.
aber bleiben wir erstmal bei dem ersten OS: WIN.
sprich, yacy müsste das NSIS installer script nehmen und yacy als win-exe zum ausführen reinpacken und (/oder als alle source dateien) in einem subpfad ablegen.
(der programmaufruf startet also beide programme)
http://retroshare.svn.sourceforge.net/v ... athrev=377
PCDA42 macht doch einen WIN-Installer, wäre es da möglich, das NSIS-script obigen Links zu nutzen, sprich ein gemeinsames Icon tray und desctop icon?

dann wäre im Qt-Icon-tray der yacy Aufruf für Suchseite und Admin-Seite einzuklicken.
Hier war ja auch die Idee, den qt browser mit dem linux trubnailshot programm einzusiedeln, was ist eigentlich daraus geworden?

Daher sollten wir uns mit dem WIN Installer von PCDA42 abstimmen (ob wir es in obiges script einbinden können und mit dem externen entwickler, ob wir mit dem desktop icon yacy als daemon starten und in den icon tray einen befehl für suchseite im Browser launchen haben können) und mit Orbiter, ob er den Weg der Thumbnails über ein qt brwoser widget im icontray machen will? Sodann muss hier und da entschieden werden, ob man den ramsch der anderen im gemeinsamen installer haben möchte oder es nur hier gemacht wird.

Wenn das dann geregelt ist, muss yacy nur noch auf die datei zugreifen (und ggf die ratings verarbeiten), die die "Links Clouds" indexiert.
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: Neues Link Rating System

Beitragvon PCA42 » Do Mär 06, 2008 11:32 pm

Kurz mal zum Thema Windows-Installer: der kann im Augenblick die "normale" tar.gz herunterladen, entpacken und daraus Yacy installieren. Ich arbeite dabei mit Inno-Setup und nicht mit dem NSIS. Dadurch ist sichergestellt, dass für alle Plattformen nur eine Quell-Datei existieren muss. Dank Java muss halt nicht extra für jede Architektur kompiliert werden. Und das ist gut so.

Zu mir: Ich teste Yacy mit zwei Installationen (eine davon: http://yacy-suche.de), aber das wars dann auch schon. Ab und zu gibt es hier noch einen Kommentar zum Projekt oder einen notwendigen Bug-Report. Aber Programmieren habe ich zu wenig Ahnung und auch derzeit nicht den Nerv und die Zeit, mir da Sachen anzueignen. Der Installer ist nur entstanden, weil die Skripte in Pascal geschrieben werden, wo ich noch etwas Übung aus Schulzeiten (mehr als 10 Jahre her...) habe.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Neues Link Rating System

Beitragvon ribbon » Fr Mär 07, 2008 1:04 am

Das zu Programmieren halte ich gar nicht für einen grossen Aufwand.

Bleiben wir mal bei windows.

wenn man nicht die anderen bemühen muss, den yacy code oder installer in das NSIS zu packen, dann muss man ja einfach nur den installer von retroshare in das Innosetup packen, entweder die win exe oder die portable local version.`das ist doch sogar noch einfacher als umgekehrt.

im zweiten schritt baut man dann einen launch command für yacy im icon tray von RS ein (und ggf einen yacy-daemon-start über das desktop icon)
das können die anderen machen oder ich kümmere mich drum.

Im dritten Schritt könnte Orbiter das file mit den urls aus retroshare (und später auch das Ranking dazu) aufschlabbern. Das liegt ja dann auch in einer festgelegten Pfad-Struktur.

wo haste Dein script für innosetup abglegt und sollen wir mal einen installer machen, der beides installiert? das launchen beider applicationen zu verzahnen bekommen wir hin, und drittens: wenn orbiter bereit ist, die gerankten urls indexieren zu lassen.. würde es gehen.
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: Neues Link Rating System

Beitragvon Lotus » Fr Mär 07, 2008 5:00 pm

ribbon hat geschrieben:... yacy müsste das NSIS installer script nehmen und yacy als win-exe zum ausführen reinpacken ...

Im SVN gibt es ein NSIS-Script, welches an die aktuelle Entwicklung angepasst werden muss damit daraus ein Installer wird. Das kannst du gerne machen.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Neues Link Rating System

Beitragvon ribbon » Sa Mär 08, 2008 1:33 am

damit stände man in konkurrenz zu innosetup
da es dieses bereits gibt und der sehr gut ist, sollten wir das auch weiter nutzen

dass es sinn macht social bookmarks zu integrieren kann man auch hier nochmal lesen
http://www.winfuture.de/news,37975.html
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: Neues Link Rating System

Beitragvon Lotus » Sa Mär 08, 2008 10:05 am

ribbon hat geschrieben:... social bookmarks zu integrieren ...

Inwieweit muss sich YaCy deiner Meinung in diesem Punkt noch verändern? Public/Private Bookmarks und Surftips sind bereits vorhanden.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Neues Link Rating System

Beitragvon linksystem » Sa Mär 08, 2008 10:57 am

Hallo

as neue link rating system erlaubt es, die links raten zu lassen durch freunde und durch freunde von freunden.
man kann sie sortieren nach
a) wann sie eingestellt wurden
b) nach dem Ranking
c) eine Combo-.Berechnung aus beidem

Man kann die Links dann sortieren lassen und die Top 10-50 oder Top 400-500 auswählen.

Fünftens kann man dann nach Zeiträumen filtern. Also letzen Monat oder so.

Sechstens Das Ranking ist Spam Free, das es auf einem Web of Trust basiert.

Das alles gibt es nicht in Java, daher ist eine Integration bzw. zugreifen auf die Datei, wo die URLs drin sind, ratsam.
Die vorgeschlagenen Wege YaCy aus dem (Qt) Icon Tray von Retroshare aufzurufen, aber mit Innosetup eine eigene Compilation von beidem zu machen, finde ich nicht schlecht.

Siebtens: Es geht auch um die OFF-Links (http:Offsystem.sf.net), die dort indexiert werden sollen, die könnten dann auch in YaCy gesucht werden. Aber das kommt automatisch und ist kein Sonderfall, da auch http-Link, YaCy dürfte nur Url, die das Wort "Offsystem" nicht aussortieren, weil sie ja "tote" Links sind, das kann man besprechen, wenn die user des Offsystems bekannter sind.

Punkt 1-6 gibt es in YaCy nicht. Und es ist im wesentlichen die Idee, dass Freunde von Freunden Links raten können, die ein Node eingestellt hat.

Daher sollte man den Vorschlag nutzen: bei INNO-Setup zu bleiben, retroshare darein zu packen und Detrop Icon und Icon Tray startet dann beides.
Aber das nutzt alles nix, wenn Orbiter dann nicht auf das geratete Link-File zugreifen will. Hier muss ggf auch mal mit dem Projekt gesprochen werden, wie man eine Schnittstelle hinbekommt, dass die Daten easy zu transportieren sind. (das läuft gerade auch für das OFFSystem, denn von dort sollen die Off-Links auch automatisch für ein F2F Rating eingespült werden, wenn jemand eine Datei dort einstellt, aber das ist hier egal).

Linksystem
linksystem
 
Beiträge: 7
Registriert: So Feb 03, 2008 11:35 am

Re: Neues Link Rating System

Beitragvon apfelmaennchen » Sa Mär 08, 2008 12:55 pm

Ich hatte mir zwar vorgenommen nichts mehr zu diesem Thread zu schreiben, aber nachdem ich mich seit einiger Zeit mit den Yacy-Lesezeichen beschäftige möchte ich doch nochmals was zum Besten geben:


linksystem hat geschrieben:Das alles gibt es nicht in Java, daher ist eine Integration bzw. zugreifen auf die Datei, wo die URLs drin sind, ratsam.


Mit Java oder C oder C++ hat das ganze nichts zu tun!

Hauptproblem, wie bereits von miTreD beschrieben, ist die fehlende Implementierung von sicheren Peer-Hashes in YaCy.
Damit wären andere Peers eindeutig zu identifizieren und in Folge dessen könnte man deren Lesezeichen, Rankings etc. spamfrei innerhalb von YaCy zu nutzen. Es bieten sich hier Verfahren zur digitalen Signatur an...

Bei den Lesezeichen ist momentan viel im Umbruch. Die YaCy-Lesezeichen enthalten z.B. schon von Anfang an ein Datumsfeld, welches sich aber über das UI momentan nicht selektieren läßt...ich arbeite an einem neuen Interface für Lesezeichen mit dem Hauptfokus einer besseren Integration mit der Suche und dem Crawler. Das Ganze geht also eher in die Richtung "Personal Search Assistant" und nicht so sehr auf Social Bookmarking. Ich denke welche Richtung man einschlägt ist Geschmacksfrage und es ist ganz klar so, dass zumindest ich meine Zeit in die Funktionen stecke, die mir persönlich an YaCy fehlen...

linksystem hat geschrieben:Aber das nutzt alles nix, wenn Orbiter dann nicht auf das geratete Link-File zugreifen will.


Wer eine Integration mit Retroshare möchte, sollte eine Referenzimplementierung oder einen Proof of Concept vorlegen und sich nicht darauf zurückziehen, ob Orbiter, oder einer der anderen YaCy-Developer etwas "will" oder nicht. YaCy ist Open Source - los geht's!

Gruß!
apfelmaennchen
apfelmaennchen
 
Beiträge: 429
Registriert: Mo Aug 20, 2007 7:06 pm


Zurück zu Suchmaschinen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste