menschliches Surfverhalten nachahmen

Ideen und Vorschläge sind willkommen.

menschliches Surfverhalten nachahmen

Beitragvon ribbon » Di Mai 27, 2008 10:29 pm

ist es machbar, dass yacy menschliches surfverhalten nachahmt mit ein, zwei algos? sprich dass 10-30 % (frei einstellbar) der angecrawlten Seiten über einen längeren Zeitraum gehalten werden, damit es aussieht, als wenn man sie im Browser lesen würde? zudem dann 5 sec - 5 minuten (frei einstellbar) gehalten werden, wie im browser? dann könnte man die tatsächlich aus privatem interesse angesurften urls in einer menge der gecrawlten urls einbinden. ggf ist es ja mit 1,2 algos machbar, dieses surfverhalten nachzuahmen?

http://winfuture.de/news,39619.html
http://www.winfuture.de/news,38543.html
http://www.winload.de/download/71113/Bi ... .0....html
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: menschliches Surfverhalten nachahmen

Beitragvon miTreD » Mi Mai 28, 2008 7:11 am

miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: menschliches Surfverhalten nachahmen

Beitragvon miTreD » Mi Mai 28, 2008 7:17 am

Diese Seiten müssten dann nicht nur einfach im Rahmen der von Dir vorgeschlagenen Parameter gecrawlt werden. Die müssen über den Proxy gezogen werden, damit die Header-Informationen auch passen. Prinzipiell finde ich das aber 'ne gute Sache. Lässt sich ja evtl. mit dem Recrawl kombibieren?
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: menschliches Surfverhalten nachahmen

Beitragvon Lotus » Mi Mai 28, 2008 2:52 pm

miTreD hat geschrieben:Lässt sich ja evtl. mit dem Recrawl kombibieren?

Ja, schleichender Recrawl einer zufälligen URL aus dem Index über eine zufällige Tiefe mit zufälliger Zeit. Gute Idee.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: menschliches Surfverhalten nachahmen

Beitragvon ribbon » So Jun 15, 2008 10:59 am

naja es muss so aussehen, als wenn man die seite ansurft, eine Tiefe ist da glaube ich gar nicht sooo wichtig, können ja auch jeweils individuell eingegebene urls sein und ich glaube nicht, dass einer prüft, ob die nächste angesurfte url auch auf der vorherigen Seite verlink war, aber jeweils von einer url nochmal 2 urls zu hoppen ist natürlich nicht falsch. Wichtiger ist aber ggf auch, dass man die Seite dann 5 Minuten hält, bevor die nächste url kommt? Dann sieht es so aus, als wenn man sie lesen würde und dann noch ein Telefonat dazuwischen führt und dann zur nächsten Url weitersurft. Dass müsste mit 5 -7 Urls als Prozess gleichzeitig passieren mit unterschiedlichen Zeiten, in denen man sich die Webseiten vermeintlich anschaut.. das wäre ganz grosse klasse...
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: menschliches Surfverhalten nachahmen

Beitragvon Orbiter » So Jun 15, 2008 1:58 pm

wozu könntest du das denn gebrauchen? Ich meine, was ist der Zweck dahinter?
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: menschliches Surfverhalten nachahmen

Beitragvon ribbon » So Jun 15, 2008 11:46 pm

ich danke da nur an den ISP, da es schon die Vorratsdatenspeicherung gibt, reicht das. der Admin des ISP kann sich doch alle urls auflisten lassen, die ein user im Monat so ansurft. in den üblichen statistiken sieht man doch auch immer, wie lange jemand auf einer webseite war und wie lange die url genutzt wurde. Wenn Yacy urls crawled, wird die seite ja nur sekunden "gehalten", daher nützt es nichts, um menschliches surfverhalten nachzuahmen, bzw zu verschleiern in einem massengemenge von möglichen urls.
Der Admin beim ISP muss doch nur die Urls rausfiltern, die nur wenige sekunden angesurft wurden, dann bleiben wieder die übrig, die der user gelesen hat.
Ich bin der Ansicht, dass es möglich sein muss, im Internet Nachtichten zu lesen, wie zuhause in der Zeitung auch, da macht auch keiner ein Logfile, ob man einen Artikel gelesen hat oder nicht.
Dieser Ansicht sind wohl auch andere, denn es wurden schon zwei solcher tools vorgestellt, einmal ein Bildschirmschoner und auch das oben genannte tool, die webseiten herunterladen und so tun, als wenn ein Mensch sie lesen würde, um damit die wirklich vom Nutzer gelesenen Seiten in einem Bad an anderen Webseiten zu vermischen, ertränken was auch immmer.
Nicht, dass es notwendig ist, aber die Frage ist, warum sollte man es nicht machen. Dafür gibt es keinen Grund (abgesehen von dem Aufwand).
Grundsätzlich wäre es gut, das zu haben, poltisch auch und drittens könnte dann yacy als so ein tool genannt werden und nicht die Bildschirmschoner mit gleicher Funktion. Das war so die Idee dahinter, dachte das wäre offensichtlich, dass man damit mehr Privatheit oder Geschütztheit bekommt. Wenn ihr das auch positiv bewertet, dann wäre es schön, statt dieses Bildschirmschoners lieber yacy installieren zu können.
Oder ist noch keinem aufgefallen, dass z.B. die Heise News nicht mit einer Ziffer in der Url sind, sondern die Titelzeile ebenso VOR der Ziffer kommt... so kann jeder in den Logfiles auf Anhieb sehen, welche News man gelesen hat, ohne die Zahlen der News dechiffrieren zu müssen oder selbst hinsurfen zu müssen.
http://www.heise.de/newsticker/Freie-Ro ... ung/109180
versus
http://www.heise.de/newsticker/meldung/109180
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: menschliches Surfverhalten nachahmen

Beitragvon datengrab » So Jun 15, 2008 11:55 pm

Das die Heise News den Titel mit in der URL haben dürfte wohl in aller erster Line dem Ranking dienen. Alle mir bekannten SuMas bewerten das Auftauchen des Suchbegriffs in der URL sehr hoch.
datengrab
 
Beiträge: 366
Registriert: Sa Aug 25, 2007 7:22 pm

Re: menschliches Surfverhalten nachahmen

Beitragvon DanielR » Mo Jun 16, 2008 8:43 am

Auch für die History ist ein einfacher und zum verlinken und überhaupt.

@Menschliches Verhalten: Man kann nicht "sehen" wie lange eine Seite im Browser offen ist. Man kann nur "sehen" wann die nächste Seite geladen wird. Du kannst das Crawler-Busy-Delay auf 10-30 Sekunden stellen um das in etwa hinzubekommen. Ist allerdings ein festes Intervall. Wenn du ganz normal crawlst rufst du so viele verschieden URLs auf, dass deinen "manuellen" Seiten untergehen. Um sicher zu sein kannst du den Proxy mit Tiefe 2 benutzen. Dann wird immer zu jeder Seite noch die Links abgefragt. Ob das dann vom Proxy, per Crawlstart oder gar RemoteCrawl ist, gann der Webserver nicht wissen, da bei jeder Seite die Unterseiten abgefragt werden ;) Wenn du normal surfst rufst du die Seiten ja nicht so schnell auf. Allgemein würde ich sagen sind (Anonymous-)Proxies besser als Programme die Surfverhalten nachahmen.
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: menschliches Surfverhalten nachahmen

Beitragvon Huppi » Mi Jun 18, 2008 9:44 pm

Ich denke, daß was ribbon schreibt, paßt schon gut zum Konzept "Informationsfreiheit".
Mir persönlich ist es egal, wer mein Surfverhalten protokollieren will. Ich verschicke gerne meine Browser-History per E-Mail. Ich sehe auch die Gefahr, daß es Leute gibt, die wissen, daß sie ihr Surfverhalten verschleiern müssen. Ich glaube aber auch daran, daß eine Welt, in der jeder selbst bestimmen kann, was mit eigenen Daten passiert, eine bessere ist.
Das ist eine "liberale" Einstellung, ohne daß damit ein Parteienraster abgebildet werden muß. YaCy hat für mich aber auch eine politische Komponente, die sich mit einer zentralen Datenkrake nicht vereinbaren läßt. Ich bin auf Google angewiesen, aber hinter YaCy steckt das bessere Konzept :-) Informationstechnisch korrekt :-)

Die Vorschläge von ribbon lassen sich doch sicherlich mit einem Skript realisieren, das YaCy über wget steuert. Ein Plugin könnte dann ja der logische zweite Schritt sein.
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: menschliches Surfverhalten nachahmen

Beitragvon Huppi » Mi Jun 18, 2008 9:48 pm

Allgemein würde ich sagen sind (Anonymous-)Proxies besser als Programme die Surfverhalten nachahmen.


Aber Surfverhaltens-Nachahmung läßt sich mit YaCy vermutlich leichter realisieren als AnonProxies und liefert damit leichter das Argument für mehr YaCy-Installationen.
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: menschliches Surfverhalten nachahmen

Beitragvon ribbon » Sa Jul 19, 2008 11:25 am

ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: menschliches Surfverhalten nachahmen

Beitragvon Lotus » Sa Jul 19, 2008 9:25 pm

ribbon, könntest du bitte zu deinen Links auch etwas schreiben?
Sollte nicht schon ein TOR-Node auf dem Rechner reichen um den eigenen Traffic "untergehen" zu lassen?

Wie auch immer wäre die Funktion in YaCy leicht gebaut. Ich würde einfach den Delay vom Fetcher nach jedem Durchlauf anpassen. Das muss natürlich auch deaktiviert sein (default). Ist ein Projekt für einen langweiligen Abend. ;)
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: menschliches Surfverhalten nachahmen

Beitragvon ribbon » Mi Jul 23, 2008 11:14 pm

beim tor node wird man telekommunkationsdienstleister, weil andere die Url abrufen und damit wird man Vorratadatenspeicherungspflichtig. Wenn yacy menschliches surfverhalten nachahmt, ist das nicht der Fall.
Der Link zeigt, dass nach Schweden und Österreich nun auch Bayer/Deutschland das Internetverhalten (auchihnaltlich) durchsuchen möchte.
Ich wünsch daher noch viel Regentage, damit sich langweilige Abende finden...
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste