Das suchwort scramblen in der Such-Url

Ideen und Vorschläge sind willkommen.

Das suchwort scramblen in der Such-Url

Beitragvon ribbon » So Sep 21, 2008 5:35 pm

wenn man von einem remote pc den eignen peer zuhause durchsucht.
sieht jeder ISP dazuwischen das Suchwort in direkten Buchstaben.
Die Suchhistorie ist also nur beim localhost private

kann man das Suchwort in der Such url nicht irgendwie scramblen

es gibt dich diese java scripte für email adressen
z.B. sowas:
http://www.internetende.com/mailadresse.htm

kann man das nicht in den Suchbutton einbauen, dass das Suchwort in der Url verschlüsselt ist, zumindest nicht direkt lesbar?

Der locale peer hatte ja auch mal für die Suchworte der anderen Peers gehahste worte.
kann der Suchbutton nicht hashen? und dann die Hashwerte der Suchworte in die Url packen?

Das müsste doch von jedem peer re-convertierbar sein, zumindest stände dann das Suchwort nicht mit arabischem alphabet in der url?

plain suchworte sollten auch noch gehen, aber wenn beides parralell möglich ist, dann kann man es dort nutzen, wo man es nutzen kann und die anderen user tippen z.B. in Portalen dann halt das Suchwort in die Url. (also keine komplette Umstellung).

Ginge sowas ?
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: Das suchwort scramblen in der Such-Url

Beitragvon flori » Mi Sep 24, 2008 9:28 am

Ich denke schon, das das geht, es ist bloß sehr aufwändig und eigentlich nicht nötig.

Du kannst YaCy auch über HTTPS erreichen. Dann werden alle Anfragen verschlüsselt und können nicht mitgeloggt werden:
http://www.yacy-websuche.de/wiki/index. ... 9CberHTTPS
flori
 
Beiträge: 245
Registriert: Mi Jun 27, 2007 10:17 pm
Wohnort: Karlsruhe

Re: Das suchwort scramblen in der Such-Url

Beitragvon Low012 » Mi Sep 24, 2008 10:36 am

edit: Posting kann beim Lesen übersprungen werden, ist Murks.

Allerdings sind die Parameter (unter denen sich ja auch das Suchwort befindet) z.B. im Log eines Proxys oder beim ISP trotzdem sichtbar, da die Anfrage per GET verschickt wird, oder?

Um die Parameter aus dem Header des Requests zu bekomme und so unsichtbar zu machen, sollte es allerdings reichen, Anfragen nur über HTTPS zu stellen und die Methode des Formulars auf der Suchseite von GET auf POST zu ändern.

Ich weiß nicht, ob ein YaCy-Servlet aus dem request auch das Protokoll (HTTP oder HTTPS) auslesen kann. Wenn ja, könnte man automatisch zwischen POST (bei HTTPS) und GET (bei HTTP) wechseln. Eigentlich finde ich es nämlich ganz schön, wenn man die Parameter auch in der Adresszeile des Browsers sieht, um auch mal schnell eine Suchanfrage kopieren und irgendwo posten zu können. Wenn das bei HTTP immernoch automatisch der Fall sein sollte, wäre ich aber besänftigt. ;)
Zuletzt geändert von Low012 am Mi Sep 24, 2008 12:22 pm, insgesamt 1-mal geändert.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Das suchwort scramblen in der Such-Url

Beitragvon flori » Mi Sep 24, 2008 11:49 am

Low012 hat geschrieben:Allerdings sind die Parameter (unter denen sich ja auch das Suchwort befindet) z.B. im Log eines Proxys oder beim ISP trotzdem sichtbar, da die Anfrage per GET verschickt wird, oder?


Zumindest der ISP kann die GET-Anfragen nicht sehen, weil der SSL-Tunnel vor jeder anderen HTTP-Komunikation aufgebaut wird. Ob ein Proxy die GET-Parameter sieht oder die Kommunikation einfach nur durchleitet, das könnte man im YaCy-Code nachschauen. ;) Hab ihn bloß gerade nicht zur Hand...
flori
 
Beiträge: 245
Registriert: Mi Jun 27, 2007 10:17 pm
Wohnort: Karlsruhe

Re: Das suchwort scramblen in der Such-Url

Beitragvon Low012 » Mi Sep 24, 2008 12:21 pm

flori hat geschrieben:Zumindest der ISP kann die GET-Anfragen nicht sehen, weil der SSL-Tunnel vor jeder anderen HTTP-Komunikation aufgebaut wird.


Stimmt: http://tools.ietf.org/html/rfc2818#section-2.1
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Das suchwort scramblen in der Such-Url

Beitragvon ribbon » Sa Jan 03, 2009 9:22 am

der metacrawler macht das sehr schön
der ISP Admin sieht nicht mehr, was man sucht.
Wird das direkt im Browser gemacht??

Kann yacy sowas nicht auch einführen?
Beispiel:
http://85.214.66.227/?per_page=30&timeo ... 4&catg=web

Auch die Möglichkeit des Browsens der gefundenen Url durch einen anonymisierenden Proxy ist ganz nett,
kann man bestimmt auch in yacy machen, dass der Peer herhält, der die Url gesendet hat? praktische den peer nochmal anstossen, einen remote Crawl der Seite zu machen, aber gleichzeitig auch eine Kopie der Seite an den anfragenden zu senden.
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: Das suchwort scramblen in der Such-Url

Beitragvon Low012 » Sa Jan 03, 2009 10:16 am

Wenn du dir mal anschaust, wie die Kommunikation von deinem Browser zum MetaCrawler abläuft (ich benutze dafür ganz gerne Firefox und Live HTTP Headers), kannst du erkennen, dass MetaCrawler da IMHO ziemlich dreckig funktioniert:

Zuerst wird das Suchwort (ich habe "terror" benutzt) im Klartext übertragen:
Code: Alles auswählen
GET /cgi-bin/searchwwwping.cgi?search=terror&per_page=30&Submit=SUCHEN&catg=web&location=9 HTTP/1.1
Host: 213.133.108.102
User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.5) Gecko/2008120121 Firefox/3.0.5
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Referer: http://www.metacrawler.de/

MetaCrawler antwortet dann mit einem HTTP-Code 302 und bietet eine Umleitung auf eine Adresse an, in der das Suchwort codiert ist:
Code: Alles auswählen
HTTP/1.x 302 Found
Date: Sat, 03 Jan 2009 08:09:33 GMT
Server: Apache/2.2.3 (Linux/SUSE)
Location: http://85.214.63.94/?per_page=30&timeout=7&qry=jjf93kw1alyyvy&type=and&tt=4&catg=web
Content-Length: 372
Keep-Alive: timeout=15, max=100
Connection: Keep-Alive
Content-Type: text/html; charset=iso-8859-1

Die Kodierung erfolgt also bei MetaCrawler serverseitig und bietet keinen Schutz vor neugierigen Netzwerkbetreibern. Ich denke, dass die Kodierung eher aus irgendwelchen internen Gründen geschieht.

Wenn die Kodierung einen Sicherheitsgewinn bringen sollte, müsste sie clientseiting erfolgen. Ich habe mir mal angesehen, wie Picidae das macht. Wenn man sich http://pici.picidae.net/ anschaut, entdeckt man den folgenden Schnipsel:
Code: Alles auswählen
function scramble(m)
{
   var k = "c0d6de98";

   // encode the string
   m = urlencode (m);
   
   // encrypt the string
   var r = des(k,m,1,0,null);
   var s = encodeBase64(r);
   
   return s;
}

urlencode(), des() und encodeBase64() befinden sich in JS-Dateien, die extra geladen werden. Das Suchwort wird mit Hilfe dieser 3 Funktionen zuerst in eine Form gebracht, in der es nur noch eine Untermenge der ASCII-Zeichen enthält, dann wird es per DES mit dem Schlüssel k (ändert sich bei jedem neuen Aufruf der Seite) verschlüsselt und danach noch Base64-codiert.

Da DES ein symmetrisches Verschlüsselungsverfahren ist, ist es höchstens so lange sicher, wie ein Angreifer den Schlüssel nicht kennt. Hier wird der Schlüssel jedoch im Code der Seite mit der Suchmaske mitgeschickt. Jemand, der den kompletten Netzwerkverkehr mitschneidet, kann das Suchwort also problemlos entschlüsseln. Werden jedoch nur die HTTP-Requests aufgezeichnet, dürfe es im Nachhinein nicht mehr möglich sein, die Anfrage zu entschlüsseln.

Das gilt aber nur, wenn, der DES-Schlüssel auf dem Server vorgehalten wird und mittels der ID f zugeordnet werden kann und nicht in f der Schlüssel eingearbeitet ist, so dass man ihn mehr oder weniger mühelos extrahieren könnte und so im Nachhinein u noch entschlüsseln könnte. Hier eine Anfrage nach http://www.heise.de
Code: Alles auswählen
GET /browse.php?f=da91dbe906c5d38b561e6ba036954bc9&c=1&u=U1c8QHXaZl%2Fer9DrbUyzy%2BXlBr0Osvfnc5ca6VpRpXE%3D HTTP/1.1
Host: pici.picidae.net
User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.5) Gecko/2008120121 Firefox/3.0.5
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Referer: http://pici.picidae.net/
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Das suchwort scramblen in der Such-Url

Beitragvon ribbon » Sa Jan 03, 2009 3:13 pm

mh.., a dass die javascript nutzen habe ich dann auch gesehen und dann muss das keyword ja erstmal hin, ok.
für yacy wäre es dann auch nicht machbar, da ja dann jeder andere node den key zur verschlüsselung benötigte.
naja, es soll ja auch nicht entschlüsselungssicher sein, sondern nur den ersten blick erschweren, sprich ein einfache hashen der worte würde ja genügen und da jeder einen clienten laufen lässt, wäre es zumindest über gesendete localhost-anfragen möglich?
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: Bing [Bot] und 1 Gast