öffentliches Suchportal abschalten und Funktionalität

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

öffentliches Suchportal abschalten und Funktionalität

Beitragvon HûntSt°rJonny » Do Dez 25, 2014 2:36 pm

Wenn ich unter Acces Rules Protection of all Pages anschalte, wechselt mein Peer in Junior Modus. Ich möchte aber das nur ich mein Suchportal benutzen kann, hab auch die entsprechende Option aktiviert "Nur der Administrator darf suchen", dies scheint aber keine Auswirkung zu haben.

Ist es richtig dass wenn andere Peers, meinen Peer nach Suchergebnissen fragen, die Ergebnisse die mein Peer liefert nicht nachverfolgbar weitergegeben werden?
HûntSt°rJonny
 
Beiträge: 9
Registriert: Di Dez 23, 2014 11:12 pm

Re: öffentliches Suchportal abschalten und Funktionalität

Beitragvon Erik_S » Do Dez 25, 2014 6:28 pm

Hallo,

soweit ich das verstanden habe ist das Suchportal eines YaCy-Peers der aktives Mitglied des globalen Index "freeworld" ist auch immer für jeden benutzbar. Dein lokaler Index ist aber auf jeden Fall von außen, also durch die anderen YaCy-Peers, abfragbar. Das ist meiner persönlichen Meinung nach auch grundsätzlich richtig so, wer vom globalen Index profitieren will muss auch dazu beitragen.

Wirklich Anonym bist Du als Betreiber eines YaCy-Peers (der von außen erreichbar ist, also mindestens Senior-Status hat) nicht, zumindest Deine aktuelle IP-Adresse ist immer sichtbar. Außerdem ist Dein Peer als solcher identifizierbar und damit auch über einen längeren Zeitraum hinweg wiedererkennbar, ganz ohne dem funktioniert das Prinzip der Distributed-Hash-Table nicht.

Viele Leute betreiben ihren YaCy-Peer als "nebenbei-crawler", also der eigene Peer crawlt beim normalen surfen im Internet nebenbei alles was so im Browserfenster auftaucht. Da zu jedem gefundenen Wort auch immer die URL der Seite auf der es gefunden wurde mit im Index landet, ansonsten würde eine Suchmaschine auch keinen Sinn machen, lässt sich durch geschicktes Abfragen eines bestimmten Peers ganz sicher auch die Surf-History des Browser analysieren der diesen Peer zum "nebenbei-crawlen" benutzt. Zumindest in groben Zügen da die Links im lokalem Index mit der Zeit mit von außen, per DHT-Transfer, kommenden Links durchsetzt werden. Wie stark Deine persönliche Surf-History über Deinen Peer analysierbar ist, falls Du überhaupt das Feature "nebenbei-crawlen" benutzt, hängt also wesentlich davon ab wie intensiv die YaCy-Peers die Links per DHT-Transfer austauschen. Näheres hierzu kann aber nur der Programmierer von YaCy (das bin nicht ich) wirklich schlüssig erklären.

Aber all das lässt sich nur bis zu Deiner IP-Adresse zurückverfolgen, allein daraus kommt man noch nicht auf Deine konkrete Person (Name, Adresse, ...), das können in Deutschland üblicherweise nur die offiziellen Strafverfolgungsbehörden.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: öffentliches Suchportal abschalten und Funktionalität

Beitragvon HûntSt°rJonny » Do Dez 25, 2014 7:37 pm

Wenn es keine Möglichkeit gibt das Suchportal als Senior abzuschalten, ist yacy in deutschland unbenutzbar(zumindest als Senior) eine öffentliche Website die mir nahezu unkontrollierbare Inhalte anzeigt und auch noch leicht zu finden ist, ist in deutschland reines kamikaze. Dabei halte ich das Suchportal kritischer als die Tatsache das mein Peer gehashte Links weiter gibt.
HûntSt°rJonny
 
Beiträge: 9
Registriert: Di Dez 23, 2014 11:12 pm

Re: öffentliches Suchportal abschalten und Funktionalität

Beitragvon Erik_S » Do Dez 25, 2014 11:15 pm

Hallo,

ich persönlich sehe da keinen allzu großen Unterschied, ob Du einen Server betreibst der Links als klickbare Liste im HTML-Format (die Suchergebnisseite für Browser) oder als kryptisches Datenformat (DHT-Suchanfrage durch andere Peers) rausgibt kommt aufs selbe hinaus. Die Links sind in jedem Fall im Klartext, auch beim DHT-Transfer, denn schließlich muss der Anwender (bzw. sein Browser) damit was anfangen können.

Im übrigen genießen Suchmaschinen nach deutschen Recht einen Sonderstatus, also der Betreiber ist nicht unmittelbar für die Links haftbar zu machen (solange kein Vorsatz o.ä. vorliegt) wobei hier natürlich noch das Problem bleibt ob ein Richter ohne technischen Sachverstand (sowas soll in Deutschland eher die Regel als die Ausnahme sein) das auch so sieht. Um von Deinem YaCy-Peer wenigstens den gröbsten Schmutz fern zu halten gibt es die Möglichkeit Blacklists einzubinden aber leider ist nirgends dokumentiert wie die genau arbeiten (z.B. ob bei einem neuen Eintrag in der Blacklist der vorhandene Index durchsucht wird damit eventuell bereits indexierter Müll sofort von der Festplatte verschwindet) und wie viel Performance und Speicher diese benötigen (vor allem wenn mal einige 100000 Domain-Namen enthalten sind).

Der verantwortliche Entwickler von YaCy sollte zu diesem Thema mehr wissen, ich gehe doch mal davon aus das er sich hierzu hat juristisch beraten lassen. Zumindest bin ich persönlich der Meinung das wenn man so eine Software zum freien Download anbietet das man dann zumindest grundlegend über die durch die Benutzung der Software entstehenden Risiken aufklären kann.

Ein anderer Aspekt von YaCy ist meiner persönlichen Meinung nach deutlich kritischer, der Crawler hinterlässt beim Crawlen natürlich auch immer Deine aktuelle IP-Adresse im Log-File der besuchten Server und wenn Dein Crawler zufälligerweise mal einem Link zu fragwürdigem Zeugs folgt und dieser Server danach eventuell von irgendeiner Strafverfolgungsbehörde (aus irgendeinem Land dieser Welt) kassiert wird und die die geloggten IP-Adressen an die Behörden der jeweiligen Länder weitergeben (siehe Fall Edathy) könnte das schon sehr viel unangenehmer sein. Denn wenn Du (beweise erstmal dass das nicht Du sondern ein automatischer Crawler war) auf irgendwelchen fragwürdigen Inhalt aktiv zugegriffen hast kommt die Hausdurchsuchung (mit Beschlagnahme von allem was auch nur im entferntesten einem Computer oder einem Datenträger ähnelt) sicher schneller als wegen irgendeinem Link den eine Suchmaschine ausspuckt.

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: öffentliches Suchportal abschalten und Funktionalität

Beitragvon Orbiter » Fr Dez 26, 2014 12:54 am

HûntSt°rJonny hat geschrieben:eine öffentliche Website die mir nahezu unkontrollierbare Inhalte anzeigt und auch noch leicht zu finden ist, ist in deutschland reines kamikaze.

das ist unbegründet.

Erik_S hat geschrieben:ob Du einen Server betreibst der Links als klickbare Liste im HTML-Format (die Suchergebnisseite für Browser) oder als kryptisches Datenformat (DHT-Suchanfrage durch andere Peers) rausgibt kommt aufs selbe hinaus. Die Links sind in jedem Fall im Klartext, auch beim DHT-Transfer, denn schließlich muss der Anwender (bzw. sein Browser) damit was anfangen können.

das ist richtig.

Die rechtliche Lage ist tatsächlich komplex. Ich habe (in einem Meeting) miterlebt wie beispielsweise die Telekom auf Takedown-Notices reagiert; es ist so dass Suchportale z.B. bei Gerichtsentscheidungen zur Entfernung von Links aufgefordert werden können. Suchportale bekommen so eine Notiz und dann werden Links entfernt. Einen Rechtsverstoß bis zum Takedown liegt dann aber nicht vor. Dann muss man noch zwischen privaten und kommerziellen Webseiten unterscheiden; diese Unterscheidung gibt es offenbar nicht bei Suchmaschinen weil es private Suchmaschinen irgendwie nicht gibt (bis auf uns) aber das hat noch nie zu einem Präzedenzfall geführt. Nachdem wir das hier ja nun schon zehn Jahre machen und niemand das, was wir hier machen für illegal erklärt hat sehe ich wenig Grund zur Beunruhigung.

Schon damals hatte ich gesagt, dass alles was wir hier machen legal sein soll (natürlich) und niemand hier das Gefühl entwickeln soll, wir würden so etwas wie eine Untergrundorganisation mit unklarer rechtlichen Lage machen. Wenn es so weit kommen sollte, dass privat betriebene Suchmaschinen illegal sind, dann ist das Internet sowieso kaputt.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: öffentliches Suchportal abschalten und Funktionalität

Beitragvon MikeS » Fr Dez 26, 2014 1:19 am

Ich kann mich Orbiter hier anschließen. Es ist sehr unwahrscheinlich, dass man da Ärger mit der Justiz bekommen wird. Nicht völlig unmöglich, aber doch sehr unwahrscheinlich.

Ich betreibe jetzt seit 1996 die eine oder andere Suchmaschine. Erst als Einzelgewerbe, dann als GbR, als GmbH, und im Moment wieder als Privatperson. Ich habe in all den Jahren da nie irgendwelche Probleme erlebt.

Was ich erlebt habe, ist dass Personen bzw. Firmen an mich herangetreten sind, die ihre Seite entfernt haben wollten, weil sie aufgrund einer Unterlassungserklärung oder Gerichtsentscheidung verpflichtet waren ihr Möglichstes zu tun, ihre Seiten entfernen zu lassen. Dem bin ich in der Regel auch nachgekommen. Meistens waren die entsprechenden Inhalte durch automatische Recrawls eh schon aus dem Index entfernt, oder wären es in Kürze gewesen.
MikeS
 
Beiträge: 88
Registriert: Mo Feb 25, 2008 6:30 pm

Re: öffentliches Suchportal abschalten und Funktionalität

Beitragvon Erik_S » Fr Dez 26, 2014 12:13 pm

Hallo,

Orbiter hat geschrieben:Die rechtliche Lage ist tatsächlich komplex.
Gewiss, aber wie sieht das eigentlich mir dem Crawler aus. Den Crawlern der großen etablierten Suchmaschinen wird niemand irgendeine problematische Absicht vorwerfen da es allgemein bekannt ist das diese alles crawlen was ihnen irgendwie in die Finger kommt, aber der Crawler in YaCy crawlt üblicherweise nur das was der verantwortliche Peer-Betreiber vorgegeben hat. Gibt es irgendeine theoretische Abschätzung was passiert wenn die IP eines YaCy-Peer im Log-File eines Servers auftaucht auf dem problematischer Content vorhanden ist und die URL zu der IP gerade auf diesen Content zeigt?

Orbiter hat geschrieben:Nachdem wir das hier ja nun schon zehn Jahre machen und niemand das, was wir hier machen für illegal erklärt hat .....
Vielleicht war YaCy die vergangenen 10 Jahre nie groß genug damit es ausreichend auffallen konnte. Die großen etablierten Suchmaschinen standen alle schon x-fach als Angeklagte vor Gericht, da gibt es in der Zwischenzeit reichlich Präzedenzfälle (sicher wegen allem möglichem und unmöglichem Unsinn). Ich denke das einige Peer-Betreiber etwas ruhiger schlafen könnten wenn es auch für YaCy ein paar Präzedenzfälle gäbe auf die man sich im Zweifel berufen könnte. Gerade diese rechtliche Unklarheit, wer kann schon vorhersagen wie ein deutscher Richter über YaCy denken wird wenn es eventuell doch mal zu einem Problemfall kommt, ist meiner Meinung nach der Grund für das nachvollziehbare Unbehagen mancher Leute.

Orbiter hat geschrieben:Wenn es so weit kommen sollte, dass privat betriebene Suchmaschinen illegal sind, dann ist das Internet sowieso kaputt.
Full ACK!

Grüße
Erik
Erik_S
 
Beiträge: 185
Registriert: Sa Aug 30, 2014 11:13 am

Re: öffentliches Suchportal abschalten und Funktionalität

Beitragvon HûntSt°rJonny » Di Dez 30, 2014 7:24 pm

Erik_S hat geschrieben:
Orbiter hat geschrieben:Nachdem wir das hier ja nun schon zehn Jahre machen und niemand das, was wir hier machen für illegal erklärt hat .....
Vielleicht war YaCy die vergangenen 10 Jahre nie groß genug damit es ausreichend auffallen konnte. Die großen etablierten Suchmaschinen standen alle schon x-fach als Angeklagte vor Gericht, da gibt es in der Zwischenzeit reichlich Präzedenzfälle (sicher wegen allem möglichem und unmöglichem Unsinn). Ich denke das einige Peer-Betreiber etwas ruhiger schlafen könnten wenn es auch für YaCy ein paar Präzedenzfälle gäbe auf die man sich im Zweifel berufen könnte. Gerade diese rechtliche Unklarheit, wer kann schon vorhersagen wie ein deutscher Richter über YaCy denken wird wenn es eventuell doch mal zu einem Problemfall kommt, ist meiner Meinung nach der Grund für das nachvollziehbare Unbehagen mancher Leute.

Das sehe ich ähnlich bis jetzt hat kaum jemand yacy gekannt, vllt endeckt so langsam der ein oder andere Neuland-polizist oder Abmahnabwalt yacy und überlegt was man damit anfange könnte. Und dann sind wir ganz schnell bei der Argumentation alle yacy betreiber sind böse, weil Recht auf vergessen wird nicht umgesetzt, kinderpornografie kann vom staat nicht entfernt werden und sowieso wird sowas neulandiges nur von terroristen genutzt ...ach und fast das gleiche raubmordkopierer hab ich noch vergessen.
Erik_S hat geschrieben:
Orbiter hat geschrieben:Wenn es so weit kommen sollte, dass privat betriebene Suchmaschinen illegal sind, dann ist das Internet sowieso kaputt.
Full ACK!

Hinsichtlich Snowden kann man da eh nicht sagen das das Internet schon kaputt ist?
HûntSt°rJonny
 
Beiträge: 9
Registriert: Di Dez 23, 2014 11:12 pm


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron