Ein Peer taucht dutzendfach in der Peer-Liste auf

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Ruhe » Mo Jul 29, 2013 6:56 pm

Nach 2 durchgeführten Neuinstallationen der 1.52/9136 per Debian-Paket auf Debian 7.0 64bit taucht der Peer ("yacy-search_com") nun dutzendfach in der Liste der Potential Peers auf (und 1x in der Liste Active Peers, was korrekt ist)
In ein paar Stunden wird der Peer dort sogar einige hundert mal aufgeführt.

Auf der gleichen Maschine trat das Problem mit der vorigen Version des .deb-Pakets nicht auf.
Zuletzt geändert von Ruhe am Do Aug 01, 2013 2:51 pm, insgesamt 1-mal geändert.
Ruhe
 
Beiträge: 75
Registriert: So Jul 21, 2013 10:37 am

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Ruhe » Di Jul 30, 2013 12:18 pm

Auch mit 1.600/09003 der Fall.

Hab da aber einen Verdacht und werde berichten...
Ruhe
 
Beiträge: 75
Registriert: So Jul 21, 2013 10:37 am

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Orbiter » Di Jul 30, 2013 1:20 pm

habs gesehen, merkwürdigerweise haben diese Peers aber verschiedene Hashes, was darauf hinweist das diese Peers unterschiedlich sind.
Gucks mir an, habe da aber schon eine Vermutung..
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Ruhe » Di Jul 30, 2013 1:25 pm

Mein Verdacht (Portprüfung über den Serveranbieter) hat sich nicht bestätigt. Auch nach Abschalten der Portprüfung tritt das Verhalten auf.
Ruhe
 
Beiträge: 75
Registriert: So Jul 21, 2013 10:37 am

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Ruhe » Di Jul 30, 2013 5:03 pm

Soll ich den Peer bis zu einem Fix besser abschalten?
Ruhe
 
Beiträge: 75
Registriert: So Jul 21, 2013 10:37 am

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Orbiter » Di Jul 30, 2013 5:37 pm

ich habe von einer Uni, die YaCy's DHT Prozess ziemlich genau unter die Lupe genommen hat (dazu ein anderes Mal mehr) die Ankündigung bekommen, sie wollen ein paar Experimente machen. Sie wollen aber vorsichtig sein und nichts kaputt machen. Nun die richtige Art damit umzugehen, wäre das gleich zu fixen und ich gucke mir das auch noch an. Aber ich glaube es ist nicht notwenig dafür die Peers offline zu nehmen.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Ruhe » Mi Jul 31, 2013 7:37 am

Über 1200 Potential Peers, und die meisten davon ist meiner :roll:
Ruhe
 
Beiträge: 75
Registriert: So Jul 21, 2013 10:37 am

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Ruhe » Mi Jul 31, 2013 7:15 pm

Sieht bei mir derzeit so aus:

Bild
Ruhe
 
Beiträge: 75
Registriert: So Jul 21, 2013 10:37 am

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Ruhe » Do Aug 01, 2013 9:14 am

Das Deaktivieren von "Index Distribution" + "Index Receive", was dazu führt, dass der Peer im "Robinson Mode" läuft, ändert nichts. Der Peer wird auch damit ständig neu unter den "Potential Peers" gelistet.
Ruhe
 
Beiträge: 75
Registriert: So Jul 21, 2013 10:37 am

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Hermes » Do Aug 01, 2013 9:57 am

Dieses Phänomen ist bei praktisch jedem Peer in der Potential-Liste zu finden. Praktisch gesehen ist es eine Kopie der Daten des jeweiligen Peers, nur mit anderen Hashes und der anderen IP-Adresse (Es ist immer dieselbe IP). Beachtenswert ist, dass auch der Port immer derjenige des des jeweiligen Peers, der kontaktiert wurde, ist.
Du brauchst also den Fehler nicht bei dir zu suchen. Das tritt bei allen auf.
Hermes
 
Beiträge: 50
Registriert: Mi Jun 27, 2007 11:10 pm
Wohnort: Ratingen

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Ruhe » Do Aug 01, 2013 10:06 am

Das Phänomen ist aber erst mit einer der letzten Versionen aufgetreten, oder anders, erst seit wenigen Tagen.
Auch wenn es zuvor bereits aufgetreten ist, dann hat man davon nichts bemerkt - da waren es immr nur ganz wenige hundert Pot.Peers. Aber jetzt...
Irgendeine Änderung muss demnach dazu geführt haben. Und ich sehe nur meinen Peer in der Liste der massenhaft dort auftaucht.
Ruhe
 
Beiträge: 75
Registriert: So Jul 21, 2013 10:37 am

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Hermes » Do Aug 01, 2013 10:20 am

Ruhe hat geschrieben:[...] Und ich sehe nur meinen Peer in der Liste der massenhaft dort auftaucht.

Ich sehe auf meinen Peer in der Liste auch nur meinen massenhaft dort auftauchen. Auf deinem Peer sehe ich auch nur "Kopien" von deinem Peer.
Diese "Kopien" tauchen nicht auf, wenn man die eine IP sperrt, von der diese "Kopien" kommen. Also liegt das Problem auf diesem entfernten Rechner.
Hermes
 
Beiträge: 50
Registriert: Mi Jun 27, 2007 11:10 pm
Wohnort: Ratingen

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Orbiter » Do Aug 01, 2013 11:15 am

ups, welche IP ist das denn?
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Orbiter » Do Aug 01, 2013 11:39 am

ich hab eben einen Versuch eines bugfixes zu machen; symptomatisch an diesem Problem ist, das der remote Peer behauptet er hätte die gleiche Adresse wie der eigene Peer, der angepingt wurde. Vielleicht kommt es dazu erst später und beim Ping ist es noch nicht so, aber diesen einen Fall habe ich mal abgefangen und ist im letzten commit drin. Mal schauen obs hilft.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Ruhe » Do Aug 01, 2013 11:45 am

Sobald ihr eine neue Version released (hier ist 1.6/9012 installiert), werd ich sie einspielen.
Ruhe
 
Beiträge: 75
Registriert: So Jul 21, 2013 10:37 am

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Orbiter » Do Aug 01, 2013 12:16 pm

naja wenn man sich das hier anschaut, sieht es doch ganz deutlich nach einem Angriff aus, das in einem eigenen Netz stattfinden soll, aber wohl entglitten ist:
breakitdown.png
breakitdown.png (61.93 KiB) 2125-mal betrachtet

zur Zeit hier: http://78.47.48.246:8090/Network.html
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Ruhe » Do Aug 01, 2013 12:23 pm

Diese IP ist seit eben hier per iptables für eingehende Verbindungen blockiert.


/EDIT: seit der Sperrung durch

Code: Alles auswählen
iptables -A INPUT --src 78.47.48.246 -j DROP

ist der letzte Eintrag in der Peer-Liste zu o.g. IP vor 60 Minuten gewesen. Und mein eigener Peer wird seitdem auch nicht mehr als Zombie gelistet.
Zuletzt geändert von Ruhe am Do Aug 01, 2013 1:28 pm, insgesamt 1-mal geändert.
Ruhe
 
Beiträge: 75
Registriert: So Jul 21, 2013 10:37 am

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon sixcooler » Do Aug 01, 2013 1:25 pm

Gestern Abend habe ich mich auch mal damit beschäftigt:
Die Einträge des jeweils eigenen Peers in die Liste kommen durch einen etwas verhakten self-Ping.
Das ist nicht Schön, aber kein Angriff von irgendwo und scheint die sonstige Funktion auch nicht zu stören.
Nur einen Fix hab ich auch noch nicht.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon sixcooler » Do Aug 01, 2013 3:51 pm

ok - hätte Orbitters post wohl mal näher lesen sollen - sorry.
Meine Annahmen waren wohl nicht so richtig.

Diese pseudo-Self-Pings mit dem jeweils eigenen Namen kommen bei allen Peers wohl von der gleichen Adresse.
Das sieht zwar nach 'Angriff' aus - aber es tut ja nix anderes als die Liste zu füllen-
Die Motivation dahinter ist mir schleierhaft.

Gerade hab ich etwas commitet (8a96140...) das die Geschichte erst mal beendet.

Auf dem Seed-Server ist die Adresse auch auffällig häufig vertreten und holt ca. jede Minute die Seed-Liste.

cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon Quix0r » Do Aug 01, 2013 7:28 pm

Die IP kommt aus Deutschland (Hetzner), wenn das ein "boeses" Botnetz wird, einfach an die melden.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Ein Peer taucht dutzendfach in der Peer-Liste auf

Beitragvon mherrmann » Sa Aug 03, 2013 2:40 pm

Hello YaCy community,

I'll try to shed some light in the recent events that are caused by us. First of all our apologies for this inconvenience.

We are currently investigating the functionality of YaCy and parts of these investigations are to see how fast we are able to learn a new peer in the network. For this we wrote a robot (not a full YaCy peer) that pings 50 YaCy peers every 30 seconds. Unfortunately, we made a mistake in our program. We create fake identities for every ping but use the real IP address. As a result, we learn a peers active peer set, but whenever a peer tries to contact our pinging robot, it's not able to connect (it's just a robot) and consequently, puts this peer in the passive set.

We did not intend to hide the identity of this robot peer and choosing a new random hash for every ping was admittedly a stupid idea. We just did not think about thousands of peers appearing in the inactive set although it is now, with the result, pretty obvious.

Further, as you have probably realized, we are maintaining our own, small toy YaCy network. The machine with the IP 78.47.48.246 served as machine for our robot as well as the principal peer for our toy network. We are maintaining this network to conduct all the experiments for that we do not need the freeworld network. Some peers (I assume they are from some of the people that use this forum) joined this network. This is very unfortunate for us, because the data we gathered in this network now became useless for us because the peers that joined this network issued some requests. However, I certainly do understand that our activities made you curious and that you wanted to figure out what is going on.

In order to resolve the issues I'd like to propose the following:

1. Our pinging robot does not use random identities anymore, but one fixed identity. This way there will be one more peer in every YaCy peer's passive set. After our experiment is finished (in a couple of days) we remove this robot and 30 days later it's identity is removed from the passive set.

2. I would like to ask you to no longer join our toy network. As I have mentioned, this is very crucial for us, because otherwise our data is not reliable.

We are currently under quite a bit time pressure for our work on YaCy, so it is crucial for us to do the experiment in the freeworld network. However, if you have any concerns regarding our activities and want us to stop our experiment, we will immediately do so.

Again, my apologies for this incident.

Regards,
Michael
mherrmann
 
Beiträge: 1
Registriert: Sa Aug 03, 2013 2:04 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron