YaCy @ 27C3

Ereignisse, Vorschläge und Aktionen

YaCy @ 27C3

Beitragvon Orbiter » Mo Dez 06, 2010 11:48 pm

Florian und ich werden beim 27C3 sein. Ich habe vor dort eine FTP/Intranet Suche zu bauen. Da gibt es ja immer viele FTP Server mit 'krempel' drauf.
Im 27C3 Wiki wurde nach einem Crawler gefragt:
http://events.ccc.de/congress/2010/wiki/FTP

Da hab ich dann mal eingetragen dass wir da sind und das machen. Ich werde versuchen einen netten Suchserver mitzubringen, hab den noch nicht aber was nicht ist kann ja noch werden.

Bitte auch das neue Werbevideo dazu beachten:
http://vimeo.com/17535160

Das was ihr da seht ist einfach nur die etwas aufgebohrte "Interactive Local Search" seite, die nun auch Navigatoren hat (einfach nur Filetypes) und einen besonderen Knopf: generate download script. Das Script wird aus dem Suchresultat erzeugt und einfach eingeblendet, dann kann man es per copy/paste in eine shell kopieren. Ich denke ein Massendownload geht nicht einfacher.

Bin gespannt wie das läuft. Die herausforderung ist es eher, auf kommende/gehende Server schnell reagieren zu können.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy @ 27C3

Beitragvon Orbiter » Fr Dez 10, 2010 3:16 pm

Die YaCy Projektseite im 27C3 Wiki ist auch fertig:
http://events.ccc.de/congress/2010/wiki/YaCy

Ausserdem werde ich wohl ziemlich geile Hardware dafür mitbringen, einen i7 TEO-Server den man mir extra zusammenbaut.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy @ 27C3

Beitragvon Low012 » Sa Dez 11, 2010 12:21 pm

Coole Sache! Ich werde mal ein paar Leute drauf hinweisen, von denen ich weiß, dass sie nach Berlin kommen.

Die IPs beim Congress sind öffentliche IPs, oder? ;)
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: YaCy @ 27C3

Beitragvon Orbiter » Sa Dez 11, 2010 1:00 pm

interessante Frage! Ich hatte jetzt mit intranet-IPs gerechnet. Da fliegen ja immer eine Dateien rum und die sind oft nicht wirklich für die Öffentlichkeit gedacht. Wenn das aber öffentliche IPs sind, muss ich noch den Intranet-Scanner leicht umbauen damit es ein IP-Range Scanner wird. YaCy kann ja jetzt im Intranet selbstständig alle http, ftp und smb-Server auf Standardports im lokalen Subnetz finden.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy @ 27C3

Beitragvon Low012 » Sa Dez 11, 2010 4:08 pm

Hmm, ich bin jetzt grad nicht ganz sicher. Kann auch sein, dass man nicht standardmäßig eine öffentliche IP bekommt, aber das müsste zumindest möglich sein, weil ich vor ein paar Jahren mal einen Link auf einen FTP-Server dort bekommen habe, auf dem sich der "übliche Kram" befand.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: YaCy @ 27C3

Beitragvon Orbiter » So Dez 12, 2010 1:55 pm

jetzt 'wehrt' sich jemand dagegen dass es beim ccc porn geben soll: http://twitter.com/#!/fasel/statuses/13628405190758400
dabei habe ich dazu gar nichts geschrieben bzw. überhaupt nur das Wort im Video erwähnt.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy @ 27C3

Beitragvon Orbiter » Mo Dez 13, 2010 12:09 am

Low012 hat geschrieben:Hmm, ich bin jetzt grad nicht ganz sicher. Kann auch sein, dass man nicht standardmäßig eine öffentliche IP bekommt, aber das müsste zumindest möglich sein, weil ich vor ein paar Jahren mal einen Link auf einen FTP-Server dort bekommen habe, auf dem sich der "übliche Kram" befand.


sehr schön dokumentarisch:
http://events.ccc.de/congress/2009/wiki/Ftp

die haben da alle eine IP im Range 81.163.130.xx
Müsste eigentlich öffentlich sein, oder?
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy @ 27C3

Beitragvon Low012 » Mo Dez 13, 2010 10:49 am

Jau! Mach mal eine WHOIS-Anfrage (z.B. hier) für z.B. 81.163.130.42. Auch dieses Jahr scheint die IP-Range wieder benutzt zu werden. Scheint der komplette Bereich 81.163.0.0/16 zu sein.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: YaCy @ 27C3

Beitragvon Orbiter » Di Dez 14, 2010 11:40 am

aufgrund dieser neuen Information habe ich nun den Intranet-Scanner zu einem Internet Scanner umgebaut. Das Ding ist krass! /CrawlStartScanner_p.html
gebt mal im Feld "Scan range with given host name" irgendeinen bekannten host name ein und scannt den. Will jetzt kein Beispiel geben damit nicht alle das gleiche machen. Dann bekommt ihr eine irre Liste von Servern die meistens vom gleichen Unternehmen sind und die man noch nicht so kennt. Auf Knopfdruck kann man die dann indexieren.

Jetzt fehlt nur noch ein Tool, das ad-hoc bei der Suche erkennt ob ein Server down ist und statt dann die URLs aus den Ergebnissen zu löschen diese nur temporär ausblendet. Kann ja sein dass mal jemand sein Laptop gerade zugeklappt hat. Und dann muss immer wieder überprüft werde ob die Dateien wieder da sind und die 'Ausblendung' wegnehmen.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy @ 27C3

Beitragvon Lotus » Di Dez 14, 2010 6:20 pm

Orbiter hat geschrieben:Jetzt fehlt nur noch ein Tool, das ad-hoc bei der Suche erkennt ob ein Server down ist und statt dann die URLs aus den Ergebnissen zu löschen diese nur temporär ausblendet. Kann ja sein dass mal jemand sein Laptop gerade zugeklappt hat. Und dann muss immer wieder überprüft werde ob die Dateien wieder da sind und die 'Ausblendung' wegnehmen.

Blöd wäre auch speziell bei ftp, wenn die maximale Anzahl der Verbindungen erreicht ist, aber der Server prinzipiell trotzdem die Datei anbietet.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: YaCy @ 27C3

Beitragvon Orbiter » Fr Dez 17, 2010 12:35 pm

Tickets: ist ja klar, ein 'C' bei 27c3 steht für 'Chaos':
http://search.twitter.com/search?q=27c3+presale
Das Buchungssystem geht nur sehr sporadisch und spuckt die PDFs nicht aus. Sehr schöner Beruhigungsversuch:
Bild
(aus: http://27c3.soup.io/post/94765693/Quit- ... c3-tickets )
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy @ 27C3

Beitragvon Orbiter » Sa Dez 25, 2010 3:15 pm

update: seit vorgestern ist auch der suchserver da, ein TEO-X Spezialanfertigung mit i7 Prozessor. Hatten die noch nicht im Angebot aber für den Event wollten die gerne ein wenig basteln. Das ding ist super. Hab alle Vorbereitungen für einen Headless-Betrieb auch fertig.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy @ 27C3

Beitragvon george-fra » So Dez 26, 2010 12:59 pm

Hallo Berlin
viel Spass und bitte weiter berichten - Danke
Georg
george-fra
 
Beiträge: 31
Registriert: So Sep 26, 2010 9:55 pm
Wohnort: Germany / Leipzig

Re: YaCy @ 27C3

Beitragvon Orbiter » So Dez 26, 2010 8:35 pm

der Server läuft super und ist eigentlich fertig konfiguriert, nur die IP-Adresse muss noch angepasst werden.

Hier ist der Flyer, kommt an die Scheibe zum Hackcenter oder ins Treppenhaus wo auch immer der andere Krempel rumhängt:
http://yacy.net/material/YaCy-FTP-Searc ... 4-27C3.pdf
Ideen zum Flyer bitte hier posten!
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy @ 27C3

Beitragvon Orbiter » So Dez 26, 2010 9:22 pm

Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy @ 27C3

Beitragvon Orbiter » Mo Dez 27, 2010 11:41 am

Conference Live Stream!!
http://27c3.fem-net.de/

bin noch im Zug .. Verspätung
kann den Stream aber tatsächlich hören .. manchmal

FTP Shares: einen Blick wert .. http://events.ccc.de/congress/2010/wiki/FTP
da ist ziemlich viel 'Krempel' auf den Servern, wie erwartet. Kann man auch von ausserhalb zugreifen.
Und: wir haben Konkurrenz bekommen: http://81.163.150.88/ffsearch/
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy @ 27C3

Beitragvon Low012 » Mo Dez 27, 2010 2:42 pm

Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: YaCy @ 27C3

Beitragvon Orbiter » Mo Dez 27, 2010 7:07 pm

ah danke Marc! Heute feuern wir aber auch aus allen Rohren!

Nachdem das Einrichten des Servers heute Mittag ziemlich zäh ging (was an 2 Sekunden lang antwortendem DNS, ein im Stottergang gehender Router und nicht-funktionierendes WLAN, ausserdem sicherlich auch noch ein paar Falschkonfigurierungen von mir am Server verursachten), waren plötzlich so um fünf Uhr alle Probleme weg. Da das Server-Netz (also von unserem Suchserver zu den ftp-servern) schon ein wenig früher ging, waren zu dem Zeitpunkt bereits eine halbe Million Dokumente (!!) im Index.

Hier ist also der Suchserver: http://81.163.150.103

Das hab ich dann so vor rund 90 Minuten getwittert und seit dem sind rund 6500 Suchanfragen abgeschickt worden (live-Suche) also pro Tastendruck eine. Das macht rein rechnernisch rund 650 'echte' Suchanfragen, gesendet von 165 verschiedenen IPs. Macht pro User also geschätzt vier Suchanfragen.

Jetzt bin ich mal gespannt wie das weiter geht. Es sind noch immer 350000 Dokumente in der Indexing Queue. Da ist aber auch viel Zeug auf den Servern drauf.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy @ 27C3

Beitragvon Low012 » Di Dez 28, 2010 1:14 pm

Heute Morgen war der Server nicht erreichbar. Habt ihr einen sicheren Platz dafür gefunden oder ist er immer nur online, wenn ihr dort seid?
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: YaCy @ 27C3

Beitragvon cfr34x » Di Dez 28, 2010 3:21 pm

Hi,

ich bin auch aufm C3 und würde euch gern mal persönlich treffen. Allerdings hab ich bisher keine räumlichen Hinweise auf euch gesehen.
Wo kann man euch denn finden?

Viele Grüße
Thomas
cfr34x
 
Beiträge: 49
Registriert: Sa Jan 31, 2009 6:24 pm

Re: YaCy @ 27C3

Beitragvon Orbiter » Di Dez 28, 2010 3:58 pm

hallo
ja wir sitzen gerade im Saal 1 / Part Time Scientists. Wir haben alle unsere YaCy Kaputzenpullis an. :D
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy @ 27C3

Beitragvon Orbiter » Mi Dez 29, 2010 7:13 pm

kleines Update, wir sind hier alle sehr beschäftigt ... Florian und ich hacken wie wild zwischen den Vorträgen und verbessern die Suche und fixen Bugs die hier aufgrund der großen Load auf dem Suchserver sichtbar werden. Die letzten zwei Nächte haben wir bis um 4 Uhr hier gesessen und noch gehackt.

Der Suchserver ist wohl ein ganz guter Erfolg, da gehen schätzungsweise 30000 Suchanfragen am Tag rein. Der Index umfasst inzwischen über zwei millionen Dokumente und die Performance ist dafür nun da. YaCy liefert auch bei der Last hier in der Live-Suche Ergebnisse bei rund 400 Millisekunden aus, aber nicht für 10 Treffer sondern für hunderte in einem Stück. Das ganze läuft aber offenbar nur deswegen so gut weil hier zwischen Suchendem und Suchserver Gigabit-LAN bzw. schnelles WLAN liegt.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy @ 27C3

Beitragvon Orbiter » Do Dez 30, 2010 12:49 am

seit der tageschau um 8 Uhr ist das 27c3 Wiki ausgefallen weil die tagesschau den 27c3 erwähnt hat und dadurch das wiki wohl geDDoSd ist. Daher fehlt nun ein Link auf unsere FTP Suche. Trotzdem geht die Suchfrequenz mit 1000 Zugriffen pro Stunde weiter was mir sagt dass die Leute den Such-Link wohl gebookmarkt haben.

Hier nochmal der Link: http://81.163.150.103
das geht nämlich nicht nur aus dem Kongress heraus sondern die IP ist öffentlich wie auch alle FTP Server die da indexiert werden! Letzte Chance diese Nacht zu gucken was hier so rumliegt!
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy @ 27C3

Beitragvon Orbiter » Do Dez 30, 2010 1:01 pm

Der Peer hier enthält nun als Begrüßungsseite eine Anleitung um den Peer selbst identisch aufzusetzen. Das ist im SVN eingecheckt aber geht am Ende der Konferenz wieder raus. Zur Dokumentation hier eine Kopie der Anleitung:
DECENTRALIZE - run this search portal yourself (if you like). Just follow these steps:

* download the software from yacy.net and run it. (you need OpenJDK6). A http server is started and serves the administration pages.
* open http://localhost:8080/ConfigBasic.html and select 'Search portal for your own web pages' ('Intranet Indexing' if you wanto to do this for your / other network) -> Set Configuration
* click on 'System Update' and use 'Automatic Update' to get the latest features which are needed for this. The Peer re-starts automatically. Wait and open http://localhost:8080 again.
* click 'Index Creation' -> 'Network Scanner' ( http://localhost:8080/CrawlStartScanner_p.html )
* in 'Scan Range' enter some IPs (comma-separated) that shall be used as prototype for a 255.255.255.0 subrange. I use '81.163.150.96,81.163.2.42,81.163.18.81,81.163.62.38,81.163.22.118, 81.163.112.96' (without quotes)
* at 'Scheduler' select 'scan and add all sites with granted access automatically' -> Scan. Wait. This makes a portscan and ftp/smb access test on the given range. Wait at least one minute. Keep calm.
* You should now see a list of hosts that are crawled. Your CPU load should increase. All IPs are scanned every 10 minutes, but crawls are done only for new visible servers.
* You can monitor the crawler at 'Crawler Monitor' ( http://localhost:8080/Crawler_p.html ).
* You may want to increase the memory at 'Admin Console' -> 'Performance' ( http://localhost:8080/Performance_p.html ) (you must restart then but wait until the FTP site-listing is done it is lost otherwards :-(
* Please set a very low download limit at 'Advanced Settings' -> 'Crawler Settings' ( http://localhost:8080/Settings_p.html?page=crawler ) .. if documents are not loaded, just their document name is indexed.
* Ready - search at 'Interactive local search' ( http://localhost:8080/yacyinteractive.html )
* You may want to set a peer password at http://localhost:8080/ConfigAccounts_p.html
* Get the right look at http://localhost:8080/ConfigAppearance_p.html and select the 27c3 Skin
* Set search page descriptions and images at http://localhost:8080/ConfigPortal.html
* Visit our forum if there are any questions.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste