Jetty HTTP Server in YaCy

Forum for developers

Jetty HTTP Server in YaCy

Beitragvon flori » Mo Mär 14, 2011 10:09 pm

Ich musse mich in letzter Zeit mehr mit YaCy's Webserver beschäftigen und bin des öfteren verzeifelt ;)
Deshalb hab mich jetzt dem Projekt Jetty in YaCy zu integrieren angenommen.

Mein aktueller Status kann man auf github verfolgen:

Code: Alles auswählen
git clone -b jetty git://github.com/f1ori/yacy.git


Was funktioniert soweit?
* YaCy-Templates
* YaCy-Servlets (auch Bilder), allerdings noch nicht alle Funktionen (Weiterleitungen, Authentifizierung)
* SSI
* Authentifizierung
* Proxy
* YaCy-Domains

=> ist also schon benutzbar

TODO:
* Caching, Indexerung in Proxy
* mapping von repository, www, share, ...

Mit diesem Post will ich vorallem sicherstellen, dass die Arbeit nicht von jemand anderen doppelt gemacht wird.
Zuletzt geändert von flori am Sa Apr 09, 2011 11:17 am, insgesamt 2-mal geändert.
flori
 
Beiträge: 245
Registriert: Mi Jun 27, 2007 10:17 pm
Wohnort: Karlsruhe

Re: Jetty HTTP Server in YaCy

Beitragvon Orbiter » Mo Mär 14, 2011 10:44 pm

oh wow! Ich hab schon vor längerer Zeit mal geguckt was man nehmen könnte und bin auch bei Jetty gelandet. Allerdings ohne das 'richtige' J2EE Framework weils bei uns bedeuten würde alles umzubauen .. du hast ja nicht vor alle Servlets umzubauen.

Das ganze betrifft aber auch den Proxy und so einige Spezialdinge die der httpd auch macht. Jedenfalls bin ich sehr froh dass du dich darum kümmerst, das wird m.E. nach noch ein Höllenjob!

Wenn wir dann irgendwann mal das 1.0er raus haben wird sich wohl so einiges ändern.. dann können wir das angehen das einzubauen.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Jetty HTTP Server in YaCy

Beitragvon Vega » Mi Okt 12, 2011 8:55 pm

Sehr cool, denke der Wechsel zu Jetty ist ok, was ich interessant finden würde wenn wir YaCy einfach als "war" Datei anbieten würden die in verschieden Java-Applikationsservern lauffähig ist, ich denke da auch an Tomcat...

Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Jetty HTTP Server in YaCy

Beitragvon Low012 » Do Okt 13, 2011 7:38 am

GeoServer (stellt digitale Kartendaten über standardisierte Webservices zur Verfügung) gibt es im Bundle mit Jetty und als einzelnes WAR-File, ja nachdem was man benötigt. Wenn sich das mit ANT o.ä. automatisieren ließe, so wie wir im Moment ja auch z.B. die .tar.gz und die .deb-Version bauen können, wäre das super.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Jetty HTTP Server in YaCy

Beitragvon Orbiter » Do Okt 13, 2011 3:41 pm

in https://gitorious.org/yacy/rc2 ist Florians Jetty-Implementation schon drin, nur schmeisst es noch exceptions.
Wenn Jetty erst mal drin ist kann man viel darin deployen und miteinander verknüpfen, solr wird kommen und wahrscheinlich auch activemq für einen erweiterten Crawler.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Jetty HTTP Server in YaCy

Beitragvon Orbiter » Mo Dez 23, 2013 2:40 pm

Florians Arbeit wurde von Burkhard nun fertig gemacht und ich habe es heute ins main gemerged!
Das war eine Mammutarbeit und Burkhard hat das super gemacht, auch die Solr Servlets schon als native jetty-servlets mit eingebaut.
Es fehlt noch die https-Unterstützung, aber das kriegen wir auch noch irgendwie wieder hin.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Jetty HTTP Server in YaCy

Beitragvon Low012 » Fr Dez 27, 2013 8:47 am

Ich bekomme beim Aufruf der HTML-Oberfläche jetzt immer dir unten gepostete Meldung. Die Kommunikation mit den anderen Peers (DHT) scheint zu funktionieren. Irgendwelche Ideen?

Code: Alles auswählen
Ops!

Message: Client can't execute: Timeout waiting for connection from pool duration=60001
java.io.IOException: Client can't execute: Timeout waiting for connection from pool duration=60001
   at net.yacy.cora.protocol.http.HTTPClient.execute(HTTPClient.java:638)
   at net.yacy.cora.protocol.http.HTTPClient.GET(HTTPClient.java:384)
   at net.yacy.http.ProxyHandler.handleRemote(ProxyHandler.java:107)
   at net.yacy.http.AbstractRemoteHandler.handle(AbstractRemoteHandler.java:94)
   at org.eclipse.jetty.server.handler.HandlerList.handle(HandlerList.java:52)
   at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1088)
   at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1024)
   at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:135)
   at org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:255)
   at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:116)
   at net.yacy.http.CrashProtectionHandler.handle(CrashProtectionHandler.java:31)
   at org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:533)
   at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:116)
   at org.eclipse.jetty.server.Server.handle(Server.java:370)
   at org.eclipse.jetty.server.AbstractHttpConnection.handleRequest(AbstractHttpConnection.java:489)
   at org.eclipse.jetty.server.AbstractHttpConnection.headerComplete(AbstractHttpConnection.java:949)
   at org.eclipse.jetty.server.AbstractHttpConnection$RequestHandler.headerComplete(AbstractHttpConnection.java:1011)
   at org.eclipse.jetty.http.HttpParser.parseNext(HttpParser.java:644)
   at org.eclipse.jetty.http.HttpParser.parseAvailable(HttpParser.java:235)
   at org.eclipse.jetty.server.AsyncHttpConnection.handle(AsyncHttpConnection.java:82)
   at org.eclipse.jetty.io.nio.SelectChannelEndPoint.handle(SelectChannelEndPoint.java:668)
   at org.eclipse.jetty.io.nio.SelectChannelEndPoint$1.run(SelectChannelEndPoint.java:52)
   at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:608)
   at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:543)
   at java.lang.Thread.run(Thread.java:724)
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Jetty HTTP Server in YaCy

Beitragvon Low012 » Di Jan 07, 2014 9:30 am

Mein o.g. Problem hat sich übrigens mittlerweile erledigt.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm


Zurück zu YaCy Coding & Architecture

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron