Suchmaschine auf Keywords abstimmen

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Suchmaschine auf Keywords abstimmen

Beitragvon Minc » Di Mär 15, 2016 3:37 pm

Hallo liebe Yacy Gemeinde,

ich habe mich heute neu angemeldet und gleich eine wichtige Frage mitgebracht. Wäre schön, wenn sie mir jemand beantworten könnte.

Ich möchte ein Online-Suchportal (nicht peer to peer) auf einer Website zur Verfügung stellen, bzw. dieses als Suchmaschinen-Projekt anbieten, welches sich auf eine bestimmte Kategorie beschränkt. Im Detail stelle ich mir das folgender maßen vor:

Der Nutzer gibt ein Keyword oder eine Kombination aus Keywords in die Suchmaske ein und erhält dazu passende, vor mir vorher indexierte Webseiten in den SERPs. Nun zur eigentlichen Frage und Problematik: Wie kann ich Websites so crawlen lassen, dass zwar alle internen Seiten in der Datenbank landen aber nur bestimmte Seiten anhand von Keywords in der Suche angezeigt werden. Z.B. durch Erkennung der Kewords im Seitentitel oder Inhalten. In meinem Eigenversuch wurden bei gewissen Keywords immer auch alle Unterseiten einer Website angezeigt.

Beispiel: Ich möchte, dass wenn nach Melitta Kaffeemaschine gesucht wird, auf der Seite XY.de auch nur 1 Treffer mit einer Melitta Kaffeemaschine in der Suche angezeigt wird. Das Gleiche bei Toastern, Spülmschinen, etc. Ohne, dass gleich tausende von anderen Unterseiten aufgelistet werden. Ist das möglich und wenn ja, wie ist das möglich?

Viele Grüße!
Minc
 
Beiträge: 26
Registriert: Di Mär 15, 2016 3:18 pm

Re: Suchmaschine auf Keywords abstimmen

Beitragvon flegno » Do Mär 17, 2016 7:43 am

Hallo Minc,

Willkommen im Forum!
Minc hat geschrieben:Ich möchte ein Online-Suchportal (nicht peer to peer) auf einer Website zur Verfügung stellen, bzw. dieses als Suchmaschinen-Projekt anbieten, welches sich auf eine bestimmte Kategorie beschränkt.
...

Beispiel: Ich möchte, dass wenn nach Melitta Kaffeemaschine gesucht wird, auf der Seite XY.de auch nur 1 Treffer mit einer Melitta Kaffeemaschine in der Suche angezeigt wird. Das Gleiche bei Toastern, Spülmschinen, etc. Ohne, dass gleich tausende von anderen Unterseiten aufgelistet werden. Ist das möglich und wenn ja, wie ist das möglich?

vlt. kannst du die gewünschte Funktionalität in deinem Suchportal mit Hilfe dieser YaCy-Features umsetzen:
  1. Verhalten_steuern - http://www.yacy-websuche.de/wiki/index. ... en_steuern
  2. Blacklists - http://www.yacy-websuche.de/wiki/index. ... Blacklists
  3. Crawling Filter - http://www.yacy-websuche.de/wiki/index. ... ing_Filter
  4. SearchParameters - http://www.yacy-websuche.de/wiki/index. ... Parameters
M.E. lässt sich diese Funktionalität mit zwei unterschiedlichen Ansätzen realisieren:
  • entweder so einen Index erstellen, dass die Eingabe des Suchbegriffs die gewünschte Ergebnisliste liefert - Stichwörter Blacklists und Crawling Filter
  • oder dein Index enthält alle Webseiten und die gewünschte Ergebnisliste wird durch die Definition von geeigneten SearchParameters generiert
Welcher Lösungsansatz für dein Portal der richtige ist, kann bspw. davon abhängen:
  • wie oft der Index aktualisiert wird
  • wie deine Webseiten strukturiert sind
  • wie viel Ressourcen kannst du in die Entwicklung deiner Lösung investieren
  • wie viel SearchParameter-Justierung kannst den Nutzern deines Portals zumuten
  • ...
Gruss, Gustav
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: Suchmaschine auf Keywords abstimmen

Beitragvon Minc » Do Mär 17, 2016 3:30 pm

flegno hat geschrieben:Hallo Minc,

Willkommen im Forum!
Minc hat geschrieben:Ich möchte ein Online-Suchportal (nicht peer to peer) auf einer Website zur Verfügung stellen, bzw. dieses als Suchmaschinen-Projekt anbieten, welches sich auf eine bestimmte Kategorie beschränkt.
...

Beispiel: Ich möchte, dass wenn nach Melitta Kaffeemaschine gesucht wird, auf der Seite XY.de auch nur 1 Treffer mit einer Melitta Kaffeemaschine in der Suche angezeigt wird. Das Gleiche bei Toastern, Spülmschinen, etc. Ohne, dass gleich tausende von anderen Unterseiten aufgelistet werden. Ist das möglich und wenn ja, wie ist das möglich?

vlt. kannst du die gewünschte Funktionalität in deinem Suchportal mit Hilfe dieser YaCy-Features umsetzen:
  1. Verhalten_steuern - http://www.yacy-websuche.de/wiki/index. ... en_steuern
  2. Blacklists - http://www.yacy-websuche.de/wiki/index. ... Blacklists
  3. Crawling Filter - http://www.yacy-websuche.de/wiki/index. ... ing_Filter
  4. SearchParameters - http://www.yacy-websuche.de/wiki/index. ... Parameters
M.E. lässt sich diese Funktionalität mit zwei unterschiedlichen Ansätzen realisieren:
  • entweder so einen Index erstellen, dass die Eingabe des Suchbegriffs die gewünschte Ergebnisliste liefert - Stichwörter Blacklists und Crawling Filter
  • oder dein Index enthält alle Webseiten und die gewünschte Ergebnisliste wird durch die Definition von geeigneten SearchParameters generiert
Welcher Lösungsansatz für dein Portal der richtige ist, kann bspw. davon abhängen:
  • wie oft der Index aktualisiert wird
  • wie deine Webseiten strukturiert sind
  • wie viel Ressourcen kannst du in die Entwicklung deiner Lösung investieren
  • wie viel SearchParameter-Justierung kannst den Nutzern deines Portals zumuten
  • ...
Gruss, Gustav


Danke für die Tipps. Dann werde ich mich hier wohl erst einmal reinarbeiten müssen. Ich melde mich dann wieder zurück.
Minc
 
Beiträge: 26
Registriert: Di Mär 15, 2016 3:18 pm

Re: Suchmaschine auf Keywords abstimmen

Beitragvon Minc » Do Mär 17, 2016 4:46 pm

Kann ich die SearchParameter-Justierung im Backend bestimmen oder geht das nur Nutzerseits im Frontend? Und wo genau kann ich diese Dinge einstellen?
Minc
 
Beiträge: 26
Registriert: Di Mär 15, 2016 3:18 pm

Re: Suchmaschine auf Keywords abstimmen

Beitragvon flegno » Sa Mär 19, 2016 1:09 pm

> Kann ich die SearchParameter-Justierung im Backend bestimmen
mit ein wenig HTML-Kenntnissen kannst du sinnvolle SearchParameter standardmäßig im Formular im Backend festlegen.

> Und wo genau kann ich diese Dinge einstellen?
wie gesagt ein wenig HTML-Kenntnisse sind hier von Vorteil. Bspw. mit SearchParameter site:http://forum.yacy-websuche.de im Formular kannst du die Suche auf die Treffer von der Website forum.yacy-websuche.de einschränken. Usw. s. http://www.yacy-websuche.de/wiki/index. ... Parameters .

Gruss, Gustav
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: Suchmaschine auf Keywords abstimmen

Beitragvon Minc » Mo Mär 21, 2016 4:45 pm

Danke für die Antwort. ich merke schon, ist alles nicht so einfach. Da werden wohl noch öfter ein paar Fragen dazu aufkommen. Nun aber mal eine leichte. Wie kann ich von einer bestimmten Domain nur bestimmte Kategorien/Bereiche crawlen? Beispiel: http://www.derdomainname.de/kategorie
Minc
 
Beiträge: 26
Registriert: Di Mär 15, 2016 3:18 pm

Re: Suchmaschine auf Keywords abstimmen

Beitragvon flegno » Mo Mär 21, 2016 5:09 pm

ich würde an deiner stelle testen, ob SearchParameter inurl: zum gewünschten Ergebnis führt.

Um bereits Index zu filtern, muss du sich mit dem Thema Regex ausseinandersetzen, hier muss ich passen
flegno
 
Beiträge: 232
Registriert: So Aug 17, 2014 4:23 pm

Re: Suchmaschine auf Keywords abstimmen

Beitragvon Minc » Di Mär 22, 2016 9:09 am

OK, danke.
Minc
 
Beiträge: 26
Registriert: Di Mär 15, 2016 3:18 pm

Re: Suchmaschine auf Keywords abstimmen

Beitragvon Minc » Sa Mär 26, 2016 10:24 am

Wie kann ich YaCy so einstellen, dass in der Suche nur auf exakte Keywords und nur im Titel und in der URl gesucht wird? Also ohne Einbeziehung von Content, Description usw. Ich hatte es mal im Solr Shema Editor hinbekommen aber leider vergessen wie. Weiss hier jemand zufällig einen Rat?
Minc
 
Beiträge: 26
Registriert: Di Mär 15, 2016 3:18 pm


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron