Suchportale und Intranet- Suchmaschinen mit YaCy
Suchportale und Intranet- Suchmaschinen mit YaCy
Suchportale und Intranet- Suchmaschinen mit YaCy
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
SearchEngine<strong>Suchportale</strong> <strong>und</strong> <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>... <strong>und</strong> Beispiele von AnwendernMichael Christen, mc@yacy.netopen-it sum<strong>mit</strong>, 23.05.2013Messegelände Berlin
AbstractSearch Appliances sind weit verbreitete Werkzeuge, um <strong>Suchportale</strong> für <strong>Intranet</strong>s oder Unternehmens/Institutsdaten zu realisieren. In diesem Vortrag wird gezeigt, dass kommerzielle Appliances durch diefreie <strong>Suchmaschinen</strong>software <strong>YaCy</strong> ersetzt werden kann.Wir zeigen als live-Demonstration:• wie einfach es ist, ein <strong>Suchmaschinen</strong>portal selbst zu erstellen• wie man einen Suchindex für das Web oder <strong>Intranet</strong> erstellt• wie leicht es ist, ein Produktions- set-up zu machen um wiederkehrende Aufgaben zu kontrollieren.• wie die Suchmaschine dann als Nachrichtendienst genutzt werden kann <strong>und</strong> <strong>mit</strong> automatischenSuchanfrage <strong>und</strong> RSS feeds Nachrichten aus den indexierten Daten erzeugt werden• wie die Suchmaschine als SEO-Tool genutzt werden kann.<strong>YaCy</strong> wurde als Peer-to-Peer Suchmaschine für das Web konzipiert, aber im stand-alone Modus kannsie auch wie eine Appliance genutzt werden. Durch zahlreiche Projekte in diesem Umfeld hat dieSoftware nun eine Funktionsmenge erreicht, die sie zum Kandidaten für den Ersatz von kommerziellenAppliances macht.<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
Anwendungen für eine Search ApplianceSuche fürWeb-Portalgeteiltes Wissenfür verteilteSystemeNachrichtendiensteautomatischesSuchen ohneSuchananfrage<strong>Intranet</strong>- <strong>und</strong>FilesucheKonsolidierungder Datenablage(ftp/smb-Suche)SEO & Web-Admin Toolsfremde Serverdurchstöbern<strong>und</strong> StrukturenanalysierenFinden wasandere nichtfinden (können)z.B. öffentl. FTPServer, torrents,div. binaries, etc.<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
Anwendungen: Web-Portal SucheSuche fürWeb-Portalgeteiltes Wissenfür verteilteSystemeSuchmaschineVernetzung von WissenCreate / Share Produktion DokumenteProjektsteuerungVersionskontrolleDiscussionBugtracker(micro)Blogging<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
Anwendungen: <strong>Intranet</strong>- <strong>und</strong> Filesuche<strong>Intranet</strong>- <strong>und</strong>FilesucheKonsolidierungder Datenablage(ftp/smb-Suche)SuchmaschineVernetzung von WissenCreate / Share Produktion DokumenteProjektsteuerungVersionskontrolleVorteile im Unternehmen:• Information ist unabhängigvom Ablagesystem sichtbar• Gemeinsame Navigationunterstützt Vernetzung• Nutzer wählen das optimaleSystem zur Ablage<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013DiscussionBugtrackerVernetzung von MenschenMichael Christenmc@yacy.net, http://yacy.net(micro)BloggingTechnologische Vernetzung„wie setze ich Technik ein um Wissen zu generieren?“Soziotechnische Vernetzung„wie gehen Menschen <strong>mit</strong> Technik um?“
Anwendungen: NachrichtendiensteNachrichtendiensteautomatischesSuchen ohneSuchananfrageFunktionsweise:• Jede Suche kann ein RSS Nachrichtenstrom sein• Suchergebnisse können nach Aktualität geordnet werden• Suchergebnisse können automatisch weiterverarbeitetwerden (RSS Reader, Alerts, u.s.w.)Vorteile im Unternehmen:• Zeitnahe Reaktionsfähigkeit• Alerts für Aktivitäten derMitarbeiter (im <strong>Intranet</strong>)• Alerts für Aktivitäten derKonkurrenz (im Einsatz ineiner Websuche)Beispiel: Ausschreibungssuche<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
Anwendungen: Business Analytics, SEO, Web-AdminSEO & Web-Admin Toolsfremde Serverdurchstöbern<strong>und</strong> StrukturenanalysierenFunktionen:• Die Datenstruktur fremder Server durchstöbern <strong>und</strong>Strukturen analysieren• Tote Links aufdecken• Visualisierung von Verlinkungsstrukturen• Durchsuchbarkeit des eigenen Webauftritts testen<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
Anwendungen: zusätzliche nützliche FunktionenFinden wasandere nichtfinden (können)z.B. öffentl. FTPServer, torrents,div. binaries, etc.Suchergebnisdarstellung:• mehr Suchinterfaces: nicht nur 'übliche' Websuche,sondern auch GSA-Interface, RSS-Nachrichten, File-Suche,Opensearch, JSON, XML, native Solr-Interface• Facetten zu Hosts, Zeit, Dateitypen, Autoren, Protokoll• Benutzergenerierte Suchfacetten über Vokabularien• nicht ausschliesslich http(s), auch ftp + SMB-SharesHarvester, Datenaquise:• Parser: ,unübliche‘ Formate (z.B. torrents), Anpassung anspezielle Unternehmensdaten möglich• Skalierbarkeit durch Vernetzungsfähigkeit• besseres Timing: Individueller Crawler-Scheduler• Vielfältiges Harvesting: Crawler, <strong>Intranet</strong>-Scanner, sitelist,RSS feed import, OAI-PMH Import, mediawiki-Dump u.s.w.<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
Wissen wie <strong>Suchmaschinen</strong> funktionierensearch serverIweb interfacecrawlerrobots balancer queuesnetwork interfacesfile http ftp smb oai-pmhdocparserxls html rss zippdfemlsearch indexschema facetsranking moderationdocument cacheapiopensearch gsa solrmonitoringI/O requests Disk/RAMadministration/steering<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
<strong>YaCy</strong> Komponentensearch servercrawlersearch indexapinetwork interfacesparserdocument cachemonitoringadministration/steering<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
<strong>YaCy</strong> subsumiert SolrEmbedded SolrSolr ist die Indexing-Engine in <strong>YaCy</strong>administrationcrawler parsermonitoringoder: externer SolrSolr kann per Solr-API externeingeb<strong>und</strong>en werden, Schemas lassensich anpassen.Solr API in <strong>YaCy</strong>search interfaceder in <strong>YaCy</strong> integrierte Solr kann überdie Standard Solr-API (http/xml)angesprochen werden<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
Solr <strong>mit</strong> <strong>YaCy</strong> als Framework<strong>YaCy</strong> ist ein <strong>Suchmaschinen</strong>-Framework für Solr- Solr Schema in <strong>YaCy</strong> basiert auf dem „Solr Cell“ Schema- Support für remote Solr- Das <strong>YaCy</strong> Schema kann einem externen Solr Schema angepasstwerden<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
<strong>YaCy</strong> Nutzer: Peer-to-Peer Netz ,freeworld‘freie dezentrale Suchmaschine für allefreeworld:http://search.yacy.netSuchmaschine, bestehendaus den Peers freiwilliger1200 Peers im Monat,weltweit verteilt> 1 Milliarde Dokumente<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
<strong>YaCy</strong> Nutzer: Johannes Gutenberg Universität Mainzhttp://www.uni-mainz.de/Gutenberg-Universität Mainz<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
<strong>YaCy</strong> Nutzer: Free Software Fo<strong>und</strong>ation Europehttp://fsfe.orgFree Software Fo<strong>und</strong>ation Europe<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
<strong>YaCy</strong> Nutzer: Karlsruhe Institut für Technologiehttp://www.kit.eduKarlsruhe Institut für Technologie<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
<strong>YaCy</strong> Nutzer: Verwaltungssuchmaschine NRWAnpassungen an <strong>YaCy</strong>für die Migration derVerwaltungssuchmaschine NRW voneiner GSA im Vollausbau nach <strong>YaCy</strong>:• Implementierung des GSA Anfrage<strong>und</strong>Suchergebnisformates, entsprechendhttps://developers.google.com/search-appliance/documentation/68/xml_reference• Mandantenfähigkeit• Crawler-Verbesserungen• Synonym-Matching• Host Browser / Crawling - Diagnose<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013http://vsm.d-nrw.deVerwaltungssuchmaschine NRW> 10 Millionen DokumenteMichael Christenmc@yacy.net, http://yacy.net
<strong>YaCy</strong> Nutzer: EnergieCity Leipzighttp://www.energiecity-leipzig.de/Energie- <strong>und</strong> Umwelttechnik für nachhaltiges Bauen<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
<strong>YaCy</strong> Betrieb: automatische Prozesse, Verfügbarkeityacy0: master nodeLinux Back-EndApplianceAdministrationport 443PortalAdminSearch InterfaceLoad Balancer using aReverse Proxy withFailover Configurationport 8100 (or 80)Search UsersConfig + CrawlsSearch RequestsSearch RequestsSearch-API Search-API Adminport 8090IndexBackupStorage,hot dump‘,hot restore‘yacy1: replication nodeport 8091Cron-Jobsduring set-up:• Set-Up-Replikation:full copy of master nodeto replication node• Index Replikation:dump to Backup +Restore from Backup• Supervisor:checkalive-Ping +restart if peer is dead• Software Update:automated downloadand alternating update• No Downtime:Availability is ensuredfor all processes<strong>Suchportale</strong> & <strong>Intranet</strong>-<strong>Suchmaschinen</strong> <strong>mit</strong> <strong>YaCy</strong>Open-IT Sum<strong>mit</strong>, Messegelände Berlin, 23.05.2013Michael Christenmc@yacy.net, http://yacy.net
Bitte sprechen Sie mich an!Messestand 139, Halle 7.1ASearchEngineDipl. Inf. Michael Christenmc@yacy.nethttp://pro.yacy.netProdukte <strong>und</strong> Beratung:• <strong>YaCy</strong> Search Appliance - Vorkonfiguration <strong>und</strong> Migration• Betriebssupport - Inbetriebnahme, Support• Software Entwicklung - Funktionserweiterungen, <strong>Suchportale</strong>• Schulungen - <strong>Suchmaschinen</strong>technik, Wissensmanagement,<strong>YaCy</strong> OperatingQR-Code: vCard
Change language