SeSQL : un moteur de recherche en Python et ... - RMLL 2011

SeSQL : un moteur de recherche en Python etPostgreSQLYohann GABORY — Gaël LE MIGNOTPilot Systems11 juillet 2011Yohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Plan1 IntroductionLe besoin initialL’historique du projet2 Fonctionnalités de SeSQLIndexationRechercheFonctionnalités additionnelles3 Fonctionnement interneGestion des dépendancesLes short queriesQuelques optimisationsBenchmarks4 Perspectives pour l’avenirNouvelles fonctionnalitésIntégration à d’autres projets5 ConclusionYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

IntroductionIntroductionYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

ContexteContexte généralQuotidien LibérationUtilisation en back-office dans un premier tempsUtilisation en frontal dans un second tempsUtilisation de la rechercheNavigationRecherches simplesRecherches documentairesSolution précédentePropriétaire, sous Windows (TextML)Problèmes de performances et de stabilitéYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Solution précédanteSchéma d’architectureYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Base d’indexationVolumétrie703 701 articles169 017 pages4 064 478 commentaires (non indexées dans TextML)100k contenus diversTypes d’indexRecherche en texte pleinRecherche sur texte exactFiltres sur des méta-données : auteurs, catégories, . . .Tri par dateYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Interface de rechercheYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Version initialeContraintesDevait rester proche de l’architecture existanteDevait s’interfacer avec du code PHP/MySQLSolutionUn webservice en PythonUne base PostgreSQL séparéeUne API globalement compatible avec celle de TextMLYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Première version de SeSQLSchéma d’architectureYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Deuxième versionContexteL’ensemble du site est en cours de migration en DjangoOn souhaite s’épargner la lourdeur de l’API XMLOn souhaite rester aussi près que possible de DjangoSolutionUne application DjangoLes recherches s’expriment avec l’objet Q de DjangoSeSQL renvoie des objets DjangoYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Deuxième version de SeSQLSchéma d’architectureYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Fonctionnalités de SeSQLFonctionnalités de SeSQLYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Définition de l’indexationTypes d’indexTypes simples : entiers, dates, ...Champs full textChamp multi-valués (pour des relations par exemple)Sources des indexChamps du modèleAppel à des méthodes du modèleSuivi des relationsIndex composite : concaténation, premier non vide, ...Yohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Intégration avec DjangoConfiguration de SeSQLUne application comme une autre, qui doit être ajoutéedans le settings.pyNécessite un back-end PostgreSQLA son propre fichier de configuration, sesql_config.pyDéfinition des modèles à indexerS’effectue via la TYPE_MAP dans la configurationPar défaut suit les héritagesPermet de regrouper les contenus cherchés souventensemblesSeSQL utilise un simple signal post_saveYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Un sesql_config minimalisteFIELDS = (ClassField("classname"),LongIntField("id"),DateTimeField("created_at"),FullTextField("user","user.screen_name"),LongIntField("user_id", "user.id"),FullTextField("text",["text"],primary=True,dictionnary = ’public.lem_french’,),)Yohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

un exemple d’intégration Rook : Recherche1 500 000 Tweets en full textDes requètes complexes :tweets = Tweet.objects.filter(user__relation__in = user.relation_set.filter(user_type = "followers")).filter(text__icontains = mot).order_by(’-created_at’)Simplissime avec SeSQL :ids = request.user.relation_set.filter(user_type="friends").only(’id’)results = longquery(Q(user_id__in = ids)&Q(text__containswords = request.GET[’search’] ))Yohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Gestion de la lexemisationPrincipePrendre le radical des motsPeut être très compliqué : cheval, chevaux, chevaletDépend de la languePeut provoquer des effets de bordDans SeSQLUtilise les text search configuration de PostgreSQLSeSQL effectue un nettoyage supplémentaire (accents,majuscules, entités HTML, ...)Peut être défini de manière différente par indexYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Description d’une rechercheUtilisation de l’objet QSeSQL utilise l’objet Q de DjangoIl permet de définir des recherches complexes, avec desET, OU, négations, ...Chaque élément est composé de : un index, un opérateuret une valeurLes opérateursSur du texte : containswords, containsexact, ...Sur des tableaux : containsall, containsany, ...Opérateurs génériques : plus petit, plus grand, ...Yohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Long query et short queryShort queryRequêtes pour de la navigation, un portlet, un aperçu, ...Limité à un petit nombre (par exemple 50) de résultatsNe supporte pas le tri par pertinenceExtrêmement rapidesLong querySupporte la pagination de manière stableEnvoi le nombre exact de résultatsPeut être plus lente dans certains casYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Quelques bonusLe triSur un index numérique ou de dateOu alors par pertinence, avec gestion :de la pondération (le titre compte plus que le corps dutexte)de la proximité des mots cherchésde la fréquence des mots cherchésLes résultatsSeSQLResultSet est un générateur Python, donc lazyRenvoi directement les objets Django à l’itérationLes objets peuvent être de plusieurs typesYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Et en prime...Aide au highlightUn module spécial est fourniIl renvoi la liste des positions, en caractères, des motsayant été trouvésSeSQL adminPermet d’utiliser SeSQL depuis l’admin DjangoAssez intrusif pour l’instant, donc désactivé par défautHistoriqueCollecte les historiques de recherche, en optionCompte le nombre de résultats et la fréquence desrecherchesYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Fonctionnement interneFonctionnement interneYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Gestion des dépendances : le problèmeUn exempleDans un module de Quizz, on veut indexer les réponsespossibles dans l’objet QuizzFacile à faire avec SeSQL et les index compositesMais si on modifie une réponse, on ne modifie pas l’objetQuizzLes conséquencesOn veut pouvoir réindexer les objets liés quand onréindexe un objetMais il peut y en avoir énormément : imaginons qu’onchange le nom d’un auteur de 147 789 articles du journal !Yohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Gestion des dépendances : la solutionLe principeSeSQL stocke la liste des objets à ré-indexerUn daemon autonome s’occupe de les ré-indexer, petit àpetitEn pratiqueSeSQL ne détecte pas tout seul les objets liésLes modèles peuvent implémenter une méthodespécifique, qui indique à SeSQL ce qui doit être réindexéCette méthode peut renvoyer des objets ou des couples(class, id).Yohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Les short queries : le problèmeRappel du contexteTrouver les 50 articles les plus récentes sur un sujetDoit être le plus rapide possibleLes deux query plans1 Parcourir l’index sur les dates, et filtrer les articles2 Utiliser l’index sur les articles, puis trier sur les datesLa limite de PostgreSQLPostgreSQL a des statistiques sur les motsMais un mot peut être avoir été fréquent mais ne plus l’êtreYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Exemple de plan 1Yohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Exemple de plan 2Yohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

L’heuristiqueL’algorithmeYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Recherche par texte exactProblèmePostgreSQL n’a pas d’index supportant çaFaire un LIKE sur toute la base est bien trop lentLa solutionOn commence pas filtrer, via l’index, en texte approchéPuis on refiltre avec un LIKE sur ce qui matchéLa cas France 2Beaucoup d’article contiennent les deux motsMais peu le texte exactYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Les partitionsProblèmeOn veut indexer du contenu très massif (les commentaires)On ne veut pas impacter les performances du resteLa solutionPostgreSQL supporte l’héritage de tablesOn indexe les commentaires dans une table à partOn ne cherche que dans une sous-table, si possibleSi non, on cherche dans la table maîtresseYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

There are three kinds of lies ...Yohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

... lies, damn lies and benchmarksYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Perspectives pour l’avenirPerspectives pour l’avenirYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Quelques idées de nouvelles fonctionnalitésSuggestions de rechercheÀ partir de l’historiquePropose des recherches proches, fréquentes et ayantdonné de nombreux résultatsGestion améliorée du multilingueAjout d’une détection automatique de la langueChoix de la bonne lexemisation en fonction de la languePouvoir restreindre la recherche par langueYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

Possibilité d’intégration à d’autres projetsHors DjangoImplémenter une API pour avoir un mode webserviceImplémenter une API compatible avec le ZCatalog pourZopeAvec d’autres projetsIntégration possible avec haystack ?Avec des moteurs de classification ?Yohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

ConclusionConclusionYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

ConclusionSituation actuelleSeSQL disponible en GPL sur bitbucketUtilisé en production sur Libération (front et back)Utilisé sur d’autres projets comme RookYohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL

En attendantRemerciementsaux communautés PostgreSQL, Python et Djangoà Libération de nous avoir fait confianceà Jérôme Petazzoni qui a contribué à la conceptionLa page de pubPilot Systems, société de services en logiciels libres :http://www.pilotsystems.netSlides en licence CC-By-Sahttp://contributions.pilotsystems.net/Des questions ?Yohann GABORY — Gaël LE MIGNOT Pilot SystemsSeSQL : un moteur de recherche en Python et PostgreSQL