A team compares load test results, as Droptica measures before adding Solr to Drupal.

Search API et Solr pour des listes qui suivent la croissance

Une page de catalogue peut se charger rapidement jusqu’au moment où quelqu’un combine une catégorie, une fourchette de prix et plusieurs attributs produits. Les résultats ralentissent alors, les compteurs de facettes prennent du retard et chaque requête non mise en cache pèse davantage sur la base de données de Drupal. Une configuration Drupal Search API Solr peut déplacer ce filtrage et ce tri vers un index de recherche, afin que des listes utiles restent accessibles à mesure que votre catalogue grandit.

C’est important pour vos visiteurs, mais aussi pour les assistants IA qui consultent des pages pour comparer des produits ou identifier des fournisseurs. Les uns comme les autres ont besoin d’informations récentes et exactes. Solr ajoute toutefois un service supplémentaire à exploiter. La décision doit donc partir de mesures, et non d’un seuil de nombre d’entités.

Dans cet article:

Quand la base de données ne suffit-elle plus?

Le premier signal d’alerte vient généralement d’une page précise plutôt que de l’ensemble du site. Une liste de catégorie fonctionne bien avec un filtre, mais ralentit lorsque les visiteurs en combinent plusieurs. Le calcul des compteurs de facettes peut prendre plus de temps que celui des résultats eux-mêmes.

D’autres signes existent: des pics de CPU sur la base de données pendant le trafic du catalogue, des requêtes lentes qui joignent plusieurs tables de champs et de grands écarts entre les réponses mises en cache et les autres.

Quelques milliers d’entités sont une raison de mesurer, pas une raison automatique de migrer. Une liste simple peut rester rapide avec des volumes bien plus importants. Un catalogue plus petit, avec des permissions complexes, des contenus traduits, de nombreux attributs et des requêtes simultanées, peut atteindre ses limites plus tôt.

Commencez par des requêtes représentatives:

  • Une catégorie populaire sans filtre.
  • Une combinaison d’attributs fréquemment utilisée.
  • Un large ensemble de résultats avec compteurs de facettes et tri.
  • Des requêtes avec un cache vide et des requêtes émises par les rôles utilisateurs concernés.
  • Des visites simultanées sur différentes combinaisons de filtres.

Mesurez les requêtes de base de données derrière ces pages. Des requêtes modifiées, moins de jointures ou une mise en cache plus efficace peuvent résoudre le goulot d’étranglement sans ajouter de service.

Les assistants IA sont une raison de plus d’examiner les requêtes non mises en cache. Ils peuvent suivre des combinaisons d’URL inhabituelles que votre cache n’a pas vues récemment. Une récupération lente peut dépasser le délai d’attente ou laisser l’assistant avec des éléments incomplets, même si chaque outil applique ses propres limites de temps. Il n’existe pas de budget de temps de réponse universel pour tous les assistants.

De quoi la configuration a-t-elle besoin?

L’objectif est de laisser Drupal garder la maîtrise des contenus, tandis que Solr prend en charge les requêtes qui deviennent coûteuses sur les tables de contenu relationnelles.

Trois éléments fonctionnent ensemble:

  • Search API définit quelles données Drupal entrent dans un index et comment Drupal l’interroge.
  • Search API Solr relie ce framework à Solr.
  • Le service Solr stocke les documents indexés et exécute la recherche, le filtrage, le tri et le calcul des facettes.

Drupal reste la source de référence. L’index est une copie de données sélectionnées, organisée pour les requêtes.

Établir la connexion

Vérifiez d’abord la compatibilité entre votre version de Drupal, Search API, Search API Solr et la version de Solr. Utilisez la configuration Solr fournie par le connecteur au lieu de supposer qu’une installation Solr par défaut contient les types de champs et les paramètres d’analyse dont Drupal a besoin.

Provisionnez le service, appliquez cette configuration au core ou à la collection appropriée, puis créez dans Drupal un serveur Search API avec les paramètres de connexion. Vérifiez la connexion depuis l’environnement applicatif. Pour une procédure pas à pas de configuration des modules, consultez notre guide du moteur de recherche de produits dans Drupal avec Apache Solr.

Définissez ensuite un index. Choisissez ses sources de données et ses bundles avant de sélectionner les champs. Si la liste contient des produits, indexer des articles et des landing pages sans rapport ajoutera du bruit et du travail d’indexation.

Sélectionner les champs selon le comportement de la liste

Chaque champ doit avoir un rôle: trouver un résultat, le filtrer, le trier ou le présenter avec exactitude.

Groupe de champs Contenu typique Rôle
Identité ID d’entité, bundle, identifiant produit stable Identifier les résultats et les relier au contenu source
Visibilité Statut de publication et métadonnées d’accès prises en charge Appliquer les règles de visibilité prévues
Langue Langue de la traduction Renvoyer la version linguistique prévue
Texte de recherche Titre, résumé, description Trouver des mots et des expressions
Catégories Identifiants de taxonomie stables Filtrer par catégorie de façon cohérente
Attributs de comparaison Capacité, dimensions, matériau, disponibilité Permettre des filtres et des comparaisons précis
Valeurs de tri Prix numérique, date, titre triable Produire un ordre prévisible

N’indexez des champs sensibles que si l’application en a réellement besoin et si la conception des accès couvre leur utilisation.

Vérifier les processeurs et connecter la liste

Les processeurs peuvent préparer le texte, tenir compte du statut des entités ou apporter un comportement lié aux accès. Leur disponibilité et leur effet dépendent des modules installés, des sources de données et de la configuration. Vérifiez-les un par un.

Connectez une View basée sur Search API et des outils de facettes compatibles avec vos versions de modules et votre mode d’affichage. Testez ensuite des requêtes représentatives en tant que visiteur anonyme, utilisateur connecté et rôle restreint.

Vérifiez les compteurs autant que les résultats. Masquer une entité inaccessible au moment du rendu peut laisser des totaux trompeurs ou révéler son existence à travers les facettes. Ne partez pas du principe que le passage d’une liste à Search API reproduit automatiquement chaque règle d’accès personnalisée de Drupal.

Comment les attributs du catalogue doivent-ils servir les facettes et les comparaisons?

Des facettes fiables commencent par des données sources cohérentes. Solr peut interroger des attributs rapidement, mais il ne peut pas décider si « 500 ml » et « 0,5 l » décrivent la même capacité, tant que votre modèle de données ne rend pas cette relation explicite.

Séparez les champs de texte intégral des champs de correspondance exacte. Une description profite d’une analyse de texte adaptée à la langue. Un code produit, un identifiant de catégorie ou une option de matériau a besoin d’une correspondance prévisible, sans que cette analyse en modifie le sens.

Choisissez les types avec soin:

  • Utilisez des valeurs numériques pour les prix et les mesures.
  • Stockez les dates en tant que dates plutôt que comme texte d’affichage.
  • Représentez les attributs oui-non sous forme de booléens.
  • Conservez les valeurs multiples pour les produits ayant plusieurs catégories ou normes prises en charge.
  • Prévoyez un champ triable lorsque le texte affiché ne convient pas au tri.

Supposons que des fournisseurs indiquent la capacité tantôt en litres, tantôt en millilitres. Normalisez-la dans une unité numérique commune avant l’indexation, tout en conservant la valeur d’affichage préférée pour la page produit. Les filtres par plage pourront alors comparer des spécifications équivalentes.

Les prix ont eux aussi besoin de contexte. Comparer des montants dans plusieurs devises sans conversion ni filtre de devise produira des résultats trompeurs.

Pour les facettes de taxonomie, utilisez des identifiants de termes stables pour le filtrage et des libellés traduits pour l’affichage. Les libellés peuvent changer sans modifier la catégorie que représente un filtre.

Définissez le comportement des compteurs avant le lancement. Sélectionner deux matériaux signifie-t-il l’un ou l’autre, ou les deux? Une facette doit-elle afficher des compteurs après application de ses propres valeurs sélectionnées, ou seulement des autres filtres actifs? Comment les produits auxquels il manque des attributs apparaîtront-ils?

Ces décisions influencent ce que les visiteurs pensent trouver dans le catalogue. Gardez les attributs indexés alignés avec les pages produits, les données structurées et les flux, afin qu’un assistant ne tombe pas sur des informations contradictoires d’un format à l’autre. Notre article sur un catalogue produits Drupal sans Commerce explique comment modéliser ces attributs avant qu’ils n’arrivent dans l’index.

Comment chaque index doit-il gérer les langues?

La gestion des langues détermine si les visiteurs trouvent les bons produits et arrivent sur des pages qu’ils peuvent lire.

Vous pouvez utiliser un index multilingue partagé ou des index séparés par langue. Un index partagé peut réduire la configuration en double et faciliter les requêtes multilingues. Des index séparés peuvent aider lorsque les langues ont besoin d’un comportement de requête ou d’un calendrier d’exploitation distincts, mais ils ajoutent du travail de configuration et de maintenance.

Le bon choix dépend des besoins de requête, de la prise en charge des analyseurs et de la configuration du connecteur. Des index séparés ne signifient pas automatiquement des serveurs Solr séparés, et aucune des deux approches ne dispense d’une configuration adaptée aux langues.

Vérifiez comment la source de données choisie indexe les entités traduites. Assurez-vous ensuite que les requêtes de la liste appliquent le filtre de langue prévu. Sinon, les résultats risquent d’inclure plusieurs traductions du même produit ou de renvoyer vers une version inattendue.

Pour la recherche en texte intégral, utilisez une analyse adaptée à chaque langue, avec racinisation et gestion des mots vides lorsque c’est pertinent. Laissez les identifiants et les attributs de correspondance exacte en dehors de ce traitement linguistique.

Testez l’ensemble du parcours:

  • Des termes de recherche dans chaque langue prise en charge.
  • Des libellés de facettes traduits.
  • Des produits sans traduction.
  • Tout repli vers la langue par défaut.
  • Des liens vers la bonne page traduite.

Définissez le comportement de repli de manière délibérée. Afficher le contenu dans la langue par défaut peut être utile, mais les visiteurs ont besoin d’une expérience prévisible. Des index séparés par langue nécessitent aussi leurs propres contrôles de couverture et leur propre planification de reconstruction.

Que se passe-t-il pendant la réindexation des contenus?

Enregistrer un contenu et le rendre consultable par la recherche sont deux événements distincts. Selon votre configuration, Search API peut indexer les modifications pendant la requête ou les laisser au traitement planifié. Les paramètres de visibilité de Solr peuvent aussi influencer le moment où une mise à jour apparaît dans les requêtes.

Définissez un délai acceptable. Une description révisée peut tolérer une attente plus longue qu’un produit retiré ou un document à accès restreint.

Planifiez l’indexation en fonction de ce besoin et surveillez à la fois le volume restant à traiter et l’ancienneté des modifications en attente. Une tâche planifiée réussie ne prouve pas que l’index est à jour.

Mises à jour courantes et reconstruction complète

L’indexation courante met à jour les éléments modifiés et supprime ceux qui ont été effacés. Une reconstruction complète reprend toutes les données après des changements comme de nouveaux champs, d’autres processeurs ou une analyse Solr révisée.

Marquer des éléments pour la réindexation n’est pas la même chose que vider l’index en production. Tant que les documents existants restent en place, d’anciennes valeurs indexées peuvent rester consultables jusqu’à l’arrivée de leurs remplaçants. Pendant cette période, les résultats peuvent refléter un mélange d’ancien et de nouveau traitement.

Vider l’index en production supprime cette couverture. Les listes peuvent devenir vides, puis ne se remplir que partiellement au fil de l’indexation. Certains changements de schéma rendent aussi inadapté le maintien des anciens documents.

Pour les sites qui ont besoin d’une couverture ininterrompue du catalogue, prévoyez une reconstruction séparée:

  1. Préparez un deuxième index ou une deuxième collection avec la nouvelle configuration.
  2. Alimentez-le pendant que l’index actuel continue de répondre aux requêtes.
  3. Enregistrez les modifications et les suppressions qui surviennent pendant la reconstruction.
  4. Vérifiez la couverture, les requêtes, les facettes, les langues et le comportement des accès.
  5. Basculez le trafic avec une méthode testée et adaptée au déploiement.

Dans une configuration SolrCloud adaptée, un alias de collection peut faciliter ce basculement. D’autres déploiements nécessiteront une approche différente, avec des modifications compatibles de la configuration Drupal et un plan de retour arrière.

Soyez particulièrement attentif aux contenus non publiés, supprimés et nouvellement restreints. Un index de remplacement alimenté à partir de données plus anciennes peut rétablir par erreur des enregistrements qui ne devraient plus apparaître.

Terminez par une vérification, pas seulement par une barre de progression arrivée au bout.

Quelle amélioration du temps de réponse pouvez-vous attendre?

Solr peut réduire le temps consacré au filtrage et au calcul des facettes, car il s’appuie sur un index conçu pour ces opérations. Drupal n’a plus besoin de répéter les mêmes jointures coûteuses sur les tables de contenu pour chaque liste alimentée par la recherche.

Ce gain peut être important lorsque ces requêtes dominent le temps de traitement. Il ne corrigera pas les lenteurs qui ont une autre origine.

Mesurez le temps de réponse complet de la page, notamment:

  • La requête de Drupal vers Solr.
  • Le chargement des entités pour les résultats renvoyés.
  • Les vérifications d’accès.
  • Le rendu et les éventuels appels externes.
  • Le comportement du cache et la latence réseau.

Une requête Solr rapide peut tout de même alimenter une page lente si Drupal charge trop de données liées ou appelle un autre service pour chaque résultat.

Comparez les mêmes requêtes avant et après le changement, avec une simultanéité représentative. Suivez les temps de réponse médians et les indicateurs des requêtes les plus lentes, comme le 95e centile. Les moyennes peuvent masquer les requêtes qui agacent les visiteurs.

Incluez des facettes avec de nombreuses valeurs distinctes, de larges ensembles de résultats, différents ordres de tri et des caches vides. Testez aussi pendant l’indexation, car l’indexation et les recherches se disputent les ressources.

Pour une consommation par des machines, la vitesse n’est qu’une partie du résultat. Gardez les contenus utiles disponibles en HTML explorable ou via une API ou un flux prévus à cet effet, avec des liens stables vers les pages sources. Une liste rapide qui expose des attributs obsolètes ou dépend entièrement des interactions dans le navigateur peut rester difficile à exploiter pour un outil de récupération.

Solr favorise une récupération rapide des informations. Il ne garantit pas qu’un assistant découvrira, sélectionnera ou recommandera votre site.

Combien l’exploitation de Solr coûtera-t-elle à votre équipe?

Solr ajoute un coût d’exploitation récurrent, même lorsque le logiciel n’implique aucune licence. Prévoyez un budget pour l’hébergement, la mémoire, le CPU, le stockage, la supervision, les mises à niveau, les opérations de restauration et le temps de votre équipe.

La planification de capacité doit couvrir à la fois les recherches et l’indexation. Une reconstruction séparée peut nécessiter temporairement plus de stockage et de puissance de calcul, et une importation massive de contenus peut créer un pic de travail d’indexation.

Un hébergement managé peut transférer une partie de la maintenance du service à un prestataire, à intégrer donc dans le choix de votre hébergement Drupal. Vérifiez qui se charge des sauvegardes, des tests de restauration, des mises à jour de sécurité, des changements de capacité et des incidents. Votre équipe Drupal restera responsable de la sélection des champs, du comportement des requêtes et de l’exactitude des données sources.

En auto-hébergement, votre équipe prend directement en charge une plus grande part de l’exploitation du service. Intégrez ce temps dans la comparaison au lieu de comparer uniquement les factures d’hébergement.

Rendez Solr accessible uniquement aux services autorisés, avec des restrictions réseau et une authentification appropriées. N’exposez pas ses points d’accès de requête ou d’administration directement aux visiteurs. Coordonnez les mises à niveau entre les modules Drupal, la configuration du connecteur et le serveur de recherche.

Prévoyez aussi les pannes. Décidez si les visiteurs verront des listes en cache, une page de navigation limitée ou un message clair les invitant à réessayer. Renvoyer automatiquement toute la charge de recherche vers la base de données de Drupal peut recréer le goulot d’étranglement au pire moment.

Testez la restauration. Même un index que l’on peut reconstruire à partir de Drupal peut prendre trop de temps à rétablir de zéro au regard de vos exigences de disponibilité.

La règle de décision est pragmatique: conservez des listes basées sur la base de données tant qu’elles répondent aux besoins mesurés; ajoutez Solr lorsque des requêtes plus rapides, des facettes exploitables et une charge réduite sur la base de données justifient un service supplémentaire.

Prêt à commencer?

Apportez vos pages de catalogue les plus lentes à un échange avec Droptica. Des combinaisons de filtres représentatives, les temps de réponse actuels, le volume de contenus et vos exigences de fraîcheur des données nous donneront un point de départ utile.

Nous vous aiderons à évaluer si des modifications de requêtes, des ajustements du cache ou un index basé sur Solr constituent l’étape suivante la plus utile, avec une vision claire du travail d’indexation et des coûts d’exploitation à prévoir.

.