De la pédagogie de l’objet à l’objet pédagogique : Google comme instrument didactique paramétrable au service des enseignants

Martin-Gomez Francisco,

Chevalier Aline

Université Toulouse 2 Jean Jaurès, France

 

4.  Discussion

Rappel des résultats l’étude

Nos hypothèses ne sont que partiellement validées. Nos résultats montrent que les experts ont globalement de meilleurs scores que les novices conformément à notre hypothèse. Les questions difficiles multicritères induisent significativement de moins bons scores au test que les questions simples, les autres différences ne s’avérant pas significatives. Conformément à notre hypothèse, les questions complexes nécessitent plus de temps que les questions simples. En accord avec notre hypothèse, les questions complexes (QMC et QO) induisent un nombre de relecture significativement plus important que les questions simples, relectures par ailleurs plus prégnantes chez les novices.

Les questions complexes (multicritères et ouvertes) impliquent davantage de requêtes adressées au moteur que les questions simples. Le nombre de reformulation partielle lors des questions de recherche difficiles est significativement plus grand que celui des questions simples et le nombre total de mots-clés utilisés lors des requêtes pour les questions difficiles est significativement plus important que celui utilisés pour répondre aux questions simples. Par ailleurs, les experts usent de moins de mots-clés que les novices en général pour leurs requêtes. En conformité avec notre hypothèse, le nombre de mots-clés plein formulés lors des questions difficiles est plus important que celui des questions simples. Nous constatons en outre que les novices utilisent de plus de mots-clés vides que les experts. Enfin, le nombre de mots-clés issus de la question est plus important pour les questions difficiles que pour les questions simples.

En accord avec notre hypothèse, la profondeur de navigation est plus importante pour les questions mutlicritères que pour les questions simples, sans effet d’interaction de l’expertise.  

 

Premiers constats

·          Les effets de l’expertise sur la recherche d’information

 

Concernant les effets de l’expertise du domaine, nous n’avons que très partiellement validé nos hypothèses. Nous nous attendions à ce que les experts (ici les élèves de troisième) : connaissent une meilleure réussite que les novices, passent moins de temps pour réaliser les tâches de RI, relisent moins les énoncés des questions (consignes), effectuent un nombre moins élevé de requêtes, reformulent moins (modification des requêtes), que ces reformulations, lorsqu’elles sont partielles, soient moins nombreuses que chez les novices et à l’inverse, lorsqu’elles sont complètes, qu’elles soient plus nombreuses que chez les novices. Nous nous attendions également à ce que le nombre total de mots-clés utilisés par les experts lors des requêtes soit moins important que celui des novices, avec un nombre de mots-clés pleins plus important. Parmi les mots-clés pleins, nous attendions que les experts utilisent moins de mots-clés issus des questions, et que le nombre de mots-clés nouveaux utilisés par les experts soit plus important que celui des novices. Nous nous attendions à ce que le nombre de mots-clés vides soit plus faible chez les experts que chez les novices. Enfin, nous avions envisagé un nombre de documents visités moins important chez les experts et une profondeur de navigation plus faible.       

 

Si les experts obtiennent effectivement un meilleur score aux questions que les novices et relisent moins les questions de recherche, en accord avec les études de Lazonder, Biemans et Wopereis (2000), Brand-Gruwel et al. (2005), ou encore Tabatai et Shore (2005), ils ne mettent en revanche pas significativement moins de temps que les novices à réaliser cette étude, contrairement aux conclusions de ces auteurs. Les effets de l’expertise significativement mesurés dans cette étude semblent davantage se ressentir sur la capacité langagière du participant, sur sa compétence à « mettre en mots » la tâche qui lui est présentée. Les stratégies que nos deux groupes utilisent sont en effet très proches : un nombre de requête similaire, avec peu de mots-clés inférés ou nouveaux relevant d’un langage spécifique, des requêtes proches de la question en langage naturel, et un nombre de documents ouverts non significativement différents. La différence essentiellement observée entre experts et novices se situe au niveau de la construction des requêtes adressées au moteur, et tient dans la présence plus ou moins  importante de mots inutiles ou vides. Les experts utilisent ainsi moins de mots et moins de mots-clés vides.

Une première lecture de ces résultats pourrait indiquer que les experts manifestent un choix d’informations plus adaptés à l’objet de la recherche (pertinence du choix des mots-clés). Cette tendance pourrait être partiellement confirmée par l’analyse des effets d’interactions lorsque nous avons significativement mesuré que les experts utilisent moins de mots-clés vides que les novices lors des questions multicritères. Ces questions, finalement les plus difficiles, génèrent ici une perception plus importante d’incertitude dans les résultats, et impliquent davantage d’efforts syntaxiques (stratégie). Ces résultats iraient alors dans le sens des conclusions de Tabatabai et Luconi (1998), lorsqu’ils observent qu’experts et novices se distinguent par les capacités de planification et de régulation en lien avec une capacité de représentation de l’espace problème plus performante pour les experts. En restant dans ce cadre d’analyse, nous pourrions analyser cette « meilleure » fluence verbale qui pour nous est liée à l’expertise du domaine, comme le marqueur d’une meilleure représentation du but, ce que Guthrie proposerait comme un indicateur de l’intégration de l’information actuelle avec la base de connaissances antérieures. Le nombre de relectures des questions significativement inférieur des experts par rapport aux novices pourrait montrer une moindre difficulté à construire et planifier la tâche, à comprendre et se représenter la question et son espace problème, manifestant une moindre charge cognitive. Ces interprétations sont en outre concordantes avec les observations de Sternberg (1998) ou encore Brewer (2003).

Toutefois, et bien que nous soyons d’accord avec les analyses sur les capacités de planification et de régulation différentes d’individus ne partageant pas la même capacité de représentation fine de l’espace problème, nous pensons qu’il est possible d’interpréter différemment ces résultats. Ou plus précisément de les moduler à la lecture de l’activité réelle des participants et des caractéristiques d’une recherche d’information chez un public juvénile. Tout d’abord la principale différence significativement observée entre expert et novice tient dans la construction des requêtes. Mais s’il est possible d’évoquer une plus grande précision d’ensemble des requêtes des experts  (moins de mots-clés vides), il est difficile de conclure à la « plus grande pertinence du choix des mots-clés » par ces derniers (ce qui serait une confirmation de l’effet de l’expertise par un meilleur vocabulaire spécifique) puisqu’expert et novice affichent des nombres de mots-clés pleins par requête similaires, et qu’ils sont majoritairement issus de la question (non spécifiques). Experts et novices usent donc des mêmes « bons mots-clés ». La différence évolue vers la présence des mots vides, et devient à nos yeux plus syntaxique que sémantique… Il reste toutefois à savoir si ces mots-clés vides en surnombre sont présents dans les requêtes des novices intentionnellement. Dans ce cas, ils représenteraient la réalisation d’une stratégie visant spécifiquement à les y introduire et manifesteraient une faiblesse langagière des novices et un défaut de planification. Ce que nous ne croyons pas, pour plusieurs raisons.   

Depuis l’étude de Fidel et al. (1999), de nombreux auteurs ont en effet remarqué l’importance de la consigne (certains auteurs parlent de contrainte) chez les élèves du secondaire : ils cherchent activement à ne pas s’en éloigner et maintiennent donc les termes de la consigne (Bilal, 2002). Pour Boubée (2011), la reprise fidèle des termes des énoncés des questions s’expliquerait par une stratégie spécifique à la tâche puisque s’en dissocier revient à augmenter les risques de se tromper. Pour d’autres, ces élèves n’y parviennent tout simplement pas. Julien et Barker (2009) apportent des éléments complémentaires dans leur étude, et ont montré que les lycéens n’hésitaient d’ailleurs pas à coller dans le champ de recherche la consigne dans son entier, ce que de nombreux novices ont réalisé dans notre étude. Cette présence plus ou moins importante de mots-clés vides trouve selon nous une explication plus fonctionnelle dans cette pratique spécifique du copié-collé de la consigne. Les mots-clés vides ne seraient alors pas pensés comme éléments de la requête en tant que tels, mais représenteraient les produits fatals, les résidus de ces nouveaux usages. Ce comportement particulier manque certes de précision et de sophistication (au regard d’une norme documentaire jusqu’ici en vigueur) mais prend tout son sens dans la perspective des travaux antérieurs de Miura et al. (2006) sur l’avarice cognitive (cognitive miser) ou de Simon (1959) sur la rationalité limitée. Selon ces derniers, les êtres humains cherchent au maximum à épargner leur énergie (minimiser les efforts et les coûts cognitifs) lors de recherche d’information (cognitive miser), et ne sont pas à la recherche d’un optimum (qu’ils ne peuvent atteindre du fait de leur rationalité limitée), mais font des choix efficaces (qui marchent), ou satisfaisants. Or les élèves du secondaire montrent depuis longtemps des prédispositions à « bricoler » avec les moteurs de recherche pour contourner les difficultés de formalisation des besoins (ici, la construction des requêtes par choix des mots-clés). Ainsi, Boubée (2008) parle de bricolage syntaxique, et constate dans son étude la création d’opérateurs par des élèves de collège, alors qu’Aillerie (2008) va beaucoup plus loin et aborde un bricolage sémiotique comme outil anthropo-social en analysant le comportement (émergent à l’époque) du recours systématique au moteur de recherche comme une technologie située permettant de décharger les élèves de cette planification difficile « par des interrogations multiples, des requêtes testées les unes après les autres et les unes en fonction des autres, qui autorisent le rapatriement de ressources potentiellement estimables comme pertinentes aux yeux du chercheur en même temps qu’il l’aide à définir le sujet de recherche ». Sans juger de la pertinence actuelle de ces propositions, nous relèverons que les jeunes chercheurs d’information font preuve d’appropriation de leur espace sociotechnique, et inventent des méthodologies dans l’action. Dans cette optique, la stratégie du copié-collé est remarquablement économe, et pourrait bien représenter une forme spécifique de résolution de problème, une heuristique (Kahneman et Twersky, 1974) toute nouvelle répondant aux différents impératifs de formalisation du but dans cette tâche scolaire sur Google : rester proche de la consigne selon une stratégie scolaire évitant le hors-sujet ; utiliser au mieux l’outil de recherche (ici construire un ensemble de mots-clés pleins suffisant pour accéder à de bons résultats, puisque nous retenons que les mots-clés pleins font les « bons » résultats).

Ce dernier aspect de la construction soulève à son tour deux points intéressants : premièrement que la formulation de requête, c’est à dire un ensemble de termes en un tout cohérent, est bien une compétence documentaire reconnue par les élèves et qu’ils en manifestent l’utilité ; deuxièmement, que cette stratégie est située et implique de « faire confiance à Google » dans sa capacité à fournir des résultats satisfaisants malgré la perturbation des mots-vides. Copier-coller la question dans le moteur revient ainsi à transférer une partie des compétences documentaires jusqu’ici enseignée et relevant selon ces critères d’une planification aboutie (comme par exemple extraire les concepts en mots « savants contenant le maximum d’information » ou éviter de produire des mots vides), au moteur lui-même. Cette évolution dans les comportements et stratégies de recherche des novices peut se comprendre en s’inscrivant davantage dans une logique de « situation » et de « contexte ». L’idée sous-jacente aux approches situées est qu’une action (ici la recherche d’information sur Google) s’inscrit dans un espace-temps spécifique qui fait sa définition. Ainsi, toute action s’accomplit  au sein d’un contexte, d’une situation qui émerge en tant que telle dans le cours de l’action, et c’est cette situation qui fixe et modifie les règles de sa réalisation. Il s’agit de reconnaître le rôle fondamental de l’environnement, de l’écologie de la tâche, et d’englober dans l’analyse l’ensemble des éléments qui subissent des transformations simultanées. Le grand apport des approches situées est d’externaliser une partie de la cognition (ou des processus cognitifs) dans la situation elle-même. Spink et Saracevic (1997) constatent ainsi que le choix des termes d’une requête est un processus inscrit, témoignant de l’interaction entre situation et processus cognitifs. Ce que Tricot et Boubée (2012) remarquent également lorsqu’ils concluent dans leur étude que les jeunes en situation de recherche s’appuient fortement sur leur environnement externe pour réaliser la tâche. Pour Chung et Neuman (2007) enfin, c’est justement dans les interactions avec l’environnement que se fait l’éclaircissement du besoin d’information. Dans cette logique de rationalité écologique ou de cognition située, il est possible et intéressant de faire l’hypothèse que l’évolution de l’environnement externe et informationnel influence le comportement des jeunes qui recherchent toujours le moindre coût cognitif. Et, par suite d’habitudes et d’interactions, estiment désormais pouvoir transférer une partie de la planification « vers l’extérieur ». 

Mais peut-on pour autant parler d’un manque de planification ? A bien y regarder, les participants (novices comme experts) élaborent peu leurs requêtes, restant proches des mots initiaux de la question (peu de mots-clés nouveaux et spécifiques). Ce n’est donc sans doute pas tant le vocabulaire précis et les compétences langagières sophistiquées qui influencent le plus les résultats dans cette étude, mais davantage la présence plus ou moins importante de mots-clés vides dans les requêtes. Cette présence plus marquée chez les novices allant de pair avec de moins bons scores, nous en déduisons évidemment que ces mots vides influencent l’efficacité et l’efficience de la recherche. Et qu’ils peuvent témoigner d’une moindre capacité de l’utilisateur à définir précisément son but et son besoin d’information. Mais il s’agit selon nous d’une stratégie délibérée, construite à partir d’une base de connaissances moins étendue, respectant les besoins scolaires et la définition de buts et sous-buts. Aussi, il peut y avoir défaut de planification si on juge le résultat final, mais au niveau individuel, il ne nous est pas facile de conclure à un manque de planification, tant nous considérons comme Boubée (2008, 2011) que la formulation/reformulation de requête est une manifestation des compétences métacognitives permettant d’initier la suite d’actions d’une recherche. Quel que soit l’heuristique de gestion d’incertitude (Kahneman et Twersky, 1992), qui pend ici la forme d’un copié-collé de la consigne.

Enfin, nous notons que les deux groupes s’appuient de la même façon sur le moteur et ses possibilités de traitement propre pour construire leurs cours d’actions et leurs stratégies. Dans l’étude, les experts et les novices ont pareillement intégré le fonctionnement de Google dans leur planification et leurs stratégies de résolution (nombre de requêtes et de documents ouverts similaires, pas plus de reformulation spécifique, intégrale ou partielle, pas d’exploration plus profonde), développés des comportements identiques. Cette similarité dans la perception du problème prescrit, et de sa résolution, donc par généralisation de la compréhension de la situation de RI dans cette étude, peut enfin s’illustrer dans la nature même des termes utilisés dans les requêtes. En effet, Zhang (2008), en empruntant à la théorie du modèle mental, montre que la représentation que se fait l’usager de l’espace d’information qu’il a investigué influe sur la nature des mots-clés utilisés (génériques versus spécifiques). En lien avec ce que nous avons écrit plus haut, nous retenons que la taille de l’espace d’information est un facteur d’incertitude (volume des résultats) et donc de complexité de la tâche. Or, aucun de nos deux groupes ne manifestent de différence significative dans la nature des mots-clés utilisés. Visiblement, experts et novices se construisent une représentation très proche de l’espace problème, et mettent en place des stratégies convergentes. Ce qui à nos yeux traduit une fois de plus la confiance en l’outil utilisé puisqu’il n’y a aucun enjeu à réduire la complexité de cette situation (quelle que soit la base de connaissances initiales) ; le moteur le fera, et fournira des résultats traitables. Mais difficile de parler d’un manque de planification des novices    

 

Selon que nous considérions les différences dans les scores comme une difficulté ascendante ou descendante (top-down/bottom-up) à construire une représentation-réponse juste, nous pouvons interpréter cela comme des difficultés à faire « matcher » les attentes et les résultats (jugements prédictifs et d’évaluation, Rieh, 2002), de construire un but précis, d’obtenir les éléments pour reconstruire mon but (achèvement de la tâche), à faire coïncider les schémas (mentaux/situationnel) avec de moins bonnes connaissances sur le sujet. Ce dont témoigne un taux de relecture des consignes plus important chez les novices que chez les experts. Il s’agit cependant de ne pas percevoir l’information quand elle se présente plutôt que de ne pas pouvoir y accéder de façon satisfaisante. Ainsi, plus que la difficulté propre à la formulation de requêtes « polluées » et la cohorte de résultats moins facilement exploitables qui en résulterait, nous pensons que les novices sont avant tout moins en mesure de juger correctement de l’information rencontrée par manque de familiarité et d’expertise référentielle. Ce qui, en reprenant les travaux de Kintch (1998) qui place les productions d’inférences et d’élaboration au cœur des processus de compréhension (comme par exemple prévoir les contenus et leur qualité auxquels nous accèderions), les amène à construire des réponses fausses plus souvent. La base de connaissances initiale aide à la régulation et au contrôle selon les attentes scolaires, en répondant à un critère imposé. Aide à discriminer les résultats et être plus facilement en mesure d’extraire l’information utile des documents. Cette construction par rencontre et comparaison est plus efficace chez les experts qui possèdent de meilleurs schémas mentaux, plus détaillés. Ils peuvent reconnaître une réponse « bonne » plus facilement, pour l’avoir déjà rencontrée. Les novices doivent évaluer sans référence initiale, construire en entier l’évaluation, en recourant plus souvent à la consigne pour se guider et orienter leur choix. Cette moindre capacité de discrimination dans les résultats et dans l’information peut expliquer pourquoi les experts ont de meilleurs scores aux questions. C’est à nos yeux la grande différence montrée par cette étude dans les stratégies et les comportements de résolution de nos deux groupes.

 

Contrairement à ce qui était attendu, et aux conclusions de Chevalier et Kicka (2006) ainsi que Tabatabai et Shore (2005), cette étude n’a pas pu conclure sur le nombre de documents visités par les participants. Nous nous attendions en effet à ce que les experts explorent moins de sites, pages web ou documents que les novices, mais les résultats des tests n’ont pas permis d’attester une significativité générale des effets de l’expertise sur cette variable.

 

·          Les effets de la complexité sur la recherche d’information 

D’une manière générale, cette étude a validé davantage d’hypothèses que nous avions formulées sur la complexité. Nous nous attendions à une meilleure réussite aux questions simples (par rapport aux questions complexes), un temps de recherche plus important pour les questions complexes, un nombre de relecture, de requêtes, de reformulations (complètes et partielles) plus important pour les questions complexes, un nombre de mots-clés utilisés plus important (pour les questions difficiles), qu’ils soient vides, issus de la questions ou nouveaux. Nous nous attendions enfin à un nombre de documents visités plus important pour les questions complexes et une profondeur de navigation plus grande pour ces mêmes questions.   

Dans cette étude, nous n’avons pas pu mettre en évidence une influence globale de la complexité sur la performance au test. Nous avons en revanche observé que les scores obtenus par les participants lors des questions simples sont meilleurs que pour les questions multicritères, qui se sont avérées les questions les plus dures pour l’ensemble de l’échantillon. Les questions ouvertes semblent ne pas avoir suscité une plus grande difficulté que les questions simples, puisque la différence de performance entre ces deux catégories de questions n’est pas significative (test post hoc). Le niveau de complexité des questions ouvertes, qui présentait une variation via la production d’une réponse différente d’un corpus de trois documents (tâche familière relevant de l’écologie de formation des participants), ne semble pas représenter de complexité supplémentaire pour les participants, experts et novices obtenant des résultats proches dans les deux catégories de questions (même score entre les deux catégories de questions ouvertes et simples, que ce soit pour les experts ou pour les novices). Basées sur une construction méthodologique proche de Bell et Ruthven (2004), les « Questions Ouvertes » remplissaient tous les critères a priori. Toutefois, il est possible que cette tâche n’ait pas intégré la pleine mesure technique de l’outil utilisé, Google. Ce moteur de recherche positionne assez facilement l’utilisateur dans une boucle d’informations dont la pertinence est exogène, et pourrait, selon les thématiques et les tâches, compenser les effets attendus de la complexité et de l’expertise (Dinet et al., 2012).

L’analyse du temps de réponse des participants nous indique que la complexité influence significativement le temps de la tâche de recherche, comme déjà souligné par Chevalier, Maury et Fouquereau (2014) ou Monchaux, Amadieux, Chevalier et Mariné (2015). Ce temps de résolution de la tâche influencé par la complexité de la tâche est conforme aux conclusions des études sur lesquelles nous avons construit notre étude. Il en est de même pour le nombre de relectures, pour laquelle nous partageons les conclusions des auteurs cités.

Le nombre plus important de relectures, de requêtes, de reformulations totales et partielles, de mots-clés, vides ou issus de la question, utilisés lors des questions difficiles (tous types, multicritères ou ouvertes) peuvent indiquer une plus grande difficulté à se représenter le but de la tâche et ici, à en extraire les informations pertinentes permettant une recherche satisfaisante. Cette interprétation sur la difficulté à cibler l’information à mesure que s’accroit la complexité de la tâche de RI se trouve à nos yeux confortée par le nombre plus important de documents ouverts lors des questions multicritères. Le fait de visiter plus de documents peut ainsi indiquer des difficultés à retrouver des informations. Encore une fois, les résultats ne nous ont permis qu’une conclusion partielle sur un effet de la complexité sur le nombre de documents ouverts, puisque seules les questions multicritères ont montré des différences significatives avec les questions simples. Nous pensons que la structure particulière de la tâche des questions ouvertes, dont la réponse consistait en la collecte de trois documents cernant la question, a induit un effet de resserrement statistique (tous les participants ont ouverts au moins trois documents), possiblement augmenté de la pertinence exogène du moteur utilisé.  Toutefois, au regard des questions les plus difficiles que sont les questions multicritères, et en comparaison avec les données sur les questions simples, nous pensons que  ces différences sont en lien avec la difficulté à se représenter le but.

 

L’effet de la complexité sur la profondeur de navigation connait une analyse similaire. Bien que l’étude ne puisse trancher globalement sur les effets de la complexité, nous observons que les questions multicritères entraînent significativement une plus grande exploration de documents à partir d’autre documents (sans retour aux résultats du moteur). Ce changement dans la navigation pourrait indiquer selon nous un changement dans le type de stratégie, le participant passant d’une stratégie davantage orientée « top down » (dans laquelle il essaie d’isoler des éléments qu’il a préalablement retenus comme pertinents et lui servent de marqueurs de qualité pour l’exploration) à une stratégie plus « bottom-up » (dans laquelle les saillances informationnelles rencontrées le guident). Ce changement pourrait trouver sa source dans la difficulté rencontrée à cibler l’information pertinente en amont entraînant une plus grande difficulté à construire une représentation jugée satisfaisante (réponse). Et ainsi nécessiter de la part du participant de revoir sa stratégie de collecte/exploration en cours d’action.

 

Ouverture didactique

·          Utiliser Google comme outil disciplinaire

Pour le pédagogue désireux d’utiliser Google comme outil de formation, les résultats de cette étude peuvent apporter quelques pistes et directions potentiellement utiles. En premier lieu, en nous basant sur les analyses relatives aux éléments de la tâche (mesures de la complexité), nous notons une différence significative de difficulté entre les deux questions complexes. Seules les questions multicritères ont ainsi véritablement connu de moins bonnes performances (en comparaison avec les questions simples), toutes expertises confondues. Pour ces questions, les participants devaient avant tout isoler une séquence particulière de mots-clés contenus dans la question, sous peine de ne pas pouvoir trouver (facilement) la bonne réponse. Cette tâche, conçue par rapport aux résultats proposés par Google, reposait donc essentiellement sur les compétences langagières du participant (fluence verbale) et sa capacité à construire un but précis, tout en compensant davantage « l’aide » apportée par le moteur (expertise outil). Logiquement, ce sont ces questions qui ont montré une différence significative entre les experts et les novices dans le nombre de mots-clés utilisés, les experts utilisant moins de mots-clés que les novices pour traiter ce type de questions. A contrario, les questions ouvertes, pourtant plus floues en terme de réponse à apporter, plus ouvertes aux chemins différents et concurrents, ont été réussies comme des questions simples (le temps passé à leur résolution restant néanmoins plus grand).

De ces résultats, il nous semble possible de dessiner une attribution de rôles didactiques spécifiques à ces différentes catégories de questions. Pour cela, il est avant tout nécessaire d’envisager une nouvelle approche dans la construction des séances pédagogiques « disciplinaires », pour ne plus seulement user des ressources fournies par le moteur comme de « simples » supports d’informations complémentaires mais au contraire considérer l’ensemble du processus de RI comme la séquence de formation elle-même, dont les modalités seraient paramétrées par le type de tâche (questions simples, ouvertes ou multicritère) puisque cette dernière influence les comportements dans notre étude.  Ainsi, la constitution d’un corpus de documents (questions ouvertes) pourrait être utilisée dans un but préparatoire (construction de prérequis) à une séance ou un sujet traité en cours, cette tâche semblant inciter les participants à davantage d’exploration de documents (nombre de documents ouverts). Les questions multicritères, davantage impactées par l’expertise et les capacités langagières, pourraient-elles être utilisées comme vérifications a posteriori du contenu d’un cours ou d’une séance, évaluation sommative reposant sur une base de connaissances préalablement construite. Les types de questions simples, enfin, pourraient représenter une étape intermédiaire de « testing », support de renforcement et de mémorisation en cours de séquence, à travers lesquels l’apprenant renforcerait sa capacité à éliminer les mauvaises réponses. Pour en renforcer un peu plus le mécanisme de performance, basée sur le principe de reconnaissance de patterns (ici les éléments utiles de réponses), ces tâches pourraient gagner à être couplées à une pression temporelle énoncée, plus forte que pour les autres types de questions.  

 

·          Piste pour repenser la formation des élèves

Il ressort de l’analyse des comportements de recherche de ces élèves sur Google un tableau nuancé. En premier lieu, si l’on constate effectivement que les experts mobilisent bien leurs meilleures connaissances du sujet en manifestant une plus grande fluence verbale par la construction de requêtes plus courtes et plus ciblées (moins de mots que les novices, et surtout moins de mots vides), novices et experts utilisent en revanche autant de mots-clés pleins, par ailleurs tous issus de la question. Si le constat sur les mots vides est cohérent avec la construction théorique, cette situation contient cependant un paradoxe : puisque les mots-clés pleins peuvent être vus comme des marqueurs de la qualité/efficacité de la représentation du but à atteindre, caractéristique « experte », comment les deux groupes peuvent-ils afficher une utilisation identique des mots porteurs de sens ? Ce constat s’explique en fait par une pratique singulière de ces élèves de 13 à 15 ans : les élèves les plus novices recopient intégralement la question qui leur est posée en guise d’équation de recherche ! Dans ces conditions, il est facile de comprendre. Mais jusqu’où cela impacte-t-il la performance ?

En effet, si les « experts » manifestent une performance « score » au test de recherche (qualité scolaire des documents sélectionnés ou des réponses apportées, juste ou faux) supérieure aux « non-experts », ils ne mettent pas significativement moins de temps pour répondre aux questions (deuxième composante de la performance). Notons par ailleurs que l’évaluation des réponses, qui ouvrait sur le scoring de l’étude, reposait sur la qualité finale des documents soumis ou des réponses faites (et pas sur l’efficacité intrinsèque de la requête), pour laquelle les experts bénéficient à priori d’un avantage de connaissances. Il n’est pas aisé ici de faire la distinction entre une mauvaise requête qui ouvre sur trop de documents mal adaptés, inutiles ou faux, et une moindre capacité des novices à sélectionner de bons documents ou à extraire de bonnes informations (hypothèse que nous avons déjà discutée). Ce qu’il est possible de dire en revanche en se basant sur cette étude, c’est que les élèves novices n’adressent pas plus de requêtes ni ne reformulent plus souvent que les experts et qu’ils ne consultent pas significativement plus de documents pour construire leurs réponses. Sans être des éléments conclusifs et terminaux sur la qualité intrinsèque des requêtes « copiées-collées » de la question, il est difficile d’avancer que ces dernières soient moins efficaces sans explorations complémentaires. Enfin, l’expertise en tant que telle n’a pas d’incidence remarquable sur la résolution de la tâche dans un contexte de complexité croissante. Autrement dit, les élèves de troisième montrent des difficultés similaires à ceux de quatrième lors des questions les plus complexes et difficiles[1], bien qu’elles portent sur leur domaine d’expertise. Les différences les plus significatives se manifestent principalement au niveau des questions simples et ouvertes dans cette étude, qui ne nécessitent que peu d’inférences et où l’effet des connaissances antérieures, dans son écologie décisionnelle (aide à la prise de décision, ici sélection des informations pour une réponse) semble donc davantage jouer.

Les stratégies de recherche des novices, qui s’appuient pleinement sur les fonctionnalités du moteur Google pour compenser leur manque d’expertise, peuvent ainsi sembler presque aussi performantes que la stratégie plus « ciblée » des experts. Elles montrent à tout le moins une remarquable économie de moyens tout en contournant l’obstacle de la formalisation et assurant à priori de ne pas s’éloigner de la tâche prescrite. Elles répondent enfin pleinement à leurs besoins scolaires lors des tâches complexes les plus délicates. Il est ainsi, selon nous, possible d’établir un lien avec les résultats d’une étude récente[2] testant les comportements de recherche de documentaliste-bibliothécaires contre des experts d’un domaine. Cette étude a mis en lumière que la performance de l’utilisation de l’outil de recherche (ici une base de données catalographique) peut compenser l’absence de connaissances antérieures par la qualité de formulation des requêtes et leur adéquation au process technique de l’outil de recherche. Si nos novices n’ont ici aucune expertise Google significative (pas davantage que les troisièmes), l’outil Google en revanche incorpore une aide automatique afin d’optimiser toutes les recherches, dont l’essentiel est invisible et encapsulée dans ses algorithmes de traitement. Cette aide est, malheureusement pour cette étude, transversale, c’est-à-dire qu’elle couvre les deux moments de la formation méthodologique, en permettant d’une part, une « compensation » des formulations imprécises de requêtes, et d’autre part, en proposant des résultats dépassant la simple demande exprimée par l’usager en croisant avec les résultats majoritairement activés dans des recherches similaires (par l’ensemble des utilisateurs du moteur). Report d’expertise par l’outil, devenu prothèse technologique documentaire, à mettre en perspective avec les travaux de Sparrow, Liu et Wegner (2011) sur les « Google effects » dans lesquels le moteur de recherche y est montré comme une mémoire externe ? Toujours est-il que les novices usent visiblement des processus algorithmiques du moteur de recherche pour arriver à une résolution de leur tâche de recherche, sans passer par l’étape menant à l’extraction de mots-clés. Le manque de précision de leur requête n’est que peu pénalisant au regard de l’étude dans son ensemble et pas du tout sur les questions les plus complexes en particulier, alors même qu’ils sont amenés à construire intégralement la réponse en cours d’action en partant de rien, processus logiquement beaucoup plus coûteux cognitivement que celui des experts qui, usant de leur base de connaissance étendues,  recourent à des comparaisons rapides et se permettent des processus décisionnels enactif ou affordants.

Nous admettons que la performance globale des novices, bien que moins bonnes que les experts, n’en est pas tellement distante, au regard des considérations évoquées. Nous pensons qu’il est possible de dire que les usagers de Google sont de facto placés dans une situation de « quasi-expertise », ici sur le plan technique (outil), qui permet une compensation des effets positifs sur la recherche d’information des connaissances antérieures. L’analyse des comportements de recherche et de navigation semblent indiquer que les élèves en ont une conscience opérationnelle, c’est-à-dire qu’ils exploitent dans l’action les fonctionnalités du moteur pour alléger leur charge et réduire le coût cognitif de la formalisation des besoins. Si le résultat est sous-optimal, il est satisfaisant en ce qu’il fonctionne ; et parfois très bien selon les tâches.

 

A la lecture de ces éléments de discussion, il nous semble possible de proposer une première modification de la formation documentaire des élèves, en articulant avec les compétences développées en situation, et davantage axée sur les opérations de synthèse (de l’information). En effet, la formalisation experte des termes du sujet ou de la consigne en mots-clés précis est une étape coûteuse que les élèves tentent par tous les moyens de s’éviter. Dans la logique des travaux de Kelly et Fu (2007), qui ont montré que dans les environnements de recherche plein-texte (le cas de Google), les requêtes en langage naturel fournissaient de meilleurs résultats que l’usage expert de mots-clés, et en considérant qu’il leur est possible d’approcher de bons résultats par une heuristique analogique de copié-collé, nous sommes en droit de questionner la pleine utilité d’une démarche formative reposant pour une grande part sur la conceptualisation d’un ensemble de termes « inférés », spécifique ou savants[3]. Comme, par exemple, ceux produits par les élèves à l’issue d’un travail sur la synonymie ou sur la langue articulant hyponymes/hyperonymes, voire encore d’exercices sur des langages contrôlés de toutes sortes… Il nous semble en effet plus porteur de considérer les capacités jusqu’ici non perceptibles de manipulation des outils de recherche chez les élèves et leur apprendre à renforcer ces compétences. A savoir, par exemple, se débarrasser des mots inutiles dans une consignes afin d’optimiser dans un moindre effort la requête qu’il adresse. En retour, en renforçant la qualité de synthèse/extraction, nous renforcerions leur capacité à appréhender l’information des documents qu’ils rencontrent dans l’exploration des résultats du moteur, et pourrions optimiser ce faisant leur processus de représentation-création de réponse.

 

D’une manière générale, la méthodologie spécifique de cette étude ne permet pas d’inférer sur les qualités intrinsèques des documents (autorité/fiabilité et pertinence) ayant conduit à la prise de décision finale (réponse ou abandon), puisqu’une réponse fausse ou juste (comme un abandon) n’est pas un critère totalement suffisant pour déterminer la qualité de la sélection considérée élément par élément[4]. La question de savoir sur quoi les élèves se fondent pour sélectionner des documents demeure, et se doit d’être explorée.

Mizzaro (1998) et Boubée et Tricot (2010) définissent la pertinence à l’éclairage du besoin. Pour ces auteurs, sera jugé comme pertinent ce qui comble, au moins partiellement, un besoin d’information[5]. Le jugement de pertinence est donc un processus éminemment dynamique en ce que le chercheur d’information juge selon son besoin d’information, qui lui-même n’est pas fixe et évolue en cours d’action. La pertinence est une construction située, répondant à un moment, et ne dépend pas que des qualités objectives du document (Ingwersen, 2006). Comme déjà évoqué, les novices vont doublement se trouver désavantagés dans la réalisation de ce processus : d’une part l’heuristique du « copié-collé » réduit de facto la précision de la formalisation initiale du besoin (en en confiant un part au moteur), mais en outre, les novices ne possèdent pas la base de connaissances permettant une bonne évaluation de la qualité de l’information qu’ils rencontrent. L’aspect réitératif de la séquence de recherche renforce cette distance (Dinet, 2014). Malgré cela, et c’est ce qui nous intéresse ici, experts et novices manifestent des comportements d’exploration similaires des SERP de Google. Ces comportements d’exploration sont la marque des jugements de pertinence et de fiabilité qu’ils opèrent, et que nous voulons discuter.

Une rapide revue de littérature montre que ces jugements de pertinence et de crédibilité/fiabilité chez un public juvénile sont pour le moins biaisés, sommaires et incomplets. Ce qui est le plus remarquable à nos yeux, c’est que, bien que les collégiens manifestent dans les études une compréhension déclarée du processus et des critères d’évaluation, ils ne manifestent pas dans l’analyse de leurs cours d’action une capacité à évaluer qui intègre ces éléments (Agosto, 2002 ; Boubée et Tricot, 2011 ; Dinet, 2014). Tout se passe comme si la nécessité de l’activité d’évaluation était acquise, les principaux critères assurant sa réussite connus, mais qu’en action les élèves ne mobilisaient pas ses savoirs ou n’exerçait pas eux-mêmes cette capacité. Granka, Joachims et Gay (2004), Dinet (2014) ou encore Boubée et Tricot (2011) montrent ainsi une sélection de documents conduite par l’accessibilité (ici commodité d’accès, qui demande le moins d’efforts), se portant majoritairement sur les liens de rang 1 et 2 dans les pages de résultats du moteur (SERP), ainsi que de l’usage quasi-unique du critère d’adéquation dans la discrimination des résultats. Logiquement cette façon d’opérer peut représenter une limite sérieuse à l’accès de documents pouvant s’avérer pertinents… mais placés ailleurs dans les résultats. Pour Boubée (2008), les élèves choisissent rarement plus de deux liens sur la première page et explorent peu les autres pages proposées, préférant reformuler à un examen méthodique des résultats. En outre, les élèves déterminent l’adéquation en se référant prioritairement aux indices de surface (ce qui est en gras, gros, les titres… les indices typographiques et aux pseudo-résumés), ce qui nuit à leur exploration réelle du contenu (Dinet, 2014). Malgré cela, Boubée et Tricot ne notent pas d’erreur sémantique flagrante lors des sélections. En outre, les élèves n’ont à priori aucune conscience de manifester ce faisant des lacunes ou des faiblesses informationnelles. Tout à leur logique d’économie et de rationalité limitée, ils font ce qu’il faut pour un résultat suffisant. Il y a là quelque chose de saillant qui n’est pas nouveau : la distance entre la réalisation du processus et la déclaration par ces usagers des critères de réussite (tels que transmis par la formation documentaire des élèves) à mettre en action… La plupart des études antérieures postulent d’un manque de planification de ces usagers juvéniles, très certainement dans une optique piagétienne de maturité dans le temps des compétences métacognitives. Sans que nous essayions même de rejeter cette explication qui a toujours du sens, nous pensons cependant qu’elle occulte une partie de ce qu’il est possible d’analyser. En premier lieu, que le moteur Google est un outil particulier dont on ne peut économiser (une nouvelle fois) la réintroduction dans l’analyse si l’on souhaite comprendre les comportements de nos élèves dans l’analyse critique de l’information.

Ainsi les élèves (ou étudiants) se comportent face aux résultats de Google en toute confiance, agissant comme si tous les documents proposés étaient de qualité intrinsèquement suffisante. Cette attitude est en premier lieu concordante avec les travaux de Hargittai (2010), citée par Boubée et Tricot (2011), qui montre dans ses travaux que la confiance accordée à un moteur se reporte sur celle accordée aux résultats proposés par ce dernier, jusqu’à ce que les usagers ne ressentent plus le besoin d’évaluer la qualité des résultats proposés. Or, en reprenant les critères de crédibilité définie par Fogg et Tsen (1999), à savoir digne de confiance, la réputation, la crédibilité de surface et celle basée sur l’expérience, il est possible de constater que les élèves ont avec Google tous les marqueurs « objectifs » permettant de construire une confiance importante dans cet outil : référence technologique et point d’entrée devenu incontournable pour toute recherche d’information, reconnu pour son efficacité et jugé globalement fiable (Simmonot, 2009). Rieh et Hilligoss (2008) ajoutent à ce primo effet de confiance la notion d’attractivité de la source : une appréciation positive de l’aspect d’un site (attractivité) disposerait à valider l’information qu’il propose ou contient. Or Google est sans doute la source attractive par excellence en ce qu’il a construit et définit tous les standards relatifs à la communication des résultats des moteurs de recherche sur Internet ; il en est devenue la norme et la référence, ce qui renforce selon nous la confiance que des élèves peuvent placer en lui.

Toutefois, nous pensons qu’il est possible d’aller encore plus loin dans la discussion sur les comportements des jeunes chercheurs d’information. Ils accordent au moteur une confiance pouvant certes se critèrier mais il est possible d’interpréter cet état de confiance comme relevant d’une gestion de leur situation. Ainsi, faire confiance au moteur peut se comprendre comme un processus spécifique d’allègement de la tâche, permettant de transférer à l’outil une partie du travail d’exploration et de sélection de l’information. En se plaçant dans la perspective des travaux de de Sparrow, Liu et Wegner (2011) que nous avons déjà cité, montrant l’existence de processus d’externalisation cognitive (de la mémoire) chez des étudiants utilisant Google, et en reprenant les conclusions sur les apprentissages informels développés par Anzaï et Simon (1979) et prolongés plus récemment par Chanquoi, Tricot et Sweller (2007), il nous semble possible de relier ces comportements et d’envisager que ces derniers aient développé un ensemble de savoir-faire, compétences et habiletés en recherche d’information conséquemment à leurs multiples interactions avec le moteur Google. Au fait des possibilités du moteur, cette expertise pratique conduit à la définition d’un « espace technique d’interaction » sur lequel s’appuyer pour alléger la charge de la tâche de recherche. Cet « espace technique » est externe, placé dans l’outil par le niveau de confiance accordée. L’ensemble constituerait une nouvelle heuristique, en ce qu’il permet de réduire nombre de documents à explorer, et ce faisant l’incertitude.

 

D’un point de vue formatif, ce type de comportement pose la question de la définition des contours de l’objet enseigné. En effet, soit nous considérons la simple efficacité documentaire, et devons donc reconstruire des enseignements pour utiliser au mieux ces développements de connaissances et de compétences informelles (et primaires ici), soit nous attribuons à la formation documentaire une visée citoyenne, et ne devons pas faire l’impasse sur l’apprentissage formel (compétence secondaire) de la critique des documents. Aussi peu heuristique que cette formation soit nécessairement.

 



[1] Jusqu’à rendre non significatif les différences de performances constatées entre les deux groupes lors des questions les plus complexes (ici les questions multicritères)

[2] FIELDS et al. (2005), cités dans DINET et al. (2012)

[3] Cette hypothèse repose sur le fonctionnement algorithmique du moteur Google, qui propose, dans un souci d’optimisation des résultats fournis à l’utilisateur, un « lissage social » des requêtes.  En effet, les documents proposés sont des documents présentant une « notoriété », calculée par le taux de citation par d’autres sources, relative aux termes composant la requête, augmentée des résultats connexes majoritairement visités lors des recherches des autres utilisateurs sur le thème. Il résulte de tout cela que la « base catalographique indexée » par les mots-clés en question est très étendue, et qu’en retour, ces mots-clés voient leur précision (capacité à décrire un champ sémantique) augmentée d’autant. 

[4] Cela représente plutôt, dans la construction de cette étude, un indicateur de la qualité de la construction de la représentation émergée lors du processus de recherche d’information.

[5] Cette pertinence, que la littérature reconnait sous l’appellation de topicality (adéquation au thème/sujet), n’est pas la seule facette de ce processus de jugement