De la pédagogie de l’objet à l’objet pédagogique : Google comme instrument didactique paramétrable au service des enseignants

Martin-Gomez Francisco,

Chevalier Aline

Université Toulouse 2 Jean Jaurès, France

 

3. Résultats

Test de connaissances antérieures

Les résultats du questionnaire de connaissances sur les totalitarismes dans les années 30 montrent des différences significatives de niveau de connaissances entre experts et novices (t(40) = 7,68 ; p < 0.05), selon le test T. Les experts ont ici en moyenne un niveau de bonnes réponses (transcrit ici par un score sur 15) supérieur à celui des novices (ME : 11,09 | ET : 2,47 ; MN : 5,05 | ET : 2,61). La normalité et l’homogénéité de la série, confirmées avant le test T, furent respectivement testées par le test de Kolmogorov-Smirnov couplé au test de Shapiro-Wilk.

 

Performance des participants

·          Score aux questions

D’après les calculs d’une ANOVA 2X(3) (expertise et complexité de la tâche), nous observons un effet principal de la complexité de la tâche sur le score aux questions (F(2,80) = 30,28 ; p < 0.01 ; η2p = 0,431). Une analyse complémentaire post hoc a été réalisée afin de comparer la significativité des différences constatées. Il ressort du test de Scheffé des différences significatives entre les questions simples et les questions multicritères (Scheffé test, p < 0.01),  les questions multicritères et les questions ouvertes (Scheffé test, p < 0.01), mais aucune différence significative entre les questions simples et les questions ouvertes. Nous observons ainsi que les réponses aux questions simples génèrent bien un meilleur score que les réponses aux questions multicritères mais ne génèrent pas de scores significativement différents avec les questions ouvertes (MQS = 3,31 | ET = 1,14 ; MQMC = 1,95 | ET = 1,03 ; MQO = 3,29 | ET = 1,04). Nous notons un effet significatif de l’expertise sur les scores (F(1,40) = 26,22 ; p < 0,01 ; η2p = 0,396)  avec ME = 3,29 | ET = 0,45 et MN = 2,32 | ET = 0,77. Nous n’observons pas d’interaction significative entre l’expertise et la complexité (F(2,80) = 2,32 ; p = ns).

 

·          Temps de recherche total

L’analyse de l’effet de la complexité et de l’expertise (ANOVA 2X(3)) sur le temps total de réponse révèle un effet significatif de la complexité de la tâche (F(2,80) = 39,73 ; p < 0,01 ; η2p = 0,776). Une analyse complémentaire post hoc (Test de Scheffé) de comparaisons multiples a été effectuée afin de comparer la significativité des différences. Il en ressort une différence significative entre chacune des paires comparées. Nous observons bien que, de manière significative, les questions simples nécessitent globalement un temps de réponse moins important que les questions multicritères comme ouvertes (MQS = 150559,5 | ET = 127635,3 ; MQMC = 298643,1 | ET = 260327,2 ; MQO = 467818,6 | ET = 180545,7). Nous n’observons en revanche aucun effet significatif de l’expertise sur le temps de réponse (F(1,40) = 2,5 ; p = ns), et aucun effet d’interaction entre la complexité et le temps (F(2,80) = 1,95 ; p = ns).

Analyse des stratégies de recherche

·          Nombre de requêtes formulées

Nous observons un effet significatif de la complexité sur le nombre de requête formulée (F(2,80) = 10,65 ; p < 0,01 ; η2p = 0,210). Une analyse complémentaire post hoc (test de Scheffé) montre des différences significatives entre questions simples et questions multicritères (Scheffé test, p < 0.01), entre questions simples et questions difficiles ouvertes (Scheffé test, p < 0.01), mais pas entre les questions difficiles. Nous observons ainsi que les questions difficiles (multicritères et ouvertes) occasionnent davantage de requêtes des participants que les questions faciles (MQS = 1,25 | ET = 0,76 ; MQMC = 2,21 | ET = 1,47 ; MQO = 2,0 | ET = 1,25). Nous n’observons pas d’effet significatif de l’expertise sur le nombre de requêtes (F(1,40) = 187,94 ; p = ns, ni d’effet d’interaction entre l’expertise et la complexité.

 

·          Nombre de reformulations complètes

Le calcul d’une ANOVA 2X(3) sur le nombre de reformulations complètes nous permet d’observer l’absence d’effet significatif de la complexité de la tâche sur le nombre de reformulations complètes (F(2,80) = 2,30 ; p = ns) ainsi que l’absence d’effet de l’expertise (F(1,40) = 0,72 ; p = ns) ou encore aucune interaction entre l’expertise et la complexité (F(2,80) = 1,6 ; p = ns).

 

·          Nombre de reformulations partielles

L’analyse de l’effet de la complexité et de l’expertise par le biais d’une ANOVA 2X(3) sur le nombre de reformulations montre un effet significatif de la complexité des tâches de recherche sur le nombre de reformulations partielles (F(2,80) = 9,4 ; p < 0,01, η2p = 0,191). Les tests post hoc effectués montrent un effet significatif entre les questions simples et les questions multicritères (Scheffé test, p < 0.01), les questions simples et les questions ouvertes (Scheffé test, p < 0.01), mais pas de différence dans la paire composée des questions multicritères et questions ouvertes. Nous en concluons que les questions faciles entrainent moins de reformulations partielles que les questions multicritères et ouvertes (MQS = 0,29 | ET = 0,64 ; MQMC = 1,10 | ET = 1,27 ; MQO = 0,90 | ET = 1,18). Nous n’observons aucun effet de l’expertise (F(1,40) = 2,52 ; p = ns), et aucun effet d’interaction entre la complexité et l’expertise sur le nombre de reformulation (F(2,80) = 1,07 ; p = ns).

 

·          Nombre total de mots-clés composant les requêtes

D’après les calculs d’une ANOVA 2X(3) (expertise et complexité de la tâche), nous observons un effet principal de la complexité sur le nombre total de mots utilisés lors des requêtes par les participants (F(2,80) = 36,18 ; p < 0,01 ; η2p = 0,475). Les tests post hoc montrent une différence significative entre les questions simple et les questions multicritères (Scheffé test, p < 0.01) ainsi qu’avec les questions ouvertes (Scheffé test, p < 0.01). En revanche, aucune différence significative n’est apparue entre les questions ouvertes et les questions multicritères (questions multicritères et ouvertes). Ces résultats semble indiquer que les questions simples occasionnent un nombre total de mots clés plus faible que les questions multicritères et ouvertes (MQS = 4,64 | ET = 3,04 ; MQMC = 8,76 | ET = 4,09 ; MQO = 8,52 ; ET = 3,64). Nous observons également un effet significatif de l’expertise sur le nombre de mots clés utilisés (F(1,40) = 11,41 ; p < 005 ; η2p = 0,222) dans le sens où les experts utilisent moins de mots clés en général que les novices (ME = 6,07 | ET = 2,01 ; MN = 8,82 | ET = 3,22). Nous observons également un effet d’interaction significatif de la complexité et de l’expertise sur le nombre de mots-clés utilisés lors des tâches de recherche (F(2,80) = 4,76 ; p < 0,05 ; η2p = 0,102). Les tests post hoc effectués précisent la significativité de cet effet pour les questions multicritères (Scheffé test, p < 0.01).

 

·          Nombre de mots-clés pleins

L’ANOVA 2x(3) effectuée sur le nombre de mots-clés plein nous permet d’observer un effet significatif de la complexité (F(2,80) = 59,57 ; p < 0,01 ; η2p  = 0,598) sur le nombre de mots-clés pleins utilisés : les questions difficiles s’accompagnent de requête composée d’un plus grand nombre de mots-clés pleins que les questions simples (MQS = 2,57 | ET = 1,06 ; MQMC = 5,40 | ET = 1,73 ; MQO = 4,37 | ET = 1,26). Ces différences sont significatives sur toutes les paires testées, selon les tests post hoc effectué (Scheffé test, p < 0.01, respectivement pour toutes). Nous n’observons aucun effet de l’expertise sur le nombre de mots-clés plein (F(1,40) = 0,572 ; p = ns), et aucun effet significatif d’interaction.

 

·          Nombre de mots-clés vides

Nous observons un effet significatif de la complexité (F(2,80) = 13,15 ; p < 0,01 ; η2p  = 0,247) sur le nombre de mots-clés-vide : les questions complexes occasionnent un usage plus important des mots-vides que les questions faciles (MQS = 2,08 | ET = 2,28 ; MQMC = 3,36 | ET = 2,98 ; MQO = 4,18 |  ET = 3,31). Les tests post hoc montrent en effet que cette différence est significative entre les questions simples et les questions multicritères (Scheffé test, p < 0.01), les questions simples et les questions ouvertes (Scheffé test, p < 0,01). Ces tests ne montrent aucune différence significative entre les questions difficiles elles-mêmes. L’analyse de l’ANOVA 2X(3) montre également un effet significatif de l’expertise sur le nombre de mots-clés vides (F(1,40) = 15,12 ; p < 0,01 ; η2p  = 0,274). Les novices usent en effet de plus de mots-clés vides que les experts (ME = 2,06 | Et = 1,67 ; MN = 4,60 | ET = 2,54). Nous observons également un effet d’interaction entre la complexité et l’expertise (F(2,80) = 3,29 ; p < 0,05 ; η2p  = 0,076) sur le nombre de mots-clés vide, les novices semblant utiliser plus de mots vides lors de la formulation de leurs requêtes lors des questions difficiles que les experts (MN-QMC = 5,32 | ET = 2,96 ; MN-QMO  = 5,00 | ET = 3,32 ; ME-QMC = 1,74 | ET = 1,82 ; ME-QO = 3,50 | ET = 3,22). Les tests post hoc effectués ne montrent cependant de différences significatives entre experts et novices qu’au niveau des questions difficiles ouvertes (Scheffé test, p < 0.01), ne confirmant que partiellement notre hypothèse.

 

·          Nombre de mots-clés issus de la question

L’ANOVA sur le nombre de mots-clés issus de la question montre un effet significatif de la complexité (F(2,80) = 84,57 ; p < 0,01 ; η2p  = 0,679). Les tests post hoc montrent des différences significatives (Scheffé test, p < 0,01, respectivement) entre les trois catégories de questions comparées deux à deux. Ces résultats montrent que le nombre de mots-clés pleins issus de la question utilisé dans les requêtes par les participants est plus important pour les questions multicritères et ouvertes (MQS = 2,24 | 0,98 ; MQMC = 5,12 | ET = 1,65 ; MQO = 3,86 | ET = 0,90) que pour les questions simples. Nous n’observons aucun effet significatif de l’expertise (F(1,40) = 3,08 ; p = ns), et aucun effet d’interaction significatif entre la complexité et l’expertise.

 

·          Nombre de mots-clés nouveaux

Nous n’observons aucun effet significatif de la complexité sur l’utilisation de mots-clés nouveaux (inférés) lors des reformulations de requêtes (F(2,80) = 0,77 ; p = ns). L’analyse ne montre pas non plus d’effet significatif de l’expertise sur l’usage de mots-clés nouveaux lors des reformulations (F(1,40) = 3,19 ; p = ns), et aucun effet d’interaction.

 

·          Nombre de relecture des questions

A la suite du calcul d’une ANOVA 2X(3) sur le nombre de relectures des questions lors des tâches de recherche, nous observons en premier lieu un effet significatif de la complexité sur le nombre de relecture (F(2,80) = 15,55 ; p < 0,01 ; η2p = 0,280). Une analyse complémentaire post hoc a été effectuée afin de comparer la significativité des différences constatées et de vérifier si cet effet de la complexité se confirme selon notre hypothèse. Il ressort du test de Scheffé des différences significatives entre les questions simples et les questions multicritères (Scheffé test, p < 0.01), les questions simples et les questions ouvertes (Scheffé test, p < 0.01), mais aucune différence significative entre les questions difficiles. Nous observons ainsi que les questions difficiles (toutes catégories) occasionnent bien un nombre de relecture plus important que les questions simples (MQS = 0,70 | ET = 0,84 ; MQMC = 2,67 | ET = 2,80 ; MQO = 1,77 | ET = 1,38). L’analyse des résultats montre un effet significatif de l’expertise sur le nombre de relecture (F(1,40) = 4,15 ; p = 0,048, η2p = 0,280), avec des novices relisant davantage que les experts (ME = 1,36 | ET = 1,02 ; MN = 2,14 | ET = 1,45). Nous n’observons en revanche aucune interaction.

 

Analyse des stratégies d’exploration

·          Nombre total de documents ouverts

Une ANOVA 2x(3) sur le nombre de documents ouverts montre un effet principal significatif de la complexité de la tâche (F(2,80) = 48,2 ; p < 0,01 ; η2p  = 0,547). Si à priori les questions complexes entrainent davantage de consultation de documents que les questions simples (MQS = 2,14 | ET =  1,66 ; MQMC = 2,95 | ET = 2,27 ; MQO = 5,30 | ET = 2,25), ces différences ne sont significatives qu’entre les questions simples et les questions ouvertes (Scheffé test, p < 0,01), les questions multicritères et les questions ouvertes (Scheffé test, p < 0,01), mais pas entre les questions simples et les questions multicritères. Nous ne pouvons donc conclure à la validité de notre hypothèse. Nous n’observons aucun effet significatif de l’expertise sur le nombre de documents ouverts (F(1,40) = 3,47 ; p = ns) : les experts n’ouvrent pas significativement moins de documents lors des questions de recherche. Il n’y a pas non plus d’effet d’interaction.

 

·          Profondeur de navigation

Nous observons un effet significatif de la complexité sur la profondeur de navigation (F(2,80) = 3,94 ; p < 0,05 ; η2p  = 0,90) : les questions multicritères et les questions ouvertes semblent entrainer une profondeur de navigation plus grande que les questions faciles (MQS = 0,08 | ET = 0,22 ; MQMC = 0,21 | ET = 0,32 ; MQO = 0,14 | ET = 0,28). Ces différences ne sont toutefois significatives qu’entre les questions simples et les questions multicritères (Scheffé test, p < 0.01). Nous n’observons aucun effet de l’expertise (F(1,40) = 0,03 ; p = ns) et ne mesurons pas non plus d’effet d’interaction entre la complexité et l’expertise sur la profondeur de navigation.