Objectifs généraux du travail statistique : résumer, révéler, prédire

Exemple 1 : révéler un phénomène peu visible

On a vu la semaine dernière qu’une analyse de données a permis de montrer que dans le Baseball les stratégies de jeu mises en oeuvre de façon traditionnelle n’étaient pas les plus efficaces. Contre les avis des professionnels du milieu, le travail d’analyse de données suggérait d’autres façons de former une équipe de Baseball.

Autre exemple, en France dans les années 90, une enquête statistique (dont on trouvera les détails dans l’article de Philippe Cibois¹), montrait que les enfants issus de l’immigration réussissaient moins bien à l’école que les autres élèves (c’est probablement encore le cas aujourd’hui). En effectuant un traitement plus poussé (nommé régression logistique) pour étudier le cas des élèves issus de l’immigration ayant des caractéristiques sociales identiques aux autres élèves, on s’aperçoit que le fait d’être “issu de l’immigration” a un effet positif significatif sur la réussite scolaire. Autrement dit, l’enquête statistique permet d’affirmer (et de quantifier par une probabilité) que, au regard des données étudiées, “toutes choses égale par ailleurs”, les enfants issus de l’immigration maghrébine réussissaient mieux que les autres.

Cette dimension du travail statistique n’est pas automatique et repose plus sur une activité scientifique et un travail de recherche très élaboré que dans un résultat automatique d’un travail d’analyse de données. Il s’agit d’un idéal qui n’est pas atteint à chaque fois.

–>

Exemple 2 : résumer des informations

Dans une classe, 26 élèves ont reçu une note. Ces notes sont consignées dans le tableau ci-dessous².

Si l’on veut se faire une opinion sur le travail de cette classe, par exemple lors d’un conseil de classe, cette liste est trop compliquée. Pour en obtenir une vision globale il faut la synthétiser. Une première façon de faire est d’ordonner les données. Comme ceci³ :

On voit ainsi clairement que 10 élèves ont 15/20 ou plus et uniquement 4 élèves ont 5/20 ou moins, il y a donc 12 élèves qui ont reçu une note comprise entre 5 et 15. On a déjà une première idée : 10 élèves ont des très bonnes notes et seulement 4 en ont de très mauvaises.

Une autre façon de faire, très commune, est de calculer la note moyenne : 12,5. Souvent on indique aussi la note maximale et la note minimale : 20 et 1. On peut aussi calculer la note médiane : 13,5. La note médiane signifie que la moitié des élèves ont moins de 13,5 et l’autre moitié plus. On obtient le tableau suivant :

On peut donc résumer les notes de cette classe en disant :

• les notes vont de 1 à 20,
• Sur 26 élèves, 10 ont plus de 15/20 et 4 moins de 5/20,
• la note moyenne est d’à peu près 12,5,
• la moitié des élèves a eu moins de 13,5 (note médiane) et l’autre moitié plus de 13,5.

On a ainsi une idée de la classe et on peut interpréter ces éléments en disant que c’est une classe qui a plutôt reçu de bonnes notes.

Imaginons maintenant qu’il y ait plusieurs notes par élèves comme ceci :

On peut ordonner les données comme précédemment mais avec un degré de complexité plus grand : quelle discipline doit-on choisir comme premier critère de classement ? Et comme deuxième critère ? C’est un problème assez difficile que nous n’allons pas traiter.

Si l’on veut se faire une opinion sur les notes reçues par les élèves au cours du trimestre on peut calculer simplement la moyenne par élève ainsi :

On peut agrandir le tableau d’origine en y faisant figurer les notes médianes, les notes maximales et minimales ainsi :

On pourra ensuite ordonner le tableau selon les notes moyennes ou médianes et ainsi avoir une vision globale pour chaque élève. On pourrait faire la même chose pour chaque discipline de la même façon en effectuant un traitement sur les colonnes plutôt que sur les lignes et obtenir un tableau de synthèse dans lequel il sera facile de naviguer.

–>

Exemple 3 : prédire un évenement

Imaginons maintenant que nous disposons des chiffres de ventes d’une entreprise de bicyclettes pour les 12 mois de l’année 2016.

Lors du premier mois 40 vélos ont été vendus, 42 le second mois, 44 le troisième, etc. Y a-t-il une forme de régularité dans ces ventes ? Est-il possible d’estimer le nombre de vente du mois de janvier 2017 ?

Pour répondre à ces questions on va représenter graphiquement ces valeurs ainsi :

On appelle cette figure un nuage de points. Remarquez que ce nuage de points est assez régulier, ce qui suggère une relation entre les unités vendues et le temps qui s’écoule. On peut dire qu’il y a de plus en plus de ventes chaque mois mais il n’y en a pas beaucoup plus chaque mois. On voit que chaque mois il y a à peu près autant de ventes supplémentaires que le mois précédent : les points sont plutôt alignés. On peut en conclure qu’il existe un lien statistique, une corrélation entre les deux variables représentées sur le graphiques.

C’est pourquoi une droite serait un bon résumé de ce nuage de points. On va donc calculer l’équation de la droite qui “passe” au plus près de chacun des points et on va la représenter en rouge sur le graphique ci-dessous.

Cette droite est un modèle statistique[^reg]. D’abord elle résume notre nuage de points : elle est plus simple. Ensuite elle le formalise, c’est à dire qu’elle définit par son équation, la relation que l’on a constaté à l’oeil nu entre le nombre de vélos vendus et chacun des mois de l’année :

\[
y = 2,75x + 35 \]

On va interpréter cette équation en disant : pour chaque augmentation de 1 du nombre de mois, il y a une augmentation de 2,75 unités du nombre de ventes. Autrement dit chaque mois il y a 2,75 vélos vendus supplémentaires.

Grâce à cette équation on peut aussi estimer le nombre de vélos vendus pour des mois dont on ne connait pas les valeurs comme pour le 13ème mois grâce à un calcul simple :

\[
2,75 × 13 + 35 = 70,75 \]

Cette méthode est nommée regression linéaire simple. Pour plus de détails je vous invite à consulter le manuel intitulé Statistique descriptive⁴ mais il en existe un grand nombre.

–>

Une des limitations majeure de la méthode réside dans le fait que la forme du nuage de points doit présenter des régularités. La forme du nuage de points doit évoquer une relation linéaire entre les deux variables.

Exercice 1 : calculer moyenne, maximum, minimum et mediane dans un tableur

Voici un tutoriel simple et didactique montrant les éléments de base d’utilisation d’un tableur : https://www.youtube.com/watch?v=mVEKO4zzHXI

Voici un tutoriel très court montrant comment calculer trois moyennes dans un tableur comme Calc d’Open Office :

Voici les notes reçues par les élèves dans une classe :

⊕Devinerez-vous comment calculer maximums, minimums et médiane ?

1 - Calculez les notes moyennes, maximums, minimums et médianes pour chaque élève.
2 - Calculez les notes moyennes, maximums, minimums et médianes pour chaque discipline.

Envoyez le fichier dans lequel figure le tableau complet à Mehdi.Khaneboubi@u-cergy.fr avant la réunion synchrone du 16 novembre.

Exercice 2 : calculer l’équation d’une droite de regression avec un tableur

Il existe un très grand nombre de ressources sur le web et en bibliothèque montrant comment calculer la droite de régression d’un nuage de points dont celle-ci qui est très courte et très efficace avec Excel :

La même chose avec OpenOffice Calc :

Voici un tableau qui indique l’âge et la taille d’enfants :

1 - Représentez ces points dans un tableur.
2 - Calculez l’équation de la droite de regression.
3 - De combien grandit un de ces enfants chaque mois ?
4 - D’après vous, quelle taille ferait un enfant de 22 mois ?

Envoyez le fichier contenant ces éléments par email avant la connexion du 16 novembre.

Exercice 3 (facultatif)

En vous aidant du tutoriel ci-dessous faire l’exercice 1 avec R⁵. Dans ce cas vous devez envoyer par email les commandes que vous avez entrées dans la consôle.

Premiers contacts avec R

Lancez R sur votre ordinateur à partir de son icone qui doit ressembler à ceci :

Vous devez ensuite voir s’afficher dans la console un texte qui ressemble à celui-ci :

R version 3.4.2 (2017-09-28) – “Short Summer” Copyright (C) 2017 The R Foundation for Statistical Computing Platform: x86_64-apple-darwin15.6.0 (64-bit)

R est un logiciel libre livré sans AUCUNE GARANTIE. Vous pouvez le redistribuer sous certaines conditions. Tapez ‘license()’ ou ‘licence()’ pour plus de détails.

R est un projet collaboratif avec de nombreux contributeurs. Tapez ‘contributors()’ pour plus d’information et ‘citation()’ pour la façon de le citer dans les publications.

Tapez ‘demo()’ pour des démonstrations, ‘help()’ pour l’aide en ligne ou ‘help.start()’ pour obtenir l’aide au format HTML. Tapez ‘q()’ pour quitter R.

Si c’est bien le cas vous êtes prêt à commencer.

R est un langage de programmation qui est dit “orienté objet”. En pratique cela signifie que l’on peut attribuer à un objet (une lettre, un mot, une phrase) une ou plusieurs valeurs (numériques ou non), algorithmes, graphiques, tableaux, etc… Par exemple, pour donner la valeur 12 à un objet x il suffit de saisir dans la console :

x<-12

puis de taper la touche “entrée”. Pour constater que la valeur 12 a bien été assignée à l’objet x, il suffit de taper :

x

puis la touche “entrée”. R répondra :

[1] 12

Dans cette réponse remarquez que R renvoi le nombre de ligne qui figure dans la réponses avec cette indiquation : “[1]”

Pour qu’un objet n représente la distribution : 1,8,10,7,4,3 tapez :

n<-c(1, 8, 10, 7, 4, 3)

Comme précédemment on peut ensuite voir le contenu de l’objet n en tapant “n” puis entrée :

n

R répond :

[1] 1 8 10 7 4 3

La fonction c() sert à entrer des données dans un objet. Cette fonction sera utile pour des données courtes et simples. Dans la suite de ce cours, lorsque nous manipulerons des données volumineuses nous les importerons autrement. Maintenant que l’on a créé un objet dans lequel figure une distribution de nombres, nous pouvons appliquer différentes opérations dessus.

⊕Le séparateur décimal est le point « . ». On rentrera donc toujours les données décimales avec un « . » en guise de « , ». La virgule a une autre fonction comme lorsque une distribution est entrée ainsi xi<-c(10.5, 11, 12)

Par exemple on peut multiplier chacun de ces éléments par 2 :

n*2

[1] 2 16 20 14 8 6

ou bien ajouter 1 à chacun de ces éléments :

n+1

[1] 2 9 11 8 5 4

bref, cela permet d’automatiser des calculs.

⊕Les opérations ordinaires s’utilisent grâce aux opérateurs suivants : * pour multiplier, + pour ajouter, - pour soustraire, / pour diviser, ^2 pour élever au carré, ^5 pour élever à la puissance 5, sqrt(9) fait la racine carré de 9

Pour calculer une moyenne nous devons calculer la somme de la distribution. La fonction qui permet de calculer la somme d’un objet est sum() :

sum(n)

[1] 33

Notre objet n contient 6 éléments sa moyenne est donc :

33/6

[1] 5.5

ou bien :

sum(n)/6

[1] 5.5

⊕La touche « flèche vers le haut » de votre clavier affiche la commande que l’on vient de saisir et permet de ne pas ressaisir la totalité d’une commande lorsque l’on a fait une erreur.

Dans R il existe des fonctions pour presque toutes les opérations mathématiques et statistiques, on pourrait donc calculer directement la moyenne de l’objet n en utilisant la commande mean() :

mean(n)

[1] 5.5