Ipotesi statistiche
Un’utile applicazione degli intervalli di confidenza è quella del test di ipotesi statistiche. Date le informazioni sul nostro campione, come ad esempio media, varianza e distribuzione dei dati, possiamo rispondere a domande con una determinata confidenza statistica. Ad esempio, è facile rispondere alla domanda: “è la media del campione maggiore di un certo valore”, ma non è altrettanto immediata la risposta nel caso in cui si prende in considerazione anche l’incertezza che si ha nei dati. Formalizziamo questo concetto.
Test di Student
Siano \(X_1, ..., X_n\) i nostri dati ed assumiamo che seguano una legge normale (per il TCL basta che \(n\) sia sufficientemente grande), sia \(\mu\) la media del campione e diciamo che vogliamo sapere se \(\mu\) è maggiore di un valore prefissato \(\mu_0\). Consideriamo le ipotesi: \[
H_0 \text{ : } \mu \leq \mu_0 \text{ e A : } \mu > \mu_0
\] \(H_0\) è spesso chiamata ipotesi nulla (null hypothesis). Per andare a verificare quale delle precedenti ipotesi è vera si procede come segue. Si pone \(T= \sqrt{n} \frac{\bar{X} - \mu }{S}\) che come visto in classe segue una legge \(t(n-1)\).
Se vale l’ipotesi nulla, si ha che:
\[
P\{T > t_{1-\alpha} (n-1)\} = P\{ \sqrt{n}\frac{\bar{X} - \mu }{S} + \sqrt{n} \frac{\mu - \mu }{S} > t_{1-\alpha} (n-1) \} \leq
\] \[
P\{ \sqrt{n}\frac{\bar{X} - \mu }{S} > t_{1-\alpha} (n-1) \} = \alpha
\] Cioè sotto l’ipotesi nulla, l’evento \(T > t_{1-\alpha} (n-1)\) ha probabilità minore di \(\alpha\) di verificarsi. Questa probabilità è anche detta p-valore. I valori canonici di \(\alpha\) sono 0.95 o 0.99, ed il primo è quello di default in molti casi.
Questo, insieme ad altre varianti, viene chiamato test di Student.
Il test consiste nel calcolare T a partire dall’osservazione, se il valore ottenuto è maggiore di \(t_{1-\alpha} (n-1)\) l’ipotesi è respinta a livello di confidenza \(\alpha\).
Test a due code
Lo stesso test si può applicare con opportuni accorgimenti ai casi in cui \(H_0: \mu = \mu_0\) contro \(A: \mu \neq \mu_0\) considerando:
\[
\{ |T| > t_{1-\alpha/2} (n-1) \}
\] Nel caso in cui vogliamo verificare se le medie di due campioni \(X_1, ..., X_n\) e \(Y_1, ...Y_m\) sono diverse, andiamo a considerare l’evento: \[
\{ |T| > t_{1-\alpha/2} (n+m-2) \}.
\]
Test di Student in R
Ovviamente R contiene un comando che permette di calcolare tutti e tre questi casi. Tale comando è t.test()
. Vediamo alcuni esempi con il dataset Pima.tr
contenuto nel pacchetto MASS.
library(MASS)
head(Pima.tr)
Una persona è considerata di peso normale se il suo indice di massa corporeo (BMI) è inferiore a 25 mentre è considerata sovrappeso se è compresa tra 25 e 30. Nel caso in cui la BMI sia maggiore, la persona è considerata _obesa._Vediamo quanto vale questo valore per le donne del dataset.
[1] 32.31
Sicuramente la media ci suggerisce la presenza di donne sovrappeso ed obese. Vediamo con che probabilità la media è maggiore delle due soglie.
t.test(Pima.tr$bmi, alternative = "greater", mu = 25)
One Sample t-test
data: Pima.tr$bmi
t = 16.864, df = 199, p-value < 2.2e-16
alternative hypothesis: true mean is greater than 25
95 percent confidence interval:
31.59367 Inf
sample estimates:
mean of x
32.31
L’output del punto precedente, ci suggerisce già qualcosa sul test rispetto alla soglia del sovrappeso.
t.test(Pima.tr$bmi, alternative = "greater", mu = 30)
One Sample t-test
data: Pima.tr$bmi
t = 5.3291, df = 199, p-value = 1.331e-07
alternative hypothesis: true mean is greater than 30
95 percent confidence interval:
31.59367 Inf
sample estimates:
mean of x
32.31
Ma se volessimo un \(\alpha\) diverso:
t.test(Pima.tr$bmi, alternative = "greater", mu = 30, conf.level = .99)
One Sample t-test
data: Pima.tr$bmi
t = 5.3291, df = 199, p-value = 1.331e-07
alternative hypothesis: true mean is greater than 30
99 percent confidence interval:
31.29341 Inf
sample estimates:
mean of x
32.31
Variando il valore di \(\mu\) si vede che il risultato cambia:
t.test(Pima.tr$bmi, alternative = "greater", mu = 31.5, conf.level = .99)
One Sample t-test
data: Pima.tr$bmi
t = 1.8686, df = 199, p-value = 0.03157
alternative hypothesis: true mean is greater than 31.5
99 percent confidence interval:
31.29341 Inf
sample estimates:
mean of x
32.31
Vediamo ora se la BMI media delle donne diabetiche è statisticamente differente (\(\neq\)) da quella delle non diabetiche nel dataset.
t.test(Pima.tr$bmi[Pima.tr$type == "Yes"], Pima.tr$bmi[Pima.tr$type == "No"] )
Welch Two Sample t-test
data: Pima.tr$bmi[Pima.tr$type == "Yes"] and Pima.tr$bmi[Pima.tr$type == "No"]
t = 4.512, df = 171.46, p-value = 1.188e-05
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
2.044547 5.224615
sample estimates:
mean of x mean of y
34.70882 31.07424
Esercizio 1
Si verifichi se il consumo medio delle auto del dataset mtcars
con al più 4 cilindri differisce da quello delle auto con più di 4 cilindri. Si effettui il controllo considerando la soglia di confidenza del 95% e del 99%.
Esercizio 2
Si consideri il dataset Pima.tr
. Con che probabilità il valore medio del glucosio misurato nel sangue glu
è minore di 130, con confidenza 0.99? Con la stessa confidenza, le medie dei soggetti diabetici e non, sono statisticamente differenti?
LS0tCnRpdGxlOiAnIFRlc3QgZGkgaXBvdGVzaScKYXV0aG9yOiAiRmVkZXJpY28gUmVhbGkiCmRhdGU6ICIzMC8wNS8yMDE4IgpvdXRwdXQ6CiAgaHRtbF9ub3RlYm9vazoKICAgIGhpZ2hsaWdodDogdGFuZ28KICAgIG51bWJlcl9zZWN0aW9uczogbm8KICAgIHRoZW1lOiB5ZXRpCiAgICB0b2M6IHllcwogICAgdG9jX2RlcHRoOiAyCiAgICB0b2NfZmxvYXQ6CiAgICAgIGNvbGxhcHNlZDogbm8KICAgICAgc21vb3RoX3Njcm9sbDogeWVzCiAgaHRtbF9kb2N1bWVudDoKICAgIGRmX3ByaW50OiBwYWdlZAogICAgdG9jOiB5ZXMKICAgIHRvY19kZXB0aDogJzInCi0tLQoKIyBJcG90ZXNpIHN0YXRpc3RpY2hlCgpVbid1dGlsZSBhcHBsaWNhemlvbmUgZGVnbGkgaW50ZXJ2YWxsaSBkaSBjb25maWRlbnphIMOoIHF1ZWxsYSBkZWwgdGVzdCBkaSBpcG90ZXNpIHN0YXRpc3RpY2hlLiBEYXRlIGxlIGluZm9ybWF6aW9uaSBzdWwgbm9zdHJvIGNhbXBpb25lLCBjb21lIGFkIGVzZW1waW8gbWVkaWEsIHZhcmlhbnphIGUgZGlzdHJpYnV6aW9uZSBkZWkgZGF0aSwgcG9zc2lhbW8gcmlzcG9uZGVyZSBhIGRvbWFuZGUgY29uIHVuYSBkZXRlcm1pbmF0YSBfX2NvbmZpZGVuemEgc3RhdGlzdGljYV9fLiBBZCBlc2VtcGlvLCDDqCBmYWNpbGUgcmlzcG9uZGVyZSBhbGxhIGRvbWFuZGE6ICLDqCBsYSBtZWRpYSBkZWwgY2FtcGlvbmUgbWFnZ2lvcmUgZGkgdW4gY2VydG8gdmFsb3JlIiwgbWEgbm9uIMOoIGFsdHJldHRhbnRvIGltbWVkaWF0YSBsYSByaXNwb3N0YSBuZWwgY2FzbyBpbiBjdWkgc2kgcHJlbmRlIGluIGNvbnNpZGVyYXppb25lIGFuY2hlIGwnaW5jZXJ0ZXp6YSBjaGUgc2kgaGEgbmVpIGRhdGkuIApGb3JtYWxpenppYW1vIHF1ZXN0byBjb25jZXR0by4KCiMgVGVzdCBkaSBTdHVkZW50CgpTaWFubyAkWF8xLCAuLi4sIFhfbiQgaSBub3N0cmkgZGF0aSBlZCBhc3N1bWlhbW8gY2hlIHNlZ3Vhbm8gdW5hIGxlZ2dlIG5vcm1hbGUgKHBlciBpbCBUQ0wgYmFzdGEgY2hlICRuJCBzaWEgc3VmZmljaWVudGVtZW50ZSAgZ3JhbmRlKSwgc2lhICRcbXUkIGxhIG1lZGlhIGRlbCBjYW1waW9uZSBlIGRpY2lhbW8gY2hlIHZvZ2xpYW1vIHNhcGVyZSBzZSAkXG11JCDDqCBtYWdnaW9yZSBkaSB1biB2YWxvcmUgcHJlZmlzc2F0byAkXG11XzAkLgpDb25zaWRlcmlhbW8gbGUgaXBvdGVzaToKJCQKSF8wIFx0ZXh0eyA6IH0gXG11IFxsZXEgXG11XzAgXHRleHR7IGUgQSA6IH0gXG11ID4gXG11XzAKJCQKJEhfMCQgw6ggc3Blc3NvIGNoaWFtYXRhIF9pcG90ZXNpIG51bGxhIChudWxsIGh5cG90aGVzaXMpXy4KUGVyIGFuZGFyZSBhIHZlcmlmaWNhcmUgcXVhbGUgZGVsbGUgcHJlY2VkZW50aSBpcG90ZXNpIMOoIHZlcmEgc2kgcHJvY2VkZSBjb21lIHNlZ3VlLiBTaSBwb25lICRUPSBcc3FydHtufSBcZnJhY3tcYmFye1h9IC0gXG11IH17U30kIGNoZSBjb21lIHZpc3RvIGluIGNsYXNzZSBzZWd1ZSB1bmEgbGVnZ2UgJHQobi0xKSQuCgpTZSB2YWxlIGwnaXBvdGVzaSBudWxsYSwgc2kgaGEgY2hlOgoKJCQKUFx7VCA+IHRfezEtXGFscGhhfSAobi0xKVx9ID0gUFx7IFxzcXJ0e259XGZyYWN7XGJhcntYfSAtIFxtdSB9e1N9ICsgXHNxcnR7bn0gXGZyYWN7XG11IC0gXG11IH17U30gPiB0X3sxLVxhbHBoYX0gKG4tMSkgXH0gXGxlcQokJAokJApQXHsgXHNxcnR7bn1cZnJhY3tcYmFye1h9IC0gXG11IH17U30gPiB0X3sxLVxhbHBoYX0gKG4tMSkgXH0gPSBcYWxwaGEKJCQKQ2lvw6ggc290dG8gbCdpcG90ZXNpIG51bGxhLCBsJ2V2ZW50byAkVCA+IHRfezEtXGFscGhhfSAobi0xKSQgaGEgcHJvYmFiaWxpdMOgIG1pbm9yZSBkaSAkXGFscGhhJCBkaSB2ZXJpZmljYXJzaS4gUXVlc3RhIHByb2JhYmlsaXTDoCDDqCBhbmNoZSBkZXR0YSBfcC12YWxvcmVfLiBJIHZhbG9yaSBjYW5vbmljaSBkaSAkXGFscGhhJCBzb25vIDAuOTUgbyAgMC45OSwgZWQgaWwgcHJpbW8gw6ggcXVlbGxvIGRpIGRlZmF1bHQgaW4gbW9sdGkgY2FzaS4KClF1ZXN0bywgaW5zaWVtZSBhZCBhbHRyZSB2YXJpYW50aSwgdmllbmUgY2hpYW1hdG8gdGVzdCBkaSBTdHVkZW50LgoKPklsIHRlc3QgY29uc2lzdGUgbmVsIGNhbGNvbGFyZSBUIGEgcGFydGlyZSBkYWxsJ29zc2VydmF6aW9uZSwgc2UgaWwgdmFsb3JlIG90dGVudXRvIMOoIG1hZ2dpb3JlIGRpICR0X3sxLVxhbHBoYX0gKG4tMSkkIGwnaXBvdGVzaSDDqCByZXNwaW50YSBhIGxpdmVsbG8gZGkgY29uZmlkZW56YSAkXGFscGhhJC4KCiMgVGVzdCBhIGR1ZSBjb2RlCgpMbyBzdGVzc28gdGVzdCBzaSBwdcOyIGFwcGxpY2FyZSBjb24gb3Bwb3J0dW5pIGFjY29yZ2ltZW50aSBhaSBjYXNpIGluIGN1aSAkSF8wOiBcbXUgPSBcbXVfMCQgY29udHJvICRBOiBcbXUgXG5lcSBcbXVfMCQgY29uc2lkZXJhbmRvOgoKJCQgClx7IHxUfCA+IHRfezEtXGFscGhhLzJ9IChuLTEpIFx9CiQkCk5lbCBjYXNvIGluIGN1aSB2b2dsaWFtbyB2ZXJpZmljYXJlIHNlIGxlIG1lZGllIGRpIGR1ZSBjYW1waW9uaSAkWF8xLCAuLi4sIFhfbiQgZSAkWV8xLCAuLi5ZX20kIHNvbm8gZGl2ZXJzZSwgYW5kaWFtbyBhIGNvbnNpZGVyYXJlIGwnZXZlbnRvOgokJApceyB8VHwgPiB0X3sxLVxhbHBoYS8yfSAobittLTIpIFx9LgokJAoKIyBUZXN0IGRpIFN0dWRlbnQgaW4gUgoKT3Z2aWFtZW50ZSBSIGNvbnRpZW5lIHVuIGNvbWFuZG8gY2hlIHBlcm1ldHRlIGRpIGNhbGNvbGFyZSB0dXR0aSBlIHRyZSBxdWVzdGkgY2FzaS4gVGFsZSBjb21hbmRvIMOoIGB0LnRlc3QoKWAuClZlZGlhbW8gYWxjdW5pIGVzZW1waSBjb24gaWwgZGF0YXNldCBgUGltYS50cmAgY29udGVudXRvIG5lbCBwYWNjaGV0dG8gTUFTUy4KCmBgYHtyfQpsaWJyYXJ5KE1BU1MpCmhlYWQoUGltYS50cikKYGBgCgpVbmEgcGVyc29uYSDDqCBjb25zaWRlcmF0YSBkaSBwZXNvIF9ub3JtYWxlXyBzZSBpbCBzdW8gaW5kaWNlIGRpIG1hc3NhIGNvcnBvcmVvIChCTUkpIMOoIGluZmVyaW9yZSBhIDI1IG1lbnRyZSDDqCBjb25zaWRlcmF0YSBfc292cmFwcGVzb18gc2Ugw6ggY29tcHJlc2EgdHJhIDI1IGUgMzAuIE5lbCBjYXNvIGluIGN1aSBsYSBCTUkgc2lhIG1hZ2dpb3JlLCBsYSBwZXJzb25hIMOoIGNvbnNpZGVyYXRhIF9vYmVzYS5fVmVkaWFtbyBxdWFudG8gdmFsZSBxdWVzdG8gdmFsb3JlIHBlciBsZSBkb25uZSBkZWwgZGF0YXNldC4KCmBgYHtyfQptZWFuKFBpbWEudHIkYm1pKQpgYGAKU2ljdXJhbWVudGUgbGEgbWVkaWEgY2kgc3VnZ2VyaXNjZSBsYSBwcmVzZW56YSBkaSBkb25uZSBzb3ZyYXBwZXNvIGVkIG9iZXNlLiBWZWRpYW1vIGNvbiBjaGUgcHJvYmFiaWxpdMOgIGxhIG1lZGlhIMOoIG1hZ2dpb3JlIGRlbGxlIGR1ZSBzb2dsaWUuCgpgYGB7cn0KaGVscCgidC50ZXN0IikKYGBgCgpgYGB7cn0KdC50ZXN0KFBpbWEudHIkYm1pLCBhbHRlcm5hdGl2ZSA9ICJncmVhdGVyIiwgbXUgPSAyNSkKYGBgCkwnb3V0cHV0IGRlbCBwdW50byBwcmVjZWRlbnRlLCBjaSBzdWdnZXJpc2NlIGdpw6AgcXVhbGNvc2Egc3VsIHRlc3QgcmlzcGV0dG8gYWxsYSBzb2dsaWEgZGVsIHNvdnJhcHBlc28uCgpgYGB7cn0KdC50ZXN0KFBpbWEudHIkYm1pLCBhbHRlcm5hdGl2ZSA9ICJncmVhdGVyIiwgbXUgPSAzMCkKYGBgCk1hIHNlIHZvbGVzc2ltbyB1biAkXGFscGhhJCBkaXZlcnNvOgoKYGBge3J9CnQudGVzdChQaW1hLnRyJGJtaSwgYWx0ZXJuYXRpdmUgPSAiZ3JlYXRlciIsIG11ID0gMzAsIGNvbmYubGV2ZWwgPSAuOTkpCmBgYApWYXJpYW5kbyBpbCB2YWxvcmUgZGkgJFxtdSQgc2kgdmVkZSBjaGUgaWwgcmlzdWx0YXRvIGNhbWJpYToKYGBge3J9CnQudGVzdChQaW1hLnRyJGJtaSwgYWx0ZXJuYXRpdmUgPSAiZ3JlYXRlciIsIG11ID0gMzEuNSwgY29uZi5sZXZlbCA9IC45OSkKYGBgCgpWZWRpYW1vIG9yYSBzZSBsYSBCTUkgbWVkaWEgZGVsbGUgZG9ubmUgZGlhYmV0aWNoZSDDqCBzdGF0aXN0aWNhbWVudGUgZGlmZmVyZW50ZSAoJFxuZXEkKSBkYSBxdWVsbGEgZGVsbGUgbm9uIGRpYWJldGljaGUgbmVsIGRhdGFzZXQuCgpgYGB7cn0KdC50ZXN0KFBpbWEudHIkYm1pW1BpbWEudHIkdHlwZSA9PSAiWWVzIl0sIFBpbWEudHIkYm1pW1BpbWEudHIkdHlwZSA9PSAiTm8iXSApCmBgYAoKIyMjIEVzZXJjaXppbyAxClNpIHZlcmlmaWNoaSBzZSBpbCBjb25zdW1vIG1lZGlvIGRlbGxlIGF1dG8gZGVsIGRhdGFzZXQgYG10Y2Fyc2AgY29uIGFsIHBpw7kgNCBjaWxpbmRyaSBkaWZmZXJpc2NlIGRhIHF1ZWxsbyBkZWxsZSBhdXRvIGNvbiBwacO5IGRpIDQgY2lsaW5kcmkuIFNpIGVmZmV0dHVpIGlsIGNvbnRyb2xsbyBjb25zaWRlcmFuZG8gbGEgc29nbGlhIGRpIGNvbmZpZGVuemEgZGVsIDk1JSBlIGRlbCA5OSUuCgojIyMgRXNlcmNpemlvIDIKU2kgY29uc2lkZXJpIGlsIGRhdGFzZXQgYFBpbWEudHJgLiBDb24gY2hlIHByb2JhYmlsaXTDoCBpbCB2YWxvcmUgbWVkaW8gZGVsIGdsdWNvc2lvIG1pc3VyYXRvIG5lbCBzYW5ndWUgYGdsdWAgw6ggbWlub3JlIGRpIDEzMCwgY29uIGNvbmZpZGVuemEgMC45OT8gQ29uIGxhIHN0ZXNzYSBjb25maWRlbnphLCBsZSBtZWRpZSBkZWkgc29nZ2V0dGkgZGlhYmV0aWNpIGUgbm9uLCBzb25vIHN0YXRpc3RpY2FtZW50ZSBkaWZmZXJlbnRpPwoKLS0tLS0tLS0tLS0tLS0tLS0tLQoKIyBSZWZlcmVuemUgYmlibGlvZ3JhZmljaGUKSWwgY29udGVudXRvIGRpIHF1ZXN0byBjYXBpdG9sbyBzaSBiYXNhIHN1bGwnb21vbmltbyBjYXBpdG9sbyBkZWwgbGlicm8gWyBDYWxjb2xvIGRlbGxlIHByb2JhYmlsaXTDoCBlIHN0YXRpc3RpY2FdKGh0dHA6Ly93d3cuY2F0YWxvZ28ubWNncmF3LWhpbGwuaXQvY2F0TGlicm8uYXNwP2l0ZW1faWQ9MjU1NykgZGkgUGFvbG8gQmFsZGku