Statistica e distribuzioni di probabilità

Approfondimento

La media aritmetica ha una proprietà di ottimalità che la lega al metodo dei minimi quadrati della regressione: è il valore «c» che rende minima la somma dei quadrati degli scarti «Σ(xᵢ − c)²». Per dimostrarlo si sviluppa «g(c) = Σ(xᵢ − c)² = Σxᵢ² − 2c Σxᵢ + n c²», un trinomio di secondo grado in «c» con coefficiente direttore «n > 0», la cui parabola ha minimo nel vertice «c = (Σxᵢ)/n = x̄», la media. In quel punto la somma dei quadrati degli scarti vale «n» volte la varianza. La stessa scomposizione fornisce la formula operativa della varianza: «σ² = (1/n)Σ(xᵢ − x̄)² = (1/n)Σxᵢ² − x̄²», cioè media dei quadrati meno quadrato della media, più comoda del calcolo diretto degli scarti. Queste proprietà spiegano il ruolo centrale della media negli indici di sintesi, ma anche la sua debolezza: poiché minimizza scarti al quadrato, essa è fortemente influenzata dai valori anomali, che pesano con il quadrato della loro distanza. La mediana, che minimizza invece la somma dei valori assoluti degli scarti «Σ|xᵢ − c|», è per questo più robusta rispetto agli estremi, ed è l'indice da preferire quando la distribuzione è asimmetrica o contiene osservazioni anomale.

Approfondimento

La formula della distribuzione binomiale si costruisce combinando il calcolo combinatorio con l'indipendenza delle prove. In «n» prove di Bernoulli, ciascuna con probabilità di successo «p» e di insuccesso «q = 1 − p», una specifica sequenza con «k» successi e «n − k» insuccessi ha, per l'indipendenza, probabilità «pᵏ q^(n−k)», qualunque sia l'ordine. Ma le sequenze con esattamente «k» successi sono tante quanti i modi di scegliere le «k» posizioni dei successi tra le «n» prove, cioè «C(n, k)». Sommando le probabilità, uguali, di queste sequenze incompatibili si ottiene «P(X = k) = C(n, k) pᵏ q^(n−k)». Da qui il valore atteso «E(X) = np» si ricava elegantemente scrivendo «X = X₁ + … + Xₙ», somma degli indicatori di successo delle singole prove, ciascuno «Xᵢ» pari a 1 con probabilità «p» e 0 altrimenti, con «E(Xᵢ) = p»: per la linearità del valore atteso «E(X) = Σ E(Xᵢ) = np», senza calcoli laboriosi, e analogamente «Var(X) = np(1 − p)». La distribuzione di Poisson emerge poi come limite della binomiale quando «n → ∞» e «p → 0» con «np → λ» costante, e ha la peculiarità che valore atteso e varianza coincidono, entrambi uguali a «λ»: è il modello degli eventi rari in un continuo.

Approfondimento

La standardizzazione «Z = (X − μ)/σ» si giustifica con le proprietà di valore atteso e varianza, e riconduce ogni normale a un'unica curva tabulata. Applicando la linearità, «E(Z) = (E(X) − μ)/σ = 0», e la regola «Var(aX + b) = a²Var(X)» dà «Var(Z) = Var(X)/σ² = 1»: la variabile standardizzata ha sempre media «0» e deviazione standard «1», indipendentemente da «μ» e «σ». Ciò permette di leggere qualunque probabilità da un'unica tavola, quella della normale standard, misurando quanti «σ» un valore dista dalla media. Due caratteristiche della curva di densità «φ(z) = (1/√(2π)) e^(−z²/2)» meritano una lettura analitica: essendo una densità continua, la probabilità di un singolo valore è nulla — «P(X = a) = 0» — e ha senso solo la probabilità di un intervallo, uguale all'area sottesa; inoltre i punti di flesso della campana cadono esattamente a distanza «σ» dalla media, come si verifica annullando la derivata seconda della densità, il che dà a «σ» il significato geometrico di semilarghezza della curva. La regola empirica 68-95-99.7 quantifica infine, in modo memorizzabile, le aree entro uno, due e tre «σ» dalla media, e discende dall'integrazione numerica della densità gaussiana.

Approfondimento

La retta di regressione «y = a + bx» si determina rigorosamente con il metodo dei minimi quadrati, cioè minimizzando la somma dei quadrati degli scarti verticali «S(a, b) = Σ(yᵢ − a − b xᵢ)²». Trattando «S» come funzione dei due parametri e annullandone le derivate parziali si ottengono le equazioni normali: da «∂S/∂a = −2Σ(yᵢ − a − b xᵢ) = 0» segue «Σyᵢ = na + bΣxᵢ», che divisa per «n» dà «ȳ = a + b x̄» — la retta passa dunque necessariamente per il baricentro «(x̄, ȳ)» dei dati. Da «∂S/∂b = −2Σ xᵢ(yᵢ − a − b xᵢ) = 0», sostituendo «a = ȳ − b x̄», si ricava il coefficiente angolare «b = Σ(xᵢ − x̄)(yᵢ − ȳ) / Σ(xᵢ − x̄)² = cov(x, y)/var(x)», rapporto tra covarianza e varianza di «x»; l'intercetta è poi «a = ȳ − b x̄». Il coefficiente di correlazione «r» è legato a «b» dalla relazione «r = b·σₓ/σᵧ» ed è normalizzato tra «−1» e «1». Va ricordato che «r» misura solo il legame lineare: una correlazione forte non implica un nesso causale, e la retta è affidabile per previsioni solo entro l'intervallo dei dati osservati, cioè in interpolazione, non in estrapolazioni spinte al di fuori di esso.