Python Numpy 강좌 : 제 21강 - 통계
중앙값과 백분위수(Median & Percentile)
import numpy as np
score = np.array([55, 70, 65, 90, 80, 75, 60, 85])
print(np.median(score))
print(np.percentile(score, 25))
print(np.percentile(score, [25, 50, 75]))
print(np.quantile(score, 0.9))- 결과
- 72.5
63.75
[63.75 72.5 81.25]
86.5
중앙값 함수(np.median)는 배열을 크기순으로 정렬했을 때 가운데에 위치한 값을 반환합니다.
원소의 개수가 짝수라면 가운데에 있는 두 값의 평균을 반환합니다. 예제는 정렬하면 55, 60, 65, 70, 75, 80, 85, 90이므로 70과 75의 평균인 72.5가 됩니다.
백분위수 함수(np.percentile)는 정렬된 배열에서 지정한 백분율 위치의 값을 반환합니다. np.percentile(배열, 백분율)로 계산하며, 백분율은 0부터 100 사이의 값입니다.
백분율을 리스트로 입력하면 여러 위치의 값을 한 번에 계산합니다. 25, 50, 75 백분위수를 각각 제1사분위수, 중앙값, 제3사분위수라 합니다.
분위수 함수(np.quantile)는 np.percentile과 같은 계산을 하지만, 위치를 0부터 1 사이의 비율로 입력합니다. np.quantile(배열, 0.9)는 np.percentile(배열, 90)과 같습니다.
- Tip : 평균은 극단적인 값 하나에도 크게 움직이지만, 중앙값과 백분위수는 이상치(Outlier)의 영향을 적게 받습니다. 소득이나 응답 시간처럼 한쪽으로 치우친 데이터는 평균보다 중앙값이 대푯값으로 적절합니다.
백분위수 계산 방식(Method)
import numpy as np
array = np.array([1, 2, 3, 4])
print(np.percentile(array, 40))
print(np.percentile(array, 40, method="lower"))
print(np.percentile(array, 40, method="higher"))
print(np.percentile(array, 40, method="midpoint"))
print(np.percentile(array, 40, method="nearest"))- 결과
- 2.2
2
3
2.5
2
지정한 백분율의 위치가 원소와 원소 사이에 놓이는 경우가 많으므로, 그 사이의 값을 어떻게 정할지에 따라 결과가 달라집니다.
numpy는 원소가 n개일 때 p 백분위수의 위치를 (n - 1) × p / 100으로 계산합니다. 예제는 (4 - 1) × 0.4 = 1.2이므로, 1번 색인의 값 2와 2번 색인의 값 3 사이에 위치합니다.
method 매개변수로 이 사이의 값을 정하는 방식을 지정합니다.
| method | 계산 방식 | 예제 결과 |
|---|---|---|
| linear (기본값) | 두 값을 위치 비율로 보간 | 2 + 0.2 × (3 - 2) = 2.2 |
| lower | 작은 쪽 값 | 2 |
| higher | 큰 쪽 값 | 3 |
| midpoint | 두 값의 평균 | 2.5 |
| nearest | 가까운 쪽 값 | 2 |
linear 외의 방식은 배열에 실제로 존재하는 값이나 그 평균을 반환하므로, 정수 데이터에서 보간된 실수가 나오지 않기를 원할 때 사용합니다.
- Tip : 데이터가 많다면 방식에 따른 차이가 거의 없습니다. 원소의 수가 적을 때는 다른 도구(엑셀, pandas 등)와 결과가 다를 수 있으므로, 비교할 때는 계산 방식을 확인합니다.
분산과 표준편차의 자유도(Ddof)
import numpy as np
array = np.array([2, 4, 4, 4, 5, 5, 7, 9])
print(np.var(array), np.std(array))
print(np.var(array, ddof=1), np.std(array, ddof=1))
print(np.ptp(array))- 결과
- 4.0 2.0
4.571428571428571 2.138089935299395
7
7강에서 다룬 분산(np.var)과 표준편차(np.std)는 기본적으로 편차 제곱의 합을 원소의 개수 n으로 나눕니다.
예제의 평균은 5이고 편차 제곱의 합은 32이므로, 분산은 32 / 8 = 4.0, 표준편차는 2.0입니다.
ddof(Delta Degrees of Freedom) 매개변수를 지정하면 n 대신 n - ddof로 나눕니다. ddof=1이면 32 / 7로 나누어 분산은 약 4.571이 됩니다.
전체 데이터(모집단)의 분산은 ddof=0으로, 일부를 뽑은 데이터(표본)로 모집단의 분산을 추정할 때는 ddof=1로 계산합니다.
범위 함수(np.ptp)는 최댓값과 최솟값의 차이를 반환합니다. 이름은 Peak To Peak의 약자이며, 예제는 9 - 2 = 7입니다.
- Tip : pandas의
std와var는 기본값이ddof=1이고 numpy는ddof=0입니다. 같은 데이터인데 두 라이브러리의 표준편차가 다르다면ddof를 확인합니다.
가중 평균(Average)
import numpy as np
score = np.array([90, 80, 70])
credit = np.array([3, 2, 1])
print(np.mean(score))
print(np.average(score, weights=credit))
average, total = np.average(score, weights=credit, returned=True)
print(average, total)- 결과
- 80.0
83.33333333333333
83.33333333333333 6.0
가중 평균 함수(np.average)는 원소마다 가중치(weights)를 곱해 평균을 계산합니다.
예제는 과목별 점수와 학점이며, 가중 평균은 (90 × 3 + 80 × 2 + 70 × 1) / (3 + 2 + 1) = 500 / 6으로 약 83.33입니다. 학점이 높은 과목의 점수가 더 크게 반영되므로 단순 평균 80.0보다 높습니다.
가중치를 지정하지 않으면 np.mean과 같은 결과를 반환합니다.
returned=True로 지정하면 평균과 함께 가중치의 합을 튜플로 반환합니다.
히스토그램(Histogram)
import numpy as np
score = np.array([55, 70, 65, 90, 80, 75, 60, 85, 100, 45, 72, 78])
count, edges = np.histogram(score, bins=4)
print(count)
print(edges)
count, edges = np.histogram(score, bins=[0, 60, 70, 80, 90, 100])
print(count)- 결과
- [2 4 4 2]
[ 45. 58.75 72.5 86.25 100. ]
[2 2 4 2 2]
히스토그램 함수(np.histogram)는 값의 범위를 여러 구간(bin)으로 나누고, 각 구간에 속한 원소의 개수를 셉니다.
np.histogram(배열, bins=구간)은 (개수, 경계)의 튜플을 반환합니다. 구간이 k개라면 개수 배열의 길이는 k, 경계 배열의 길이는 k + 1입니다.
bins에 정수를 입력하면 최솟값 45부터 최댓값 100까지를 같은 너비로 나눕니다. 예제는 너비가 13.75인 4개의 구간이 만들어집니다.
bins에 경계를 리스트로 입력하면 원하는 구간으로 나눌 수 있습니다. 예제는 [0, 60), [60, 70), [70, 80), [80, 90), [90, 100]의 구간이 됩니다.
각 구간은 왼쪽 경계를 포함하고 오른쪽 경계를 포함하지 않지만, 마지막 구간만 오른쪽 경계를 포함합니다. 그러므로 100점은 마지막 구간에 포함됩니다.
- Tip :
np.histogram은 개수만 계산하고 그래프를 그리지 않습니다. 그래프가 필요하다면 matplotlib의plt.hist또는plt.stairs(count, edges)를 사용합니다.
구간 색인(Digitize)
import numpy as np
score = np.array([55, 70, 65, 90, 80, 75, 60, 85, 100, 45, 72, 78])
bins = np.array([60, 70, 80, 90])
grade = np.array(["F", "D", "C", "B", "A"])
index = np.digitize(score, bins)
print(index)
print(grade[index])
print(np.bincount(index, minlength=5))- 결과
- [0 2 1 4 3 2 1 3 4 0 2 2]
[‘F’ ‘C’ ‘D’ ‘A’ ‘B’ ‘C’ ‘D’ ‘B’ ‘A’ ‘F’ ‘C’ ‘C’]
[2 2 4 2 2]
구간 색인 함수(np.digitize)는 각 원소가 몇 번째 구간에 속하는지를 반환합니다.
np.digitize(배열, 경계)로 계산하며, 경계가 [60, 70, 80, 90]이라면 60 미만은 0, 60 이상 70 미만은 1, …, 90 이상은 4가 됩니다.
반환된 색인으로 5강의 정수 배열 인덱싱을 사용하면, 점수를 등급으로 바꾸는 작업을 반복문 없이 처리할 수 있습니다.
색인 배열에 np.bincount를 적용하면 등급별 인원수를 계산할 수 있으며, 앞에서 np.histogram에 같은 경계를 지정한 결과와 같습니다. minlength는 반환할 배열의 최소 길이로, 인원이 없는 등급이 있더라도 모든 등급의 개수를 반환하게 합니다.
- Tip :
right=True로 지정하면 구간이 오른쪽 경계를 포함합니다.np.digitize는 내부적으로 18강의np.searchsorted를 사용하므로, 경계는 정렬된 상태로 입력해야 합니다.
그룹별 합계(Bincount Weights)
import numpy as np
category = np.array([0, 2, 1, 0, 2, 2])
price = np.array([100, 300, 200, 150, 250, 50])
print(np.bincount(category))
print(np.bincount(category, weights=price))
print(np.bincount(category, weights=price) / np.bincount(category))- 결과
- [2 1 3]
[250. 200. 600.]
[125. 200. 200.]
19강에서 빈도를 세는 데 사용한 np.bincount는 weights 매개변수로 그룹별 합계를 계산할 수도 있습니다.
weights를 지정하면 개수 대신 같은 정수를 가진 위치의 가중치를 더한 값을 반환합니다. 예제는 상품 분류 번호별 가격의 합으로, 0번 분류는 100 + 150 = 250입니다.
합계를 개수로 나누면 그룹별 평균이 됩니다.
weights를 지정하면 결과는 항상 실수 배열로 반환됩니다.
- Tip : 분류 번호가
0부터 시작하는 정수가 아니라면, 19강의np.unique(배열, return_inverse=True)로 먼저0부터 시작하는 번호로 바꾼 다음 사용합니다.
공분산과 상관 계수(Cov & Corrcoef)
import numpy as np
height = np.array([160, 165, 170, 175, 180])
weight = np.array([52, 58, 63, 70, 74])
shoe = np.array([250, 240, 255, 245, 260])
print(np.cov(height, weight))
print(np.corrcoef(height, weight))
print(np.corrcoef([height, weight, shoe]).round(3))- 결과
- [[62.5 70. ]
[70. 78.8]]
[[1. 0.9974587]
[0.9974587 1. ]]
[[1. 0.997 0.5 ]
[0.997 1. 0.445]
[0.5 0.445 1. ]]
공분산 함수(np.cov)는 두 변수가 함께 변하는 정도를 계산해 공분산 행렬(Covariance Matrix)로 반환합니다.
행렬의 대각 성분은 각 변수의 분산이고, 대각이 아닌 성분은 두 변수의 공분산입니다. 공분산이 양수이면 한 변수가 클 때 다른 변수도 크고, 음수이면 반대로 작습니다.
np.cov는 표본 공분산을 계산하므로 기본적으로 n - 1로 나눕니다. 그러므로 대각 성분의 62.5는 np.var(height, ddof=1)과 같습니다.
공분산은 변수의 단위에 따라 크기가 달라지므로, 관계의 강도를 비교하기 어렵습니다. 상관 계수 함수(np.corrcoef)는 공분산을 두 표준편차의 곱으로 나누어 -1부터 1 사이의 값으로 반환합니다.
1에 가까울수록 강한 양의 상관, -1에 가까울수록 강한 음의 상관, 0에 가까울수록 선형 관계가 없음을 뜻합니다. 예제의 키와 몸무게는 약 0.997로 매우 강한 양의 상관을 보입니다.
여러 변수를 리스트로 묶어 입력하면 모든 변수 쌍의 상관 계수를 행렬로 반환합니다. 각 변수가 하나의 행으로 취급되며, 열 단위로 변수가 저장된 2차원 배열이라면 rowvar=False를 지정합니다.
결측값을 제외한 통계(Nan Functions)
import numpy as np
data = np.array([
[1.0, np.nan, 3.0],
[4.0, 5.0, np.nan]
])
print(np.mean(data))
print(np.nanmean(data))
print(np.nanmean(data, axis=0))
print(np.nanmedian(data, axis=1))
print(np.nanmax(data), np.nanargmax(data))- 결과
- nan
3.25
[2.5 5. 3. ]
[2. 4.5]
5.0 4
NaN이 하나라도 포함된 배열에 일반 통계 함수를 사용하면 결과가 NaN이 됩니다.
20강에서 간단히 소개한 nan 함수는 NaN을 제외하고 통계를 계산합니다. 예제의 np.nanmean(data)는 NaN을 뺀 1, 3, 4, 5의 평균인 3.25를 반환합니다.
axis를 지정하면 축마다 NaN을 제외하고 계산합니다. 첫 번째 열은 (1 + 4) / 2 = 2.5이고, 두 번째 열은 5만 남으므로 5.0입니다.
np.nanargmax는 NaN을 제외한 최댓값의 색인을 반환하며, 축을 지정하지 않으면 배열을 평탄화한 색인을 반환합니다.
이 외에도 np.nansum, np.nanmin, np.nanstd, np.nanvar, np.nanpercentile, np.nanquantile 등이 있습니다.
- Tip : 특정 축의 값이 모두
NaN이라면 계산할 값이 없으므로 결과가NaN이 되며,RuntimeWarning경고가 발생합니다.
통계 함수 정리
| 함수 | 설명 |
|---|---|
| np.median | 중앙값 |
| np.percentile | 백분위수 (0 ~ 100) |
| np.quantile | 분위수 (0 ~ 1) |
| np.var, np.std | 분산, 표준편차 (ddof로 자유도 지정) |
| np.ptp | 최댓값과 최솟값의 차이 |
| np.average | 가중 평균 |
| np.histogram | 구간별 개수와 경계 |
| np.digitize | 각 원소가 속한 구간의 색인 |
| np.bincount | 정수별 개수 또는 가중치 합계 |
| np.cov | 공분산 행렬 |
| np.corrcoef | 상관 계수 행렬 |
| np.nanmean 등 | NaN을 제외한 통계 |
- Tip : 모든 통계 함수는
axis를 지정해 축 기준으로 계산할 수 있으며,keepdims=True로 결과의 차원을 유지할 수 있습니다.
댓글 남기기