Python Numpy 강좌 : 제 22강 - 구조화 배열
구조화 배열(Structured Array)
import numpy as np
dtype = [("name", "U10"), ("age", "i4"), ("height", "f8")]
people = np.array([
("Alice", 25, 165.5),
("Bob", 32, 178.2),
("Chris", 28, 172.0)
], dtype=dtype)
print(people)
print(people.dtype)
print(people.shape)- 결과
- [(‘Alice’, 25, 165.5) (‘Bob’, 32, 178.2) (‘Chris’, 28, 172. )]
[(‘name’, ‘<U10’), (‘age’, ‘<i4’), (‘height’, ‘<f8’)]
(3,)
1강에서 다룬 것처럼 numpy 배열은 모든 원소가 하나의 자료형을 가집니다. 그러나 이름, 나이, 키처럼 자료형이 다른 값을 하나의 묶음으로 다뤄야 하는 경우도 있습니다.
구조화 배열(Structured Array)은 원소 하나가 여러 개의 필드(Field)로 구성된 배열입니다. 원소 하나하나가 표의 한 행(Record)에 해당하며, 각 필드는 표의 열에 해당합니다.
구조화 배열의 자료형은 (필드 이름, 자료형)의 튜플을 리스트로 묶어 지정합니다. 값은 필드의 순서에 맞춰 튜플로 입력합니다.
자료형은 짧은 형식 문자열로 지정할 수 있습니다. U10은 최대 10글자의 유니코드 문자열, i4는 4바이트 정수(int32), f8은 8바이트 실수(float64)를 의미합니다. 결과의 <는 바이트 순서가 리틀 엔디언(Little Endian)임을 나타냅니다.
배열의 형태는 (3, 3)이 아니라 (3,)입니다. 구조화 배열은 필드가 여러 개여도 원소 하나를 하나의 값으로 취급하기 때문입니다.
- Tip :
U10처럼 문자열 길이를 지정하면 그보다 긴 문자열은 잘려서 저장됩니다. 저장할 문자열의 최대 길이를 고려해 지정합니다.
필드 조회(Field Access)
import numpy as np
dtype = [("name", "U10"), ("age", "i4"), ("height", "f8")]
people = np.array([
("Alice", 25, 165.5),
("Bob", 32, 178.2),
("Chris", 28, 172.0)
], dtype=dtype)
print(people["name"])
print(people["age"].mean())
print(people[1])
print(people[1]["height"])
print(people[["name", "age"]])- 결과
- [‘Alice’ ‘Bob’ ‘Chris’]
28.333333333333332
(‘Bob’, 32, 178.2)
178.2
[(‘Alice’, 25) (‘Bob’, 32) (‘Chris’, 28)]
배열["필드 이름"]으로 조회하면 해당 필드의 값만 모은 일반 배열을 반환합니다. 반환된 배열은 하나의 자료형을 가지므로, mean 같은 수치 연산을 그대로 사용할 수 있습니다.
배열[색인]으로 조회하면 원소 하나(한 행)를 반환하며, 여기에 다시 필드 이름을 지정해 특정 값을 조회할 수 있습니다.
필드 이름을 리스트로 입력하면 여러 필드만 골라낸 구조화 배열을 반환합니다.
필드로 조회한 배열은 5강의 슬라이싱처럼 원본의 뷰(View)입니다. 그러므로 반환된 배열을 수정하면 원본 구조화 배열도 함께 수정됩니다.
값 수정과 조건 검색
import numpy as np
dtype = [("name", "U10"), ("age", "i4"), ("height", "f8")]
people = np.array([
("Alice", 25, 165.5),
("Bob", 32, 178.2),
("Chris", 28, 172.0)
], dtype=dtype)
people["age"] += 1
print(people["age"])
people[0] = ("Diana", 30, 160.0)
print(people[0])
print(people[people["height"] > 170]["name"])- 결과
- [26 33 29]
(‘Diana’, 30, 160.0)
[‘Bob’ ‘Chris’]
필드에 연산을 적용하면 해당 열 전체가 한 번에 수정됩니다. 예제는 모든 사람의 나이를 1씩 증가시킵니다.
원소에 튜플을 할당하면 한 행 전체를 수정할 수 있습니다.
필드에 비교 연산을 적용하면 불리언 배열이 반환되므로, 5강의 불리언 인덱싱으로 조건에 맞는 행만 골라낼 수 있습니다. 예제는 키가 170보다 큰 사람의 이름을 반환합니다.
필드 기준 정렬(Sort Order)
import numpy as np
dtype = [("name", "U10"), ("age", "i4"), ("height", "f8")]
people = np.array([
("Alice", 25, 165.5),
("Bob", 32, 178.2),
("Chris", 28, 172.0),
("Dave", 25, 180.1)
], dtype=dtype)
print(np.sort(people, order="height")["name"])
print(np.sort(people, order=["age", "height"])["name"])
print(people[np.argsort(people["height"])[::-1]]["name"])- 결과
- [‘Alice’ ‘Chris’ ‘Bob’ ‘Dave’]
[‘Alice’ ‘Dave’ ‘Chris’ ‘Bob’]
[‘Dave’ ‘Bob’ ‘Chris’ ‘Alice’]
구조화 배열은 18강에서 다룬 np.sort의 order 매개변수로 정렬 기준 필드를 지정할 수 있습니다.
order에 필드 이름을 리스트로 입력하면 앞의 필드부터 차례로 비교합니다. 예제는 나이로 먼저 정렬하고, 나이가 25로 같은 Alice와 Dave는 키로 정렬합니다.
np.sort는 오름차순만 지원하므로, 내림차순이 필요하다면 필드에 np.argsort를 적용한 색인을 뒤집어서 사용합니다.
- Tip :
order로 지정하지 않은 필드도 정렬 기준으로 사용됩니다. 지정한 필드의 값이 모두 같다면 나머지 필드를 정의된 순서대로 비교합니다.
자료형 정의 방법
import numpy as np
dt1 = np.dtype([("x", "f4"), ("y", "f4")])
dt2 = np.dtype({"names": ["x", "y"], "formats": ["f4", "f4"]})
dt3 = np.dtype("f4, f4")
print(dt1 == dt2)
print(dt3.names)
print(dt1.itemsize)
print(dt1.fields)- 결과
- True
(‘f0’, ‘f1’)
8
{‘x’: (dtype(‘float32’), 0), ‘y’: (dtype(‘float32’), 4)}
구조화 배열의 자료형은 여러 가지 방법으로 정의할 수 있습니다.
튜플 리스트 방식은 (이름, 형식)을 나열하며, 가장 많이 사용됩니다. 사전(dict) 방식은 names와 formats 키에 이름과 형식을 각각 리스트로 입력합니다. 두 방식으로 정의한 자료형은 같은 자료형입니다.
쉼표로 구분한 문자열 방식은 형식만 나열하며, 필드 이름이 f0, f1, …으로 자동 부여됩니다.
itemsize는 2강에서 다룬 것처럼 원소 하나의 바이트 수이며, 구조화 배열에서는 모든 필드의 크기를 더한 값입니다. f4 두 개이므로 8바이트가 됩니다.
fields 속성은 필드마다 (자료형, 오프셋)을 반환합니다. 오프셋(Offset)은 원소의 시작 위치로부터 해당 필드가 저장된 바이트 위치로, 필드들이 메모리에 차례대로 붙어서 저장된다는 것을 보여 줍니다.
다차원 필드(Subarray Field)
import numpy as np
dtype = [("name", "U10"), ("pos", "f8", (2,))]
points = np.zeros(3, dtype=dtype)
points["name"] = ["A", "B", "C"]
points["pos"] = [[0, 0], [3, 4], [6, 8]]
print(points)
print(points["pos"].shape)
print(np.linalg.norm(points["pos"], axis=1))- 결과
- [(‘A’, [0., 0.]) (‘B’, [3., 4.]) (‘C’, [6., 8.])]
(3, 2)
[ 0. 5. 10.]
필드를 (이름, 형식, 형태)로 정의하면 하나의 필드에 배열을 저장할 수 있습니다. 예제의 pos 필드는 원소마다 크기가 2인 좌표를 가집니다.
np.zeros(개수, dtype=자료형)처럼 3강의 배열 생성 함수에 구조화 자료형을 지정하면, 모든 필드가 0 또는 빈 문자열로 채워진 배열이 생성됩니다. 이후 필드 단위로 값을 할당합니다.
다차원 필드를 조회하면 원소 수 × 필드 형태의 배열이 반환됩니다. 예제는 (3, 2) 형태가 되므로, 일반 2차원 배열처럼 축을 지정해 계산할 수 있습니다. 예제는 8강의 np.linalg.norm으로 원점으로부터의 거리를 계산합니다.
일반 배열로 변환(Recfunctions)
import numpy as np
from numpy.lib import recfunctions as rfn
dtype = [("x", "f8"), ("y", "f8"), ("z", "f8")]
data = np.array([(1.0, 2.0, 3.0), (4.0, 5.0, 6.0)], dtype=dtype)
plain = rfn.structured_to_unstructured(data)
print(plain)
print(plain.dtype, plain.shape)
back = rfn.unstructured_to_structured(plain * 10, dtype=np.dtype(dtype))
print(back)- 결과
- [[1. 2. 3.]
[4. 5. 6.]]
float64 (2, 3)
[(10., 20., 30.) (40., 50., 60.)]
필드의 자료형이 모두 같다면 구조화 배열을 일반 2차원 배열로 바꾸어 행렬 연산을 적용하는 것이 편리합니다.
numpy.lib.recfunctions 모듈의 structured_to_unstructured 함수는 각 필드를 열로 하는 일반 배열을 반환합니다. 예제는 원소 2개, 필드 3개이므로 (2, 3) 형태가 됩니다.
반대로 unstructured_to_structured 함수는 일반 배열의 마지막 축을 필드로 나누어 구조화 배열로 변환합니다.
필드의 자료형이 서로 다르다면 모든 필드를 표현할 수 있는 자료형으로 변환되며, dtype 매개변수로 변환할 자료형을 직접 지정할 수도 있습니다.
- Tip :
recfunctions모듈에는 필드를 추가하는append_fields, 필드를 제거하는drop_fields, 필드 이름을 바꾸는rename_fields등의 함수도 있습니다.
레코드 배열(Record Array)
import numpy as np
dtype = [("name", "U10"), ("age", "i4")]
people = np.array([("Alice", 25), ("Bob", 32)], dtype=dtype)
record = people.view(np.recarray)
print(record.name)
print(record.age.max())
print(type(record[0]))- 결과
- [‘Alice’ ‘Bob’]
32
<class ‘numpy.record’>
레코드 배열(np.recarray)은 필드를 배열["필드 이름"] 대신 배열.필드 이름처럼 속성으로 조회할 수 있는 구조화 배열입니다.
view(np.recarray)로 기존 구조화 배열을 레코드 배열로 볼 수 있으며, 데이터를 복사하지 않는 뷰이므로 원본과 메모리를 공유합니다.
레코드 배열의 원소는 numpy.record 객체이며, 원소에서도 record[0].name처럼 속성으로 필드를 조회할 수 있습니다.
- Tip : 필드 이름이
size,shape처럼 배열의 속성 이름과 같다면 속성으로 조회할 때 배열의 속성이 우선됩니다. 속성 방식은 편리하지만 이런 충돌이 생길 수 있으므로, 일반적으로는배열["필드 이름"]방식을 권장합니다.
구조화 배열 정리
| 기능 | 방법 | 설명 |
|---|---|---|
| 자료형 정의 | [(“이름”, “형식”), …] | 필드 이름과 형식을 나열 |
| 다차원 필드 | (“이름”, “형식”, 형태) | 필드 하나에 배열 저장 |
| 필드 조회 | 배열[“이름”] | 해당 열을 일반 배열(뷰)로 반환 |
| 여러 필드 조회 | 배열[[“이름1”, “이름2”]] | 일부 필드만 남긴 구조화 배열 반환 |
| 행 조회 | 배열[색인] | 원소 하나(한 행)를 반환 |
| 정렬 | np.sort(배열, order=필드) | 필드 기준 정렬 |
| 일반 배열 변환 | rfn.structured_to_unstructured | 필드를 열로 하는 배열로 변환 |
| 속성 조회 | 배열.view(np.recarray) | 배열.이름으로 필드 조회 |
- Tip : 구조화 배열은 20강의
np.genfromtxt(names=True)처럼 열 이름이 있는 데이터를 불러오거나, 바이너리 파일의 고정된 레코드 형식을 읽을 때 유용합니다. 열마다 다양한 연산이 필요한 표 형태의 데이터 분석에는 pandas가 더 적합합니다.
댓글 남기기