[python] 파이썬 pickle 파일로 저장 및 불러오기 / dump, load

개요

1. pickle 이란 무엇인가
2. pickle의 장점
3. import pickle 사용법
4.  

---

 

머신러닝, 딥러닝 공부를 하면서 사용한 데이터를 저장하는 방법 중 하나인 pickle 정리해보고자 합니다.

 

(1) pickle 이란

사용하는 데이터를 텍스트 상태의 데이터가 아닌 파이썬 객체 형태 자체로 파일로 저장하는 것을 의미합니다.

( dictionary, list, tuple, set과 같은 형태로 필요한 데이터를 저장이 가능합니다. 

이때, pickle 모듈을 활용해 저장하는 객체 자체를 바이너리 파일로 저장합니다.)

파이썬 객체를 파일에 저장하는 과정을 피클링 / 파일에서 객체를 읽어오는 과정을 언피클링이라고 합니다.

 

(2) pickle의 장점

원하는 객체 자체를 바이너리로 저장하기에, 필요할 때 불러오기만 하면 되므로 속도가 빠른 장점이 있습니다.

 

(3) pickle 사용법 ( dump / load )

(3-1) pickle 모듈 활용하여 파이썬 객체를 파일에 저장하기 / ( dump )

import pickle

my_list = ['a','b','c']
 
# pickle 파일로 저장 (1)
with open("data.pickle","wb") as fw:
    pickle.dump(my_list, fw)

# pickle 파일로 저장 (2)
pickle.dump(my_list, open('data2.pickle', 'wb'))

pickle.dump('저장할 데이터', open('생성할 파일명', 'wb')) 

-> wb 는 저장할 데이터를 생성할 파일에 적는 것(저장) 을 의미합니다.

 

 

(3-2) pickle 모듈 활용하여 파이썬 객체 파일 불러오기 / ( load )

# pickle 파일 불러오기 (1)
with open("data2.pickle","rb") as fr:
    data = pickle.load(fr)
print(data)
    
# pickle 파일 불러오기 (2)    
data = pickle.load(open('data2.pickle', 'rb'))
    
print(data)

pickle.load(open('생성된 파일명', 'rb')) 

-> rb 는 데이터가 저장된 파일에서 데이터 값을 불러오는 것을 의미합니다.

 

---

ex) 추가로 '나도 코딩' - 머신러닝' 강의에서 공부한 내용 중 데이터 프레임 데이터 pickle로 저장하기

두 개의 열을 가진 데이터프레임의 데이터형태

import pickle

pickle.dump(movies, open('movies.pickle', 'wb'))

pickle.dump('저장할 데이터', open('생성할 파일명', 'wb')) 

-> wb 는 저장할 데이터를 생성할 파일에 적는 것(저장) 을 의미합니다. 

movies_data = pickle.load(open('movies.pickle', 'rb'))
movies_data.head()

 

 

[딥러닝] 학습 모델 저장하기 / 불러오기 / 보기

[딥러닝] 학습 모델 저장하기 / 불러오기 / 보기