[Firebase] 데이터베이스에 CSV 파일 Import하기

Firebase란

Firebase는 웹 어플리케이션 개발 플랫폼이다. 개발자가 직접 서버를 구축할 필요 없이 즉, 서버리스로 빠르게 웹앱을 개발할 수 있도록 다양한 기능을 지원한다. 대표적으로는 클라우드 기반의 NoSQL 데이터베이스를 제공하는데, 이를 사용해 개인 프로젝트를 실시간 서비스로 구축할 수 있다.

이번 포스팅은 그 사전 작업으로 가지고 있던 Mock 데이터를 Firebase에 import하기 위한 방법에 관한 것이다.

🛑 이렇게 import하게 되면 기존 데이터는 덮어씌워져 사라지기 때문에, 기존 데이터와 동기화가 필요한 경우에는 이 방법을 사용해선 안된다!

1. CSV → JSON 변환

Firebase 데이터베이스에 import하기 위해선 JSON 파일이 필요하다. 데이터의 수가 많을 경우 일일이 JSON 형식으로 변환하는 것은 미친 짓에 가깝다. 다행히 우리에게는 CSVJSON이라는 멋진 사이트가 있다. 변환 방법도 아주 간단하다.

1. CSV 파일을 열고 전체 복사(CTRL + A)
2. CSVJSON에 붙여넣기
3. Convert
4. Download

2. Realtime Database

Realtime Database에 import하는 방법은 정말 간단하다.

1. 케밥 메뉴 - import JSON
2. Browse - JSON 파일 업로드
3. Import

3. Firestore Database

반면에 Firestore Database는 Realtime Database와 달리 페이지에 import/export하는 메뉴가 없기 때문에 node-firestore-import-export 패키지를 사용해야 한다. 때문에 기본적으로 Node.js 설치와 npm 사용에 대한 이해가 되어있어야 한다.

a) private key 생성

Firestore에 import/export를 하기 위해선 private key 값이 필요하다. 아래의 과정을 따르면 private key 값이 포함되어 있는 JSON 파일이 생성된다.

1. Project settings - Service accounts
2. Generate new private key
3. Generate key

b) JSON 데이터 구조 수정

Realtime Database는 단순 JSON 트리 형식의 구조를 따르지만, Firebase Database는 컬렉션 형식의 구조를 가진다. 따라서 앞에서 변환한 JSON 파일을 컬렉션 구조에 맞게 수정해야 한다.

Firebase의 데이터베이스는 NoSQL기반이고, NoSQL은 Document 기반의 데이터베이스이다. 이는 Database - Collection - Document - Field 계층으로 이루어져 있는데, RDBMS에 대한 이해가 있다면 아래의 사진으로 쉽게 비교, 이해할 수 있을 것이다.

출처: https://kciter.so/posts/about-mongodb

직접 Firestore에 컬렉션을 생성했다. TABLE_TEST라는 Collection(테이블)이 있고, 그 안에 하나의 Document(행)가 있으며, 그 안에는 name이라는 Field(컬럼)가 존재한다. NoSQL은 동적 스키마를 지원하기 때문에 RDBMS와 달리 Document마다 다른 Field를 가질 수 있으며(데이터를 넣기 전에 미리 모든 컬럼을 셋팅해놓을 필요가 없다), Field의 값으로 또 Collection을 가질 수 있다!

Firestore의 구조가 이렇기 때문에 앞서 만들었던 JSON파일을 그대로 사용하면 에러가 난다. 그래서 구조를 바꿔줘야 한다. 기존의 JSON 파일에는 아래처럼 여러 Document(행)들이 배열 구조로 담겨있을 것이다.

[
  {
    "id": 0,
    "name": "dnb",
    "age": 10
  },
  {
    "id": 1,
    "name": "qer",
    "age": 20
  }
]

여기에 Collection(테이블)명을 추가해주자. __collections__ 객체 안에 Collection(테이블) 키를 명시하고, 그 값으로 Documents(행) 배열을 담아준다. 아래처럼 작성하면 두 개의 Documents(행)을 가진 TABLE_TEST라는 Collection(테이블)이 만들어질 것이다.

{
  "__collections__": {
    "TABLE_TEST": [
      {
        "id": 0,
        "name": "dnb",
        "age": 10
      },
      {
        "id": 1,
        "name": "qer",
        "age": 20
      }
    ]
  }
}

c) node-firestore-import-export

마지막으로 node-firestore-import-export를 사용해 import하는 작업이다. 먼저 패키지를 전역에 설치한다.

# npm
npm install -g node-firestore-import-export

# yarn
yarn global add node-firestore-import-export

그리고 cmd창에서 JSON파일들이 위치하고 있는 폴더로 이동한 후, 아래와 같이 입력한다. 중간에 데이터가 덮어씌워진다는 경고와 함께 진행하겠냐는 질문이 나오는데 y를 입력하고 계속한다.

firestore-import --accountCredentials <private_key파일명>.json --backupFile <data파일명>.json

cmd창에 초록색 All done 문구를 확인하면 import 완료!