Hadoop 데이터를 다루기 위해 사용하는 파이썬 라이브러리는 다0양한것들이 있음

hdfs, hdfs3, snakebite, pyarrow 등등...

하둡이 상용화되고 많은 파이썬 라이브러리가 있었지만

시간이 지남에 따라 snakebite ⇒ hdfs ⇒ hdfs3 ⇒ pyarrow 로 바뀌어왔다.

hdfs pypl 공식 사이트에서도

hdfs3 - hdfs3 0.3.0 documentation

pyarrow 가 안정적이고 보안이 뛰어나니 hdfs3를 사용하다 문제가 발생하면 pyarrow 를 사용하라고 리디렉팅 해주고 있다.

Pyarrow란

특징 2가지:

• 속도 : 메모리내 분석을 위한 개발 플랫폼으로서 빅데이터를 빠르게 처리하고 이동할수 있도록 일련의 기술을 제공한다. 데이터를 불러올때 메모리 사용을 최적화함으로서 700mb의 csv 파일을 pandas 를 통해 읽어오면 7초 정도 걸리는데 반해 pyarrrow를 통해서는 1.5초 정도밖에 소요되지않음
• 호환성: Pyarrow 를 통해 Spark Dataframe, Pandas Dataframe, Falcon Data Visualization, Cassandra 로의 변환등 여러 구성요소들의 통신을 용이하게 한다.

근데 오류 발생이 계속되어

pyarrow.fs.HadoopFileSystem 객체 설정이 안된다.... (추후 다시 사용할때 확인해보겠음)

그래서 hdfs library를 사용

API reference - HdfsCLI 2.5.8 documentation

여기서 관련 api method 사용가능

hdfs.client.Client 객체를 상속하는 두 Client 객체가 있음: