다양한 데이터 타입 다루기

API 검색법

• DataFrame 메서드

  DataFrame 은 Row 타입을 가진 Dataset이므로 결국 Dataset 메서드를 만나게 된다

  ex) DataFrameStatFunctions(통계적 함수), DataFrameNaFunctions(null 데이터를 다룸)

• Column 메서드

  alias 나 contains 같이 칼럼과 관련된 여러가지 메서드

스파크 데이터 타입으로 변환하기

• 스파크 데이터 타입 변환은 lit 함수를 사용한다. lit 함수는 다른 언어의 데이터 타입을 스파크 데이터 타입에 맞게 변환한다.

불리언 데이터 타입 다루기

• here 이나 filter 에 boolean type 을 넣어주면 된다
• 불리언 구문은 and, or, true, false 로 구성
• 불리언 컬럼을 사용해 데이터프레임 필터링 할 수 있음

from pyspark.sql.functions import instr
DOTCodeFilter = col("StockCode") == "DOT"
priceFilter = col("UnitPrice") > 600
descripFilter = instr(col("Description"),"POSTAGE") >=1
df.withColumn("isExpensive", DOTCodeFilter &(priceFilter | descripFilter))\\
.where("isExpensive")\\
.select("unitPrice", "isExpensive").show(5)

수치형 데이터 타입 다루기

• count: 필터링 다음으로 많이 씀 , 모든 row 개수 세어준다.
• pow(col,2) ⇒ col**2 값 return
• round 반올림
• df.stat.corr , corr 두 컬럼간 상관계수
• count, mean, stddev_pop, min, max등 계산가능
• describe 을 통해 pandas 데이터프레임의 describe 같은 값을 얻을수 있음