맵리듀스는 데이터 처리를 위한 프로그래밍 모델

하둡의 특성상 소수의 큰 파일이 처리하기 쉽고 효율적

기상데이터셋 예제

유닉스 도구:

20세기 기상 데이터의 최고온도 소요시간 42분

처리 속도를 높이기 위해 병렬로 수행해야함.

연도별 파일을 서로 다른 프로세스에 할당하고 모든 하드웨어 프로세스를 할당하는 방식이 있지만 문제점들이 있음

• 일을 동일한 크기로 나눈다는 것이 언제나 쉽고 명확한것은 아니다
• 독립적인 프로세스의 결과를 모두 합치는데 많은 처리가 필요할 수 있다
• 단일 머신의 처리 능력은 여전히 한계가 있다
• 여러대의 머신을 사용할땐 코디네이션과 신뢰성의 범주에 속하는 요소를 추가적으로 고려해야한다

하둡으로 데이터 분석하기

맵리듀스 작업은 크게 맵 단계와 리듀스 단계로 구분

각 단계는 입력과 출력으로 키-값의 쌍을 가지며, 그 타입은 프로그래머가 선택한다.

맵 함수

• 원본데이터의 각 행은 키-값 쌍으로 변환되어 맵 함수의 입력이 됨 ( offset , value)
• 각 행에서 연도와 기온을 추출
• 맵 함수는 연도와 기온을 추출하여 출력으로 내보냄