Intro

안녕하세요. 데이터의 가치를 발굴하는 빅데이터 엔지니어 장현석입니다. 저는 스타트업에 초기엔 데이터사이언티스트로 취업하였지만 실무를 접하면서 데이터의 분석 뿐만 아니라 데이터의 수집 및 관리도 중요함을 알게되었습니다 . 그 후 회사 제품의 ETL 프로세스를 개선하는 과정에서 빅데이터 프레임워크들을 접하게 되었고 그 원리에 재미를 느껴 데이터 엔지니어링에 전념하게되었습니다.

저는 뛰어난 데이터 엔지니어가 되기 위한 역량을 세 가지 갖추고 있습니다.

첫번째로는 빅데이터 프레임워크 활용경험입니다. 전 스파크, 하둡, 엘라스틱서치 등을 꾸준히 실무에서 활용해왔습니다. 뿐만 아니라 따로 데이터 엔지니어링 스터디인 Tmi-study 도 진행하고 하둡, 스파크,카프카 등의 빅데이터 프레임워크 구축 실습과 함께 기본서들에 대한 실습 및 정리도 꾸준히 하고 있습니다.

두번째는 클라우드 활용경험입니다. 저는 데이터 엔지니어링에서 빼놓을 수 없는것 중 하나는 클라우드와 OS 에 대한 지식이라고 생각합니다. 저는 클라우드 플랫폼 기업에 다니며 클라우드 도메인 지식을 쌓을 수 있었고 정보처리기사, 리눅스마스터 등을 공부하며 컴퓨터시스템과 OS 에 대한 지식을 쌓아 왔습니다.

세번째는 데이터 분석능력입니다 . 데이터 엔지니어도 분석능력이 필요하다고 생각합니다. 그래야 수집하는 데이터에 대한 검증도 할 수 있고 데이터 사이언티스트들과의 커뮤니케이션도 원활히 할 수 있습니다. 저는 통계학을 무기로 다수의 머신러닝/딥러닝 프로젝트 경험을 갖추고 있습니다. 이를 통해 회사 ETL 프로세스에서도 개발자들과 머신러닝 엔지니어들의 중간다리 역할을 해왔습니다. 이와 같은 경험을 바탕으로 다양한 사람과 협업하며 실제 비즈니스 가치를 이끌 수 있는 데이터 엔지니어링을 해나가겠습니다.

Brief Description

Spark, Hadoop, ElasticSearch, Kafka 등 빅데이터 프레임워크를 활용하여 인공지능 모듈들을 개발하고 ETL 작업을 수행하였습니다. 특히 Spark 성능 최적화를 위해 다양한 시도를 해왔습니다
- ex) ‣, Pandas UDF 를 활용한 분산 워크로드 예측 등
클라우드 지능형 운영 솔루션인 AIOps 제품을 개발하며 클라우드 컴퓨팅 도메인 지식을 쌓았습니다
빅데이터 엔지니어링 스터디를 꾸준히 진행하며 관련 자료를 정리하고 있습니다
통계학을 전공하고 다수의 머신러닝 및 딥러닝 프로젝트 경험을 쌓았습니다
클라우드 컴퓨팅 관련 IITP 과제들에 대한 제안과 수행을 하며 비즈니스 인사이트를 키웠습니다

For more stories:

Description 상세

Work Experience

오케스트로

2020.4 ~ 현재 (2년)

대한민국 정부 표준 클라우드 아키텍처를 선도하는 멀티 클라우드 플랫폼 기업