🐱Github
📚 TIL (매일매일 공부하는것들을 기록)
https://rayjang111.notion.site/TIL-674da1710edf4cb8bfee71abd451efbf
📚tmi-bigdata-study (빅데이터 스터디)
https://rayjang111.notion.site/TMI-study-74a9d669fee041269c0a70c9c127cef5
📚Spark, Hadoop, Kafka Study
📚빅데이터 프레임워크 클러스터 구축 실습
안녕하세요. 데이터의 가치를 발굴하는 빅데이터 엔지니어 장현석입니다. 저는 스타트업에 초기엔 데이터사이언티스트로 취업하였지만 실무를 접하면서 데이터의 분석 뿐만 아니라 데이터의 수집 및 관리도 중요함을 알게되었습니다 . 그 후 회사 제품의 ETL 프로세스를 개선하는 과정에서 빅데이터 프레임워크들을 접하게 되었고 그 원리에 재미를 느껴 데이터 엔지니어링에 전념하게되었습니다.
저는 뛰어난 데이터 엔지니어가 되기 위한 역량을 세 가지 갖추고 있습니다.
첫번째로는 빅데이터 프레임워크 활용경험입니다. 전 스파크, 하둡, 엘라스틱서치 등을 꾸준히 실무에서 활용해왔습니다. 뿐만 아니라 따로 데이터 엔지니어링 스터디인 Tmi-study 도 진행하고 하둡, 스파크,카프카 등의 빅데이터 프레임워크 구축 실습과 함께 기본서들에 대한 실습 및 정리도 꾸준히 하고 있습니다.
두번째는 클라우드 활용경험입니다. 저는 데이터 엔지니어링에서 빼놓을 수 없는것 중 하나는 클라우드와 OS 에 대한 지식이라고 생각합니다. 저는 클라우드 플랫폼 기업에 다니며 클라우드 도메인 지식을 쌓을 수 있었고 정보처리기사, 리눅스마스터 등을 공부하며 컴퓨터시스템과 OS 에 대한 지식을 쌓아 왔습니다.
세번째는 데이터 분석능력입니다 . 데이터 엔지니어도 분석능력이 필요하다고 생각합니다. 그래야 수집하는 데이터에 대한 검증도 할 수 있고 데이터 사이언티스트들과의 커뮤니케이션도 원활히 할 수 있습니다. 저는 통계학을 무기로 다수의 머신러닝/딥러닝 프로젝트 경험을 갖추고 있습니다. 이를 통해 회사 ETL 프로세스에서도 개발자들과 머신러닝 엔지니어들의 중간다리 역할을 해왔습니다. 이와 같은 경험을 바탕으로 다양한 사람과 협업하며 실제 비즈니스 가치를 이끌 수 있는 데이터 엔지니어링을 해나가겠습니다.
For more stories:
2020.4 ~ 현재 (2년)
대한민국 정부 표준 클라우드 아키텍처를 선도하는 멀티 클라우드 플랫폼 기업