Database - 하둡 프로그래밍 과정에 대해 알아봅시다

 

안녕하세요~

 

오늘은 데이터베이스 관련 과정 중

하둡 프로그래밍 과정에 대해 알아보려고 합니다.

 

 

하둡 프로그래밍 과정

하둡의 동작 원리를 이해하고

대용량 데이터의 저장, 분석, 처리 기능을

학습하는 과정입니다.

 

하둡 프로그래밍 과정 소개

하둡은 여러 개의 저렴한 컴퓨터를

마치 하나인 것처럼 묶어 대용량 데이터를

처리하는 기술입니다.

 

하둡은 수천 대의 분산된 x86 장비에

대용량 파일을 저장할 수 있는 기능을 제공하는

분산파일 시스템과, 저장된 파일 데이터를

분산된 서버의 CPU와 메모리 자원을 이용해

쉽고 빠르게 분석할 수 있는 컴퓨팅 플랫폼인

맵리듀스로 구성되어 있습니다.

 

하둡의 HDFS와 맵리듀스(MAPREDUCE)의

동작 원리를 이해하고 하둡 클러스터 운영/관리,

하둡 스트리밍/스케줄러를 활용한 대용량 데이터를

저장, 분석, 처리하는 기능을 학습합니다.

 

하둡 프로그래밍 과정 학습목표

1.빅데이터 처리를 위한 프레임워크인 하둡에 대한

이해를 할 수 있고 하둡을 설치하고

예제 프로그램 실행을 통해

하둡 시스템에 적응할 수 있습니다.

 

2.하둡의 HDFS와 맵리듀스(MAPREDUCE)의

동작원리를 이해할 수 있고 하둡 특화 데이터 타입과

데이터 입출력 포맷에 대해 이해할 수 있으며

샘플 데이터를 토대로 맵리듀스 프로그램을

개발할 수 있습니다.

 

3.하둡 클러스터를 운영/관리할 수 있고

하둡 스트리밍/스케줄러를 활용해

대용량 데이터를 저장, 분석, 처리할 수 있습니다.

 

하둡 프로그래밍 과정 커리큘럼

빅데이터 하둡의 설정과 실행

 

빅데이터 처리를 위한 프레임워크인 하둡에 대한 이해

리눅스 호스트에 하둡(가분산모드) 설치 및 실행

하둡 예제 프로그램 실행하며 하둡 시스템에 적응

 

 

맵리듀스의 이해

 

하둡 작업의 근간을 이루는 키/값에 대한 이해

맵리듀스 잡의 각 단계에 대한 이해

맵리듀스 프로그램 개발을 위한 환경 설정

하둡 자바 API를 이용한 간단한 맵리듀스잡 생성

맵리듀스 동작 과정 이해

컴바이너 설정

하둡 특화 데이터 타입에 대한 이해

하둡 데이터 입출력 포맷에 대한 이해

 

 

맵리듀스 프로그램 개발

 

항공운행 데이터를 토대로 맵리듀스 프로그램 개발

체인매퍼를 이용해 필드/검사 분석

분산캐쉬 활용

카운터 활용

 

 

고급 맵리듀스 기술

 

데이터 조인

– 맵 사이드 조인과 리듀스 사이드 조인

프로그래밍 언어에 종속적이지 않은 데이터 처리

에이브로 맵리듀스 API

 

 

클러스터 구축 및 운영

 

완전 분산 모드 설정

하둡 데이터 노드와 태스크 트래커 장애 복구

하둡 네임노드와 잡트래커 장애 복구

 

 

 

하둡 프로그래밍과, R 프로그래밍은

빅데이터로 가기 위한 필수 과정입니다.

 

뿐만 아니라 빅데이터 분야로 가기 위해서는

공부해야 하는 과목들이 많이 있습니다.

 

특히나 제일 중요한 과목 중

대표로는 하둡, R, 파이썬이 있는데요

 

오늘은 위에 있는 3과목 중

하둡 프로그래밍에 대해

알아보았습니다.

 

빅데이터 전문가, 데이터 과학자 같은

빅데이터 분야로 취업을 하고 싶은데

어디서부터 어떻게 시작해야 될지

잘 모르셔서 전문교육기관이 필요하시다면

 

언제든지 문의 남겨주세요^*^

 

 

 

KG아이티뱅크학원 수강료 시간표