본문 영역으로 바로가기
 

강좌 검색

C.빅데이터.8-Processing Big Data with Hadoop in Azure HDInsight(중급)

이 과정에 대해

이 과정은 빅 데이터의 Microsoft 전문 프로그램 인증서 과정의 일부입니다.

점점 더 많은 조직이 빅 데이터 분석에 도전하고 있습니다. 이 과정에서는 Microsoft Azure HDInsight에서 Hadoop 기술을 사용하여 분석을 위해 데이터를 정리하고 재구성하는 일괄 처리 솔루션을 빌드하는 방법을 설명합니다. 이 5 주 과정에서는 HDInsight에서 Hadoop과 함께 Hive, Pig, Oozie 및 Sqoop과 같은 기술을 사용하는 방법을 배웁니다. Windows, Linux 및 Mac OSX 클라이언트 컴퓨터에서 HDInsight 클러스터를 사용하는 방법에 대해 설명합니다.

참고 :이 과정의 실습 요소를 완료하려면 Azure 구독과 Windows, Linux 또는 Mac OS X 클라이언트 컴퓨터가 필요합니다. 무료 Azure 평가판 구독에 등록 할 수 있습니다 (확인에는 유효한 신용 카드가 필요하지만 Azure 서비스에 대해서는 요금이 부과되지 않습니다). 일부 지역에서는 무료 평가판을 사용할 수 없습니다. 실습을 완료하지 않고도 과정을 완료하고 인증서를받을 수 있습니다.

배울 것

  • HDInsight 클러스터를 프로 비전합니다.
  • HDInsight 클러스터에 연결하고, 데이터를 업로드하고, MapReduce 작업을 실행합니다.
  • Hive를 사용하여 데이터를 저장하고 처리합니다.
  • Pig를 사용하여 데이터를 처리합니다.
  • Hive 및 Pig의 사용자 지정 Python 사용자 정의 함수를 사용합니다.
  • Oozie를 사용하여 데이터 처리를위한 워크 플로를 정의하고 실행합니다.
  • Sqoop을 사용하여 HDInsight와 데이터베이스간에 데이터를 전송합니다.

강사를 만나보세요

Graeme Malcolm

Graeme Malcolm

Microsoft 학습 경험 선임 콘텐츠 개발자

Graeme은 SQL Server 및 Microsoft 데이터 플랫폼을 전문으로 하는 트레이너, 컨설턴트 및 작성자로 오랜 기간 활동했습니다. 그는 SQL Server 데이터 플랫폼 및 비즈니스 인텔리전스에 대한 Microsoft 인증 솔루션 전문가입니다. 여러 해 동안 Microsoft와 파트너 및 공급업체로 일한 후, 현재는 마이크로소프트 학습 경험 팀(Microsoft Learning Experience)에서 선임 콘텐츠 개발자로 일하며, Microsoft 기술을 최대한 활용하고자 하는 개발자와 데이터 전문가를 위해 콘텐츠를 기획하고 제작합니다.

About this course

This course is part of the Microsoft Professional Program Certificate in Big Data.

More and more organizations are taking on the challenge of analyzing big data. This course teaches you how to use the Hadoop technologies in Microsoft Azure HDInsight to build batch processing solutions that cleanse and reshape data for analysis. In this five-week course, you’ll learn how to use technologies like Hive, Pig, Oozie, and Sqoop with Hadoop in HDInsight; and how to work with HDInsight clusters from Windows, Linux, and Mac OSX client computers.

NOTE: To complete the hands-on elements in this course, you will require an Azure subscription and a Windows, Linux, or Mac OS X client computer. You can sign up for a free Azure trial subscription (a valid credit card is required for verification, but you will not be charged for Azure services). Note that the free trial is not available in all regions. It is possible to complete the course and earn a certificate without completing the hands-on practices.

What you'll learn

  • Provision an HDInsight cluster.
  • Connect to an HDInsight cluster, upload data, and run MapReduce jobs.
  • Use Hive to store and process data.
  • Process data using Pig.
  • Use custom Python user-defined functions from Hive and Pig.
  • Define and run workflows for data processing using Oozie.
  • Transfer data between HDInsight and databases using Sqoop.

Meet the instructors

Graeme Malcolm

Graeme Malcolm

Senior Content Developer Microsoft Learning Experiences

Graeme has been a trainer, consultant, and author for longer than he cares to remember, specializing in SQL Server and the Microsoft data platform. He is a Microsoft Certified Solutions Expert for the SQL Server Data Platform and Business Intelligence. After years of working with Microsoft as a partner and vendor, he now works in the Microsoft Learning Experiences team as a senior content developer, where he plans and creates content for developers and data professionals who want to get the best out of Microsoft technologies.

키워드: 빅데이터
수강신청