하둡 프로그래밍 예제

지도 단계 – 지도 또는 매퍼의 작업은 입력 데이터를 처리하는 것입니다. 일반적으로 입력 데이터는 파일 또는 디렉토리의 형태로 되어 있으며 Hadoop 파일 시스템(HDFS)에 저장됩니다. 입력 파일은 매퍼 함수 라인별로 전달됩니다. 매퍼는 데이터를 처리하고 몇 개의 작은 데이터 청크를 만듭니다. 이 문서에서는 Hadoop MapReduce 프레임워크의 모든 사용자 대면을 포괄적으로 설명하고 자습서 역할을 합니다. 단어 수 예는 하눕과 MapReduce의 “Hello World” 프로그램입니다. 이 예제에서 프로그램은 파일의 각 단어의 발생 수를 계산하는 MapReduce 작업으로 구성됩니다. 이 작업은 맵과 축소 두 부분으로 구성됩니다. 맵 작업은 파일의 데이터를 매핑하고 맵 함수에 제공된 데이터 청크의 각 단어를 계산합니다. 이 작업의 결과는 데이터를 결합하고 디스크에 최종 결과를 출력하는 것을 줄이기 위해 전달됩니다. Hadoop은 `기본값`이라고 하는 단일 필수 큐로 구성됩니다. 큐 이름은 Hadoop 사이트 구성의 mapreduce.job.queuename 속성에 정의되어 있습니다. 용량 스케줄러와 같은 일부 작업 스케줄러는 여러 큐를 지원합니다.

명명노드 – 하눕 분산 파일 시스템 (HDFS)을 관리하는 노드. Hadoop이 설치, 구성 및 실행 중인지 확인합니다. 자세한 내용: Hadoop MapReduce는 중간 맵 출력과 작업 출력 즉 감소의 출력모두에 대한 압축을 지정하는 응용 프로그램 작성기를 위한 시설을 제공합니다. 또한 zlib 압축 알고리즘에 대한 압축 코드 구현과 함께 번들로 제공됩니다. gzip, bzip2, 스냅 및 lz4 파일 형식도 지원됩니다. 드라이버 클래스는 MapReduce 작업을 Hadoop에서 실행하도록 설정하는 일을 담당합니다. 이 클래스에서는 작업 이름, 입력/출력의 데이터 형식 및 매퍼 및 감속기 클래스의 이름을 지정합니다. Job은 사용자가 실행을 위해 Hadoop 프레임워크에 대한 MapReduce 작업을 설명하는 기본 인터페이스입니다. 프레임 워크는 충실하게 작업에 의해 설명 된 대로 작업을 실행하려고, 그러나: 이 hadoop 튜토리얼은 hadoop 개발자에게 hadoop 지도의 세계에서 좋은 시작을 제공하는 것을 목표로하덕 mapreduce 프로그래밍을 그들에게 자신의 첫 번째 hadoop 기반 개발에 실습 경험을 제공함으로써 워드 카운트 응용 프로그램. Hadoop MapReduce WordCount 예제는 하두프 개발자가 실습 프로그래밍을 시작하는 표준 예제입니다. 이 자습서에서는 hadoop 개발자가 MapReduce에서 WordCount 예제 코드를 구현하는 방법을 학습하여 입력 파일에서 지정된 단어의 발생 수를 계산하는 방법을 알아봅니다.

일반적인 Hadoop 명령줄 옵션은 다음과 같습니다: -conf -D -fs -jt Hadoop MapReduce는 방대한 양의 데이터를 처리하는 응용 프로그램을 쉽게 작성하기 위한 소프트웨어 프레임워크입니다. 멀티 테라바이트 데이터 세트)는 신뢰할 수 있는 내결함성 방식으로 상용 하드웨어의 대규모 클러스터(수천 개의 노드)에 병렬로 처리됩니다. 따라서 특히 분산 캐시 관련 기능에 대해 HDFS를 가동하고 실행해야 합니다. 따라서 의사 분산 또는 완전히 분산된 Hadoop 설치에서만 작동합니다. Hadoop은 맵 입력을 처리할 때 특정 잘못된 입력 레코드 집합을 건너뛸 수 있는 옵션을 제공합니다. 응용 프로그램은 SkipBadRecords 클래스를 통해 이 기능을 제어할 수 있습니다. 이 자습서에서는 예를 사용하여 Hadoop 및 MapReduce를 사용하는 방법을 배웁니다. 사용되는 입력 데이터는 SalesJan2009.csv입니다. 여기에는 제품 이름, 가격, 결제 모드, 도시, 고객 국가 등과 같은 영업 관련 정보가 포함되어 있습니다.

목표는 각 국가에서 판매되는 제품의 수를 찾는 것입니다. 두 번째 맵 은 내보냅니다 : 작별 인사, 1 > 하두롭, 1> Hadoop 작업 클라이언트는 다음 작업 (항아리 / 실행 가능 등)과 구성을 제출리소스 관리자에 제출한 다음 소프트웨어 배포의 책임을 맡습니다 / 슬레이브에 대한 구성, 작업 예약 및 모니터링, 작업 클라이언트에 상태 및 진단 정보 제공.

This entry was posted in Uncategorized. Bookmark the permalink. Both comments and trackbacks are currently closed.
  • Get a Quote
  • Request a Call Back

    Oops! We could not locate your form.

  • We deliver…

    • Fully A-Rated Inhouse
    • Special Q-Lon Sealing Gaskets
    • Heat Retaining Glass
    • Most Competitive Prices
    • 10 Day delivery
    • Expert Fitting
    • Same Day Aftercare
    • Largest Range of Colours
    • Best Technical Advice
    • No Deposit