Cili është motori i përpunimit të të dhënave pas Amazon Elastic MapReduce?
Cili është motori i përpunimit të të dhënave pas Amazon Elastic MapReduce?

Video: Cili është motori i përpunimit të të dhënave pas Amazon Elastic MapReduce?

Video: Cili është motori i përpunimit të të dhënave pas Amazon Elastic MapReduce?
Video: Введение в веб-сервисы Amazon, Лев Жадановский 2024, Mund
Anonim

Amazon EMR përdor Apache Hadoop si të shpërndarë motori i përpunimit të të dhënave . Hadoop është një kornizë softuerësh me burim të hapur Java që mbështet të dhëna -aplikacione intensive të shpërndara që funksionojnë në grupime të mëdha e hardueri i mallrave.

Për më tepër, çfarë është Amazon Elastic MapReduce?

Amazon Elastic MapReduce ( EMR ) eshte nje Shërbimet në internet të Amazon ( AWS ) mjet për përpunimin dhe analizën e të dhënave të mëdha. Amazon EMR përpunon të dhëna të mëdha nëpër një grup serverësh virtualë Hadoop Amazon Elastic Llogaritja e resë kompjuterike ( EC2 ) dhe Amazon Shërbim i thjeshtë i ruajtjes ( S3 ).

Për më tepër, a menaxhohet plotësisht Amazon EMR? Është një menaxhuar plotësisht shërbimi i liqenit të të dhënave që mund të shkëputë ruajtjen e të dhënave nga burimet llogaritëse dhe në vend të kësaj i bën grupet llogaritëse të shkallëzueshme, të disponueshme për t'u përdorur sipas kërkesës dhe përfshin aftësinë për grupime të shumta për të hyrë në të njëjtat grupe të dhënash menjëherë.

Dikush mund të pyesë gjithashtu, si funksionon AWS EMR?

Në përgjithësi, kur përpunoni të dhëna në Amazon EMR , hyrja janë të dhëna të ruajtura si skedarë në sistemin e skedarëve të zgjedhur bazë, si p.sh Amazon S3 ose HDFS. Këto të dhëna kalojnë nga një hap në tjetrin në sekuencën e përpunimit. Hapi i fundit shkruan të dhënat e daljes në një vend të caktuar, si p.sh Amazon Kovë S3.

Cili është ndryshimi midis ec2 dhe EMR?

Ndryshe nga EMR , EC2 nuk i kategorizon nyjet skllave në nyje kryesore dhe detyrë. Kjo rrit rrezikun e humbjes së të dhënave HDFS në rast se një nyje hiqet/humbet. EC2 përdor bibliotekat Apache (s3a) për të hyrë në të dhënat në s3. Ne anen tjeter, EMR përdor kodin e pronarit AWS për të pasur akses më të shpejtë në s3.

Recommended: