Cili është problemi me skedarët e vegjël në Hadoop?

2024 Autor: Lynn Donovan | [email protected]. E modifikuara e fundit: 2023-12-15 23:53

1) Problem me skedarin e vogël në HDFS : Ruajtja e shumë skedarë të vegjël të cilat janë jashtëzakonisht më të vogla se madhësia e bllokut nuk mund të trajtohet në mënyrë efikase HDFS . Duke lexuar skedarë të vegjël përfshin shumë kërkime dhe shumë kërcime midis nyjes së të dhënave në nyje të të dhënave, gjë që rezulton në përpunim joefikas të të dhënave.

Përveç kësaj, cilët skedarë merren me probleme të vogla të skedarëve në Hadoop?

1) HAR ( Hadoop Arkivi) Skedarët është prezantuar me merret me çështje të skedarëve të vegjël . HAR ka prezantuar një shtresë në krye të HDFS , të cilat ofrojnë ndërfaqe për dosje duke hyrë. Duke përdorur Hadoop komanda e arkivit, HAR dosjet krijohen, i cili drejton a MapReduce punë për të paketuar dosjet duke u arkivuar në më të vogla Numri i Skedarët HDFS.

Për më tepër, a mund të kem skedarë të shumtë në HDFS që përdorin madhësi të ndryshme blloku? E paracaktuar madhësia e bllokoj është 64 MB. ju mund ndryshoni atë në varësi të kërkesës tuaj. Duke ardhur tek pyetja juaj po ju mund të krijojë skedarë të shumtë duke ndryshuar madhësive të bllokut por në kohë reale kjo do nuk favorizojnë prodhimin.

Për më tepër, pse HDFS nuk trajton skedarët e vegjël në mënyrë optimale?

Probleme me skedarë të vegjël dhe HDFS Çdo dosje , direktori dhe bllokohu HDFS është përfaqësohet si një objekt në memorien e nyjës së emrit, secila prej të cilave zë 150 bajt, si rregull i madh. Për më tepër, HDFS nuk është të përshtatura për qasje efikase skedarë të vegjël : ajo është projektuar kryesisht për qasje në transmetim të madh dosjet.

Pse Hadoop është i ngadalshëm?

I ngadalshëm Shpejtësia e përpunimit Ky disk kërkon kohë duke e bërë të gjithë procesin shumë i ngadalshëm . Nëse Hadoop përpunon të dhënat në vëllim të vogël, është shumë i ngadalshëm në mënyrë krahasuese. Është ideal për grupe të mëdha të dhënash. Si Hadoop ka motorin e përpunimit të grupeve në thelb, shpejtësia e tij për përpunim në kohë reale është më e vogël.