Përmbajtje:
Video: Ku mund të gjej shkrimet e shkëndijës?
2024 Autor: Lynn Donovan | [email protected]. E modifikuara e fundit: 2023-12-15 23:53
Regjistrohu drejtorive
Vendndodhja e parazgjedhur SPARK_WORKER_LOG_DIR është /var/ log / shkëndijë /punëtor. Parazgjedhja log drejtoria për fillimin e Shkëndija Serveri SQL Thrift është $HOME/ shkëndijë -server kursimtar. Shkëndija Predha dhe aplikimi trungje dalin në tastierë. Regjistrohu skedarët e konfigurimit ndodhen në të njëjtën direktori si shkëndijë -env.sh.
Në lidhje me këtë, si mund të marr shkrimet e shkëndijave?
Shkëndija punë ose aplikacion nga faqja Analizo, mund të hyni në trungje nëpërmjet ndërfaqes së aplikacionit dhe Shkëndija UI e aplikacionit. faqe, ju mund të hyni në trungje nëpërmjet Shkëndija UI e aplikacionit. Ju gjithashtu mund të shtesë trungje për të identifikuar gabimet dhe përjashtimet në Shkëndija dështimet e punës ose aplikimit.
Në mënyrë të ngjashme, si i kontrolloni shkrimet e fijeve? Duke parë një log skedari The trungje i një masteri aplikacioni mund të shihet gjithashtu në një shfletues në ndërfaqen e menaxherit të burimeve në fije .resourcemanager.webapp.address}/cluster (https://localhost:8088 në një "grup" të vetëm nyje).
Në mënyrë të ngjashme, dikush mund të pyesë, si mund të marr regjistrat e ekzekutuesit në Spark?
Përgjigju
- Udhëzime për marrjen e regjistrave të ekzekutuesit Spark:
- Për Amabarin -- 1) Shkoni te Shërbimi Spark dhe skeda Konfigurimet: 2) Gjeni hyrjen "Advanced spark-log4j-properties".
- Për Cloudera -- Set: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.
Si mund ta gjej URL-në e serverit tim të Historisë së Shkëndijave?
P.sh., për server historik , ato zakonisht do të ishin të aksesueshme në server - url >:18080/api/v1, dhe për një aplikacion që funksionon, në https://localhost:4040/api/v1. Në API, një aplikacion referohet me ID-në e tij të aplikacionit, [app-id].
Recommended:
Si mund ta nis serverin tim të historisë së shkëndijës?
Për të aktivizuar serverin e historisë Spark: Krijoni një direktori për regjistrat e ngjarjeve në sistemin e skedarëve DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events. Kur aktivizohet regjistrimi i ngjarjeve, sjellja e parazgjedhur është që të gjitha regjistrat të ruhen, gjë që shkakton rritjen e hapësirës ruajtëse me kalimin e kohës
Cila është pika e shkëndijës?
Spark është një motor i përpunimit të të dhënave për qëllime të përgjithshme që është i përshtatshëm për përdorim në një gamë të gjerë rrethanash. Në krye të motorit bazë të përpunimit të të dhënave Spark, ka biblioteka për SQL, mësimin e makinerive, llogaritjen e grafikëve dhe përpunimin e transmetimit, të cilat mund të përdoren së bashku në një aplikacion
Ku mund t'i gjej shkrimet Hana?
Skedarët HANA LOG dhe TRACE ndodhen nën drejtorinë /usr/sap//HDB//trace. Nëse jeni duke përdorur strukturën e shumëfishtë, atëherë kjo direktori tregon SYSTEMDB dhe ju mund të gjeni regjistrat dhe skedarët e gjurmimit të QIRARIT nën drejtorinë e vet (DB_SID)
Çfarë është transmetimi i shkëndijës?
Variablat e transmetimit në Apache Spark është një mekanizëm për ndarjen e variablave nëpër ekzekutues që janë menduar të jenë vetëm për lexim. Pa variabla të transmetimit, këto variabla do të dërgoheshin në çdo ekzekutues për çdo transformim dhe veprim, dhe kjo mund të shkaktojë shpenzime të larta të rrjetit
Ku mund të gjej shkrimet lambda?
Ju mund t'i shikoni regjistrat në tastierën Lambda, në tastierën CloudWatch Logs ose nga linja e komandës. Shikimi i regjistrave në panelin e menaxhimit AWS Hapni faqen e regjistrave të tastierës CloudWatch. Zgjidhni grupin e regjistrave për funksionin tuaj (/aws/lambda/ emri i funksionit). Zgjidhni transmetimin e parë në listë