Introduksjon til Hadoop FS kommandoliste
Hadoop fungerer på sitt eget filsystem som er distribuert i naturen kjent som “Hadoop distribuerte filsystem HDFS ” . Hadoop er avhengig av distribuert lagring og parallell behandling. Denne måten å lagre filen på distribuerte steder i en klynge er kjent som Hadoop distribuerte filsystem, dvs. HDFS. For å utføre forskjellige operasjoner på filnivå, gir HDFS sitt eget sett med kommandoer kjent som Hadoop File System Commands. La oss utforske disse kommandoene. I dette emnet skal vi lære om Hadoop FS-kommando.
Kommandoer fra Hadoop FS
Alle HDFS-kommandoer har prefikset “hdfs dfs”. Det betyr at vi spesifiserer at standardfilsystemet er HDFS. La oss utforske kommandoer én etter én
1. Versjoner
Versjonskommandoen brukes til å finne den versjonen av Hadoop som er installert i systemet.
Syntaks: Hadoop version
2. Er kommandoen
ls-kommandoen i Hadoop brukes til å spesifisere listen over kataloger i den nevnte banen. ls-kommandoen tar hdfs-banen som parameter og returnerer en liste over kataloger som er tilstede i banen.
Syntaks: hdfs dfs -ls
Eksempel: hdfs dfs -ls / user / harsha
Vi kan også bruke -lsr for rekursiv modus
Syntaks: hdfs dfs –lsr
3. Kattekommando
Kattekommando brukes til å vise innholdet i filen til konsollen. Denne kommandoen tar hdfs-filstien som et argument og viser innholdet i filen.
Syntaks: hdfs dfs -cat
Eksempel: hdfs dfs -cat /user/harsha/empnew.txt
4. mkdir-kommando
mkdir-kommandoen brukes til å opprette en ny katalog i hdfs-filsystemet. Den tar hdfs-banen som et argument og oppretter en ny katalog i den angitte banen.
Syntaks: hdfs dfs -mkdir
Eksempel: hdfs dfs -mkdir / bruker / eksempel
I skjermbildet over vises det tydelig at vi oppretter en ny katalog med navnet “eksempel” ved å bruke mkdir-kommandoen, og det samme vises ved å bruke ls-kommando.
Også for mkdir-kommandoen kan vi gi alternativet '-p'. Det oppretter foreldrekataloger i banen hvis de mangler.
Eksempel: hdfs dfs -mkdir -p / bruker / test / eksempel2
I skjermbildet over er det ganske tydelig at vi har alternativet -p og i banen / bruker / test / eksempel2 opprettes både tester og eksempel2-kataloger.
5. sette kommando
sette kommandoen i HDFS brukes til å kopiere filer fra gitt kildeplassering til destinasjonshdfs-banen. Her kan kildeplassering være en lokal filsystemsti. put-kommando tar to argumenter, den første er kildekatalogstien og den andre er målrettet HDFS-sti
Syntaks: hdfs dfs -put
Eksempel: hdfs dfs -put /home/harsha/empnew.txt / bruker / test / eksempel2
I skjermbildet over kan vi tydelig se at filen er kopiert fra kilde til destinasjon.
6. copyFromLocal kommando
copyFromLocal-kommando i HDFS brukes til å kopiere filer fra kildestien til destinasjonsstien. Kilden i denne kommandoen er begrenset til det lokale filsystemet
Syntaks: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example
Forskjell mellom put-kommando og copyFromLocal Command: Det er ingen stor forskjell mellom disse to hdfs-shell-kommandoene. Begge brukes til å kopiere fra det lokale filsystemet for å målrette HDFS-filstien.
Men putkommando er mer nyttig og robust ettersom den tillater å kopiere flere filer eller kataloger til destinasjon i HDFS
hdfs dfs -put
7. få kommando
get kommando i hdfs brukes til å kopiere en gitt hdfs fil eller katalog til målet lokalt filsystem banen. Det tar to argumenter, det ene er kilden hdfs-banen og det andre er målet for lokalt filsystem
Syntaks: hdfs dfs -get
Eksempel: hdfs dfs -get / user / test / example2 / home / harsha
8. copyToLocal kommando
copyToLocal-kommando i hdfs brukes til å kopiere en fil eller katalog i hdfs til det lokale filsystemet. I denne kommandoen er destinasjonen festet til det lokale filsystemet. Denne copyFromLocal-kommandoen ligner på kommandoen.
Syntaks: hdfs dfs -copyToLocal
Eksempel: hdfs dfs -copyToLocal / bruker / harsha / eksempel / home / harsha
9. telle kommando
count-kommando i hdfs brukes til å telle antall kataloger som er til stede i den gitte banen. tellekommando tar en gitt bane som et argument og gir antall kataloger som er til stede i den banen.
Syntaks: hdfs dfs -count
Eksempel: hdfs dfs -konto / bruker
10. mv-kommando
mv-kommando i hdfs brukes til å flytte en fil mellom hdfs. mv kommando tar fil eller katalog fra gitt kilde hdfs bane og flytter den til mål hdfs bane.
Syntaks : hdfs dfs -mv
Eksempel : hdfs dfs -mv / bruker / test / eksempel2 / bruker / harsha
I skjermbildet over kan vi se at katalogen voorbeeld2 nå er til stede i / bruker / harsha
11. setrep kommando
setrep-kommando i hdfs brukes til å endre replikasjonsfaktoren til den gitte filen. Som standard har hdfs en replikasjonsfaktor på '3'. Hvis den gitte banen er en katalog, vil denne kommandoen endre replikasjonsfaktoren for alle filene som er til stede i den katalogen.
Syntaks: hdfs dfs -setrep (-R) (-w)
-w: Dette flagget spesifiserer at kommandoen skal vente på at replikasjonen blir fullført.
rep: replikasjonsfaktor
Eksempel: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt
12. du kommando
du-kommandoen i hdfs viser diskbruk for hdfs-banen som er gitt. Den tar hdfs-banen som inndata og returnerer diskbruk i byte.
Syntaks : hdfs dfs -du
Eksempel: hdfs dfs -du /user/harsha/empnew.txt
13. rm-kommando
rm-kommando i hdfs brukes til å fjerne filer eller kataloger i den gitte hdfs-banen. Denne kommandoen tar hdfs-banen som input og fjerner filene som er til stede i den banen.
Syntaks : hdfs dfs -rm
Eksempel : hdfs dfs -rm / bruker / harsha / eksempel
Konklusjon - Hadoop FS-kommando
Vi har herved blitt kjent med forskjellige hdfs-kommandoer, deres respektive syntakser med eksempler også. Vi bør merke at kick start eventuelle hdfs-kommandoer, vi trenger kjøre bin / hdfs-skript. hdfs blir fulgt av et alternativ kjent som dfs, som indikerer at vi jobber med Hadoop distribuerte filsystem. Ved hjelp av ovennevnte kommandoer kan vi forhandle med HDFS File System.
Anbefalte artikler
Dette er en guide til Hadoop FS Command. Her diskuterer vi de mest brukte HDFS-kommandoene. Du kan også se på følgende artikkel for å lære mer -
- Hadoop Arkitektur
- HADOOP Framework
- Installer Hadoop
- Hadoop Tools
- Tableau-versjoner
- Veiledning til listen over Unix Shell-kommandoer