Introduksjon til Sqoop-kommandoer
I Sqoop-kommandoer blir hver rad behandlet som poster, og oppgavene blir delt inn i underoppgaver av Map Task Internt. Databasene som støttes av sqoop er MYSQL, Oracle, IBM, PostgreSQL. Sqoop gir en enkel kommandolinje, vi kan hente data fra de forskjellige databasene gjennom sqoop-kommandoer. De er skrevet i Java og bruker JDBC for tilkobling til andre databaser.
Det står for 'SQL til Hadoop' og Hadoop til SQL og et åpen kildekodeverktøy. Det er et applikasjons-com-tilkoblingsverktøy som overfører bulkdata mellom det relasjonelle databasesystemet og Hadoop (Hive, kart redusere, Mahout, Pig, HBase). De lar brukerne spesifisere målplassering inne i Hadoop og lage sqoop for å flytte data fra RDMS til mål. De tilbyr optimaliserte MySQL-kontakter som bruker databasespesifikk API for å utføre bulkoverføringer fullstendig. Brukeren importerer data fra eksterne kilder som Hive eller Hbase. Sqoop har to filformater: avgrenset tekstfilformat og sekvensfilformat.
Her er de grunnleggende kommandoene til Sqoop-kommandoer:
-
Listetabell:
Denne kommandoen viser den aktuelle tabellen til databasen på MYSQL-serveren.
Eksempel:
-
Målkatalog:
Denne kommandoen importerer tabellen i en spesifikk katalog i HDFS. -m betegner kartleggingsargument. De har en heltallverdi.
Eksempel:
-
Passordbeskyttelse:
Eksempel:
-
sqoop-eval:
Denne kommandoen kjører raskt SQL-spørsmål fra den respektive databasen.
Eksempel:
-
sqoop - versjon:
Denne kommandoen viser versjonen av sqoop.
Eksempel:
-
sqoop-jobb
Denne kommandoen lar oss lage en jobb, parametrene som opprettes kan påberopes når som helst. De tar alternativer som (–opprett, –slett, –vis, –utgang).
Eksempel:
-
Laster CSV-fil til SQL:
Eksempel:
-
Connector:
Eksempel:
-
kode gen:
Denne Sqoop-kommandoen oppretter java-klassefiler som innkapsler de importerte postene. Alle java-filene blir gjenskapt, og nye versjoner av en klasse blir generert. De genererer kode for å samhandle med databaseposter. Henter en liste over alle kolonnene og datatypene deres.
Eksempel:
10.List-database:
Denne Sqoop-kommandolistene har all den tilgjengelige databasen på RDBMS-serveren.
eksempel:
Mellomkommandoer for Sqoop-kommandoer:
1.sqoop-metabutikk:
Denne kommandoen er vert for et delt metadata-lager. Flere / eksterne brukere kan kjøre flere jobber.
Kommando:
$ sqoop. metastore.client.autoconnect.url
eksempel: jdbc: hsqldb: hsql: // metastore .example.com / sqoop
2. sqoop -hjelp:
Denne kommandoen viser verktøyene som er tilgjengelige i sqoop og deres formål.
Kommando:
$ sqoop hjelp
$ bin / sqoop hjelpimport
3. Eksportere:
Denne kommandoen eksporterer data fra HDFS til RDMS-databasen. I HDFS lagres data som poster.
Kommando:
$ sqoop eksport \ –koble jdbc: mysql: // localhost / inventar - brukernavn jony –tabel lib –eksport -dir / bruker / jony / inventar.
4. Sett inn:
Denne kommandoen setter inn en ny post fra HDFS til RDBMS-tabellen.
Kommando
$ sqoop eksport –koble JDBC: MySQL: // localhost / sqoop_export - tabell emp_exported –eksport -dir / sqoop / newemp -m -000
5. Oppdatering:
Denne Sqoop-kommandoen oppdaterer postene i RDBMS fra HDFS-data.
Kommando
$ sqoop eksport –koble JDBC: MySQL: // localhost / sqoop_export - tabell emp_exported –eksport -dir / sqoop / newemp -m -000 –oppdatering -key ID
6. Batch-alternativ:
Denne kommandoen setter flere rader sammen, de optimaliserer hastigheten på innsetting ved å bruke Sqoop JDBC-driver.
Kommando
$ sqoop eksport \ -koble JDBC: MySQL: // vertsnavn / –brukernavn -passord -eksport -dir
7. Del:
Når denne kommandoen brukes, brukes klausulen der hele SQL.
Kommando
$ sqoop import -D mysql: // jdbc: // Where.clause.location = SPLIT –tabellen JUNK – hvor “rownum <= 12”
8. AVRO-fil til HDFS:
De lagrer RDBMS-data som en Avro-fil.
Kommando
$ sqoop import –koble JDBC: MySQL: // localhost / Acadgild –brukernavnrot –passord pp.34 –Tabelbetaling -m1 –mål -dir / sqoop_data / betaling / avro / == som -avrodatfile.
Avanserte kommandoer for Sqoop-kommandoer:
Importer kommandoer:
Importkommandoer har importkontrollargumenter. de forskjellige argumentene er som følger:
- grense: brukes for å lage splitter.
- som - tekstfil: importerer ren tekstdata
- -kolonner (: importer kolonner for tabell
- -m, - num: å importere parallelle kartleggingsoppgaver
- split-by: Splits-kolonnen i tabellen
- -z, - komprimering: komprimering av dataene er aktivert.
Trinnvis import Argumenter:
- check - column: Angir kolonner for å bestemme hvilke rader som skal importeres.
- trinnvis (modus): indikerer nye rader (inkluderer vedlegg og sist endrer rader)
Output Line Arguments:
- linjer -terminert -by: De setter eol-karakter
- MySQL - avgrensere: de setter \ n felt: linjer:
Importer til Hive
-hive - import: De importerer tabeller til bikube
-hive - partisjonstast: Navnet på partisjonen deles.
-hive - overskrive: De overskriver dataene i den eksisterende tabellen.
Importer til Hbase-argumenter:
-accumulo-tabell: Dette spesifiserer måltabellen i HBase.
-accumulo-kolonne: Hvis du vil importere den, angir du målkolonnen.
-accumulo -: Å importere navnet på akkumuloen
–Accumulo -: Å importere passord for akkumuloen
Lagring i sekvensfiler:
$ sqoop import -koble jdbc: mysql: //db.foo.com/emp -tabellinnhold \ - klasse-navn com.foo.com.Inventory -as - sequencile
Spørreimport:
Denne kommandoen spesifiserer Sql-setningen med argumentet-spørring.
$ sqoop import \ –spørsmål 'VELG a. *, b. * fra en JOIN b på (a.id = b.id) der $ betingelser' \ -split - av / target-dir / user
Trinnvis eksport:
Eksport av $ sqoop –forbindelse –tabell –brukernavn –ordord – inkrementell – sjekk-rad – siste verdi
Importerer alle tabeller til HDFS:
$ sqoop import -all - tabeller –koble jdbc: mysql: // localhost / sale_db - brukernavnrot.
Importerer data til Hive:
$ sqoop import –kobling –tabell –brukernavn –ordord –hive -import - hive -tabell
Importerer data til HBase:
kommando:
Importering av $ sqoop –tilkobling –tabel –brukernavn –ordord –hive -import - HBase -tabell
Koder nullverdier:
kommando:
$ mysql import \ –koble JDBC: MySQL: //mysql.ex.com/sqoop \ –usname sqoop \ -password sqoop \ –tabel lib \ –null -string '
Tips og triks for å bruke Sqoop-kommandoer:
Hvis vi ønsker å utføre dataoperasjonene effektivt, må vi bruke sqoop, bare gjennom en enkelt kommandolinje kan vi utføre mange oppgaver og underoppgaver i den. Sqoop kobles til forskjellige relasjonsdatabaser gjennom kontakter, de bruker JDBC-driveren for å samhandle med den. Siden sqoop kjører på egen kilde, kan vi utføre sqoop uten en installasjonsprosess. Utførelsen av sqoop er enkel, fordi fordi dataene kjøres parallelt. Ved å bruke Map redusere kan vi importere og eksportere data, som igjen gir parallell utførelse.
Konklusjon - Sqoop kommandoer:
For å konkludere, regulerer Sqoop Commands prosessen med å importere og eksportere dataene. Sqoop tilbyr muligheten til å oppdatere delene av tabellen med den trinnvise belastningen. Dataimporten i sqoop er ikke hendelsesdrevet. Og det kommer sqoop2 med aktivert GUI for enkel tilgang sammen med kommandolinjen. Dataoverføringen skjer raskt mens de overføres parallelt. De spiller en viktig rolle i Hadoop-miljøet. De gjør jobben sin på egen hånd, ikke nødvendig mens de importerer små datasett.
Anbefalte artikler
Dette har vært en guide til Sqoop Commands. Her har vi diskutert grunnleggende så vel som avanserte Sqoop-kommandoer og noen umiddelbare Sqoop-kommandoer. Du kan også se på følgende artikkel for å lære mer -
- Sqoop intervju spørsmål og svar
- Juksark SQL (kommandoer, gratis tips og triks)
- Viktige VBA-kommandoer
- Tableau kommandoer