Introduksjon til Hadoop Schedulers
Når vi snakker om Hadoop, er det første som dukker opp i big data. Men har vi noen gang lurt på at Hadoop i seg selv ikke bare er en teknologi, den i stedet omfatter mange verktøy og teknikker inni den, så hvordan er vi i stand til å oppnå det som er tenkt gjennom Hadoop automatisk. Svaret på dette spørsmålet er ved å bruke Hadoop-planleggere.
Det muliggjør et høyt behandlingsnivå av systemet og er også kjent som det generelle systemet som fungerer på distribusjonsnivået til et sett med data og informasjon. Det er et multitasking-system som brukes til å behandle flere datasett for mange brukere og jobber samtidig. Tidligere ble det bare brukt en planlegger for alle oppgavene, men nå er Hadoop-planleggere de som blir brukt sammen med JobTracker-logikken og støttes også av Hadoop.
Topp 4 Hadoop planleggertyper
Det er flere typer Hadoop-planleggere som vi ofte bruker:
1. Hadoop First in First out Scheduler
- Som navnet antyder, er dette en av de eldste jobbplanleggere som fungerer etter prinsippet om først inn og ut. I utgangspunktet, når vi snakker om prosessen som for eksempel JobTracker, snakker vi om å trekke jobber fra køen som ofte sies å være arbeidskøen.
- I følge denne arbeidskøen er jobben som er den eldste, dvs. den som har vært den første, den som er den første som også blir utført.
- Dette ble alltid antatt å være en mye enklere tilnærming enn andre planleggingsteknikker, og derfor ble det ikke tenkt mye på å skrape denne teknikken bare for å finne nyere tilnærminger med bedre planleggingsevner, ettersom de også inkluderte konsepter om dimensjonering og prioritering av jobben i seg selv.
2. Hadoop Capacity Scheduler
- Hadoop Capacity-planleggeren er mer eller mindre som FIFO-tilnærmingen bortsett fra at den også benytter seg av å prioritere jobben. Denne tar en litt annen tilnærming når vi snakker om planleggingsnivået for flere brukere.
- Denne er kjent for å planlegge og simulere en egen MapReduce Cluster for hver organisasjon eller bruker, og som gjøres sammen med FIFO-typen.
3. Hadoop Fair Type Scheduler
- Når det er behov for å skaffe en egen og rimelig mengde kapasitetskapasitet med tid og periode, benytter vi oss av Hadoop messeplanlegger. Det er nyttig å få alle klyngene selv om en bestemt jobb er i løpende stand.
- Dessuten blir alle gratissporene i klyngen gitt til alle jobbene på en slik måte at hver bruker får en normalisert andel av klyngens del etter hvert som flere jobber blir nyttige å bli sendt inn.
- Hvis det er bassenget som ennå ikke har mottatt sin del av den rettferdige andelen og en normalisert andel på en rimelig god tid og periode, kommer forfremmelse til spill og dermed dreper alle de samlede oppgavene og løper med kapasitet til å gi disse bassengene spor for å kjøre under kapasitet.
- Videre er dette også kjent som bidragsmodulen, som betyr at ved å kopiere Hadoops kontroll- og rettferdige planleggerbaserte katalog til den lib-baserte katalogen og plassere JAR-filen på riktig sted, kan denne planleggingsteknikken aktiveres. Det eneste som må gjøres er å sette opp egenskapene til oppgaveplanleggeren til mapred.FairScheduler.
4. Andre tilnærminger angående planlegger
- Hadoop sørger for å tilby et tilbud om å tilby virtuelle klynger som betyr at behovet for å ha fysiske faktiske klynger kan minimeres, og denne teknikken er kjent som HOD (Hadoop on Demand).
- Den bruker den momentbaserte ressurssjefen for å holde nodene oppe og tildelingen av den etter den virtuelle klyngens krav.
- Det brukes til å initialisere belastningen og systemet som er basert på de spesielle nodene inne i den virtuelle og ikke fysiske klyngen, og også sammen med de tildelte nodene, bare når konfigurasjonsfilene er klargjort automatisk.
- HOD-klyngen kan også brukes på en relativt mye uavhengig måte når initialiseringen har funnet sted. I et nøtteskall er en nøtteskallmodell som brukes til distribusjon av disse store Hadoop-klyngene innenfor skyinfrastrukturen, og det er det som kalles HOD. Den deler et mindre antall noder relativt og gir derfor en større mengde sikkerhet.
Viktigheten av å bruke Hadoop-planleggere
- Fra typene Hadoop Schedulers, bør det være klart hvor viktigheten av å bruke disse Hadoop Schedulers ligger. Hvis du kjører en stor klynge som har forskjellige jobbtyper, forskjellige prioriteringer og størrelser sammen med flere klienter, velger du riktig type Hadoop-planlegger for å bli viktig.
- Dette er viktig fordi det sikrer garantert tilgang til ubenyttet kapasitetsnivå og optimal utnyttelse av ressursene ved å prioritere jobbene effektivt i køene. Selv om denne delen av Hadoop-planleggerne er relativt enkel, da det å bruke rettferdige planleggere stort sett er det riktige valget hvis det er forskjell mellom antall og typer klynger som kjører innenfor en enkelt organisasjon.
- Denne rettferdige planleggeren kan fremdeles brukes til å skaffe og distribuere bassengkapasitet på jobber, og det gjøres på en mye enklere og konfigurerbar måte. Den rettferdige planleggeren redder oss også når vi snakker om tilstedeværelsen av diversifiserte jobber som den kan brukes til å gi høyere responstid for relativt mindre jobber som er blandet med større typer jobber og støtten til disse er inkludert i interaktiv bruk av modeller.
- Kapasitetsplanleggere er nyttige, når du er mer bekymret for køene i stedet for nivået på bassenger som er opprettet, og også det konfigurerbare nivået på kartet og reduserer jobber-type spor er tilgjengelig, og køen har råd til å få en garantert kapasitet i klyngen.
Konklusjon
I dette innlegget leste vi om Hadoop-planleggerne, deres betydning, introduksjon, typer Hadoop-planleggere, deres funksjoner og lærte også om viktigheten av disse Hadoop-planleggerne. Når man forholder seg til big data-økosystemet og miljøet, er Hadoop-planleggere noe det ofte ikke blir snakket om, men som har størst betydning og ikke har råd til å sitte igjen som det er. Håper du likte artikkelen vår.
Anbefalte artikler
Dette er en guide til Hadoop Schedulers. Her diskuterer vi introduksjonen og topp 4 typer Hadoop scheduler med viktigheten av å bruke den. Du kan også se på følgende artikler for å lære mer-
- Svingkomponenter i Java
- JTabbedPane i Java
- Beskyttet nøkkelord i Java
- JTextArea i Java