Hvordan installerer Kafka? - Veiledning for å installere Kafka på Windows og Linux

Innholdsfortegnelse:

Anonim

Hvordan installere Kafka?

Kafka er en distribuert streamingplattform. Det hjelper med å publisere og abonnere på strømmer av poster. Kafka brukes vanligvis til å bygge datastrømledninger i sanntid som pålitelig får data mellom forskjellige systemer og applikasjoner. Det kan også hjelpe med å bygge streaming-applikasjoner i sanntid som hjelper til med å transformere eller gjøre endringer med datastrømmene. Kafka gjør det mulig å lagre strømmer av poster i forskjellige kategorier kalt emner. Hver post består av en nøkkel, en verdi og en tidsstempel. Den har fire hovedkomponenter som Produsent API, Forbruker API, Streams API og Connector API. Den bruker TCP-protokollen som er god kommunikasjon mellom klienter og servere med høy ytelse. For å installere Kafka kan følgende trinn følges.

Installer Kafka på Windows OS

Følg trinnene nedenfor for å installere Kafka på Windows:

Trinn 1. Last ned Zookeeper fra følgende lenke: HTTP: //zookeeper.apache.org/releases.html

Når dette er gjort, last ned Kafka fra å følge lenken: http://kafka.apache.org/downloads.html

Last ned også JRE i henhold til operativsystemet ditt og CPU-arkitekturen fra lenken nedenfor: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

Trinn 2. JDK Setup-

Start JRE-installasjonen, og klikk deretter av for "Endre destinasjonsmappe". Nå, klikk på Installer.

Når dette er gjort, endre katalogen til en hvilken som helst bane uten mellomrom i mappenavnet.

Trinn 3. Når dette er gjort, åpner du miljøvariablene fra Kontrollpanel -> System -> Avanserte systeminnstillinger -> Miljøvariabler.

Trinn 4. Klikk på Ny brukervariabel i kategorien Brukervariabel, og skriv deretter JAVA_HOME i variabelnavnet. Angi JRE-banen i delen Variabelverdier. Det skal være som nedenfor:

Trinn 5. Klikk nå på OK.

Trinn 6. Søk i en banevariabel i 'Systemvariabel' -delen i dialogboksen 'Miljøvariabel' som åpnes.

Trinn 7. Rediger banen og skriv ";% JAVA_HOME% \ bin" på slutten av teksten som allerede er skrevet der, akkurat som bildet nedenfor:

Trinn 8. For å sjekke om Java er riktig installert, gå til Command Prompt og skriv 'java - version'. Versjonen av Java som er installert, vises på skjermen.

Hvis du ser de ovennevnte detaljene på ledeteksten, er du god fra Java-siden.

Når Java er installert, kan du nå flytte for å få installert Zookeeper.

Følg trinnene nedenfor for å få Zookeeper installert på systemet ditt:

  • Åpne katalogen der Zookeeper config-katalogen er der. Det kan være C: \ zookeeper-3.4.7 \ conf.
  • Gi nytt navn til filen "zoo_sample.cfg" til "cfg"
  • Åpne denne omdøpte filen i Notisblokk.
  • Finn og rediger følgende: dataDir = / tmp / zookeeper til \ zookeeper-3.4.7 \ data
  • Akkurat som vi la til miljøvariabel for Java, kan du legge til en miljøvariabel for Zookeeper.
  • Sett systemvariabelen som: dataDir = / tmp / zookeeper til: \ zookeeper-3.4.7 \ data
  • Rediger systemvariabelen kalt 'Sti' og legg til; % ZOOKEEPER_HOME% \ bin;
  • Standardporten for Zookeeper er 2181 som kan endres til hvilken som helst annen port ved å gå til zoo.cfg-filen.
  • Kjør Zookeeper ved å åpne en ny cmd og skriv 'zkserver'. Du vil se detaljene nedenfor.

Når du ser dette skjermbildet, bør du være sikker på at Zookeeper har blitt installert.

Setter opp Kafka

Når du har Java og Zookeeper i gang på systemet ditt, kan du gå videre til å konfigurere Kafka.

  • Gå til Kafka config-katalog.
  • Rediger filen “server.properties”.
  • Når dette er gjort, kan du finne og redigere linjen der du ser: dirs = / tmp / kafka-logs til “log.dir = C: \ kafka_2.11-0.9.0.0 \ kafka-logs
  • Hvis du har Zookeeper på en annen maskin, kan du endre denne banen til “zookeeper.connect: 2181” til en tilpasset IP- og port-ID.
  • Standardporten for Kafka er port 9092 og for å koble til Zookeeper er den 2181.

Kjører en Kafka Server

Når det første oppsettet er gjort, kan du enkelt kjøre en Kafka-server

Før du kjører Kafka-server, må man sørge for at Zookeeper-forekomsten er oppe og går.

1. Gå til Kafka installasjonskatalog: C: /kafka_2.11-0.9.0.0

2. Åpne ledeteksten og trykk på Skift + høyreklikk og velg alternativet 'Åpne kommandovinduet her'.

3. Skriv nå. \ Bin \ windows \ kafka-server-start.bat. \ Config \ server.properties og trykk Enter.

Når du har kjørt dette og alt er i orden, skal skjermen se ut som nedenfor:

4. Nå er Kafka-serveren i gang. Du kan lage dine egne emner for å lagre forskjellige meldinger. Når dette er gjort, kan du produsere og konsumere data fra Java eller Scala-kode eller direkte løpe fra ledeteksten.

Installer Kafka på Linux

Følg trinnene nedenfor for å installere Kafka på Linux:

Trinn 1. Last ned og trekk ut Kafka-binærene og lagre dem i kataloger.

Trinn 2. Pakk ut arkivet du laster ned ved hjelp av tar-kommando.

Trinn 3. For å konfigurere Kafka, gå til server.properties. Åpne denne filen ved å bruke nano-kommandoen, og legg til følgende nederst i filen.

nano ~/Kafka/config/server.properties

delete.topic.enable = true

Trinn 4. Når dette er gjort, vil brukeren måtte lage systemenhetsfiler for Kafka-tjenester. Dette hjelper deg med å utføre vanlige tjenestehandlinger som å starte opp, stoppe og starte Kafka på en konsekvent måte med andre Linux-tjenester. Zookeeper er en tjeneste som brukes av Kafka for å administrere sin klynge og konfigurasjoner.

Trinn 5. Slik lager du en enhetsfil for Zookeeper:

sudo nano /etc/systemd/system/zookeeper.service

Trinn 6. Når denne zookeeper-filen er opprettet, lim inn nedenfor i den:

(Unit) Requires=network.target remote-fs.target
After=network.target remotefs.target
(Service) Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
(Install) WantedBy=multi-user.target

Denne delen (enheten) her spesifiserer at Zookeeper krever at nettverk og filsystem skal være klare før det kan starte.

Avsnittet (Tjeneste) gir systemet beskjed om at zookeeper-server-start.sh og zookeeper-server-stop.sh-filer er til stede for å starte og stoppe tjenestene.

Trinn 7. Nå skal brukeren opprette en systemfil for Kafka som nedenfor:
sudo nano /etc/system/system/Kafka.service

Trinn 8. I denne filen lim inn nedenfor:

(Unit) Requires=zookeeper.service
After=zookeeper.service
(Service) Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh
/home/kafka/kafka/config/server.properties >
/home/kafka/kafka/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.shRestart=on-abnormal
(Install) WantedBy=multi-user.target

Her spesifiserer (Enhet) at enhetsfilen er avhengig av zookeeper.service. Dette sikrer at dyrepasser startes før Kafka starter.

Trinn 9. Du må nå aktivere Kafka og starte serveren på nytt. Kjør: sudo systemctl aktiver Kafka

Trinn 10. Test av installasjon:

Du kan teste Kafka-installasjonen ved å opprette et emne og deretter publisere det til forbrukerne.

Opprett et emne av : ~ / Kafka / bin / Kafka-topics.sh –creat –zookeeper localhost: 2181 –replication-factor 1 –partitions 1 –Topic TutorialTopic

Legg ut denne brukeren kan opprette produsenter og forbrukere og deretter publisere alle data til de spesifikke emnene.

Anbefalte artikler

Dette har vært en guide for å installere Kafka. Her har vi diskutert forskjellige trinn for å installere Kafka på Windows og Linux. Du kan også se på følgende artikler for å lære mer -

  1. Trinn for å installere Java 8
  2. Hvordan installere C
  3. Veiledning for å installere Ruby
  4. Kafka-applikasjoner
  5. JRE vs JVM | Topp 8 forskjeller med (Infographics)