Oversikt over Data Lake

En datasjø er et depot der vi kan lagre en stor mengde semistrukturerte, strukturerte og ustrukturerte data. En unik ID med et sett utvidede metadatatagger er tilordnet alle dataelementer i en datasjø. Når et forretningsspørsmål oppstår, kan du be om relevante data og deretter analysere mindre data for å hjelpe med å svare på spørsmålet. Innsjøen har en flat arkitektur, i motsetning til et hierarkisk datavarehus der data lagres i filer og mapper. Uten først å strukturere data, kan du lagre informasjonen din som den er, og vi kan kjøre forskjellige typer analyser som dashbord og visualiseringer til en stor databehandling, analyser i sanntid og maskinlæring for å informere om bedre beslutninger.

En innsjø brukes av fagpersoner som dataforskere, datautviklere og forretningsanalytikere for å lagre en stor mengde data.

Den som brukes i en innsjø er ikke relasjonell og relasjonell fra IoT-enheter, nettsteder, mobile applikasjoner, etc. I skjemaet er det skrevet i analysetidspunktet, dvs. skjema for lesing. Resultatet etter henvendelse av spørring er raskere.

Hvorfor trenger vi en datasjø?

Ved å bygge en innsjø kan dataforskere se det uraffinerte synet på data.

Årsakene til å bruke den er som følger:

Selskapet som produserer forretningsfordeler fra dataene, overstiger medarbeidere. I en Aberdeen-undersøkelse var selskapet som satte opp en Data Lake 9% over den organiske omsetningsvekstytelsen til lignende selskaper. Disse lederne var i stand til å utføre nye typer analyser som maskinlæring gjennom nye kilder som loggfiler, clickstream-data, sosiale medier og Internett-tilkobling i innsjøen.

Det støtter import av data som kommer i sanntid. Data er samlet fra flere ressurser og deretter flyttet til innsjøen i det opprinnelige formatet. En innsjø gir høyere skalerbarhet av data. Du kan også vite hvilken type data som er i innsjøen ved å indeksere, gjennomsøke, katalogisere dataene.

Den støtter Data Governance som administrerer tilgjengeligheten, brukbarheten, sikkerheten og integriteten til data.

Det kan hjelpe forsknings- og utviklingsteamene til å teste hypotesen, avgrense antagelser og vurdering av resultater.

Ingen silostruktur er tilgjengelig.

Det tilbyr kundene en 360-graders utsikt og en robust analyse.

Kvaliteten på analysen øker også med økningen i datamengde, datakvalitet og metadata.

  • Lagringsmotorer som Hadoop har gjort det enkelt å lagre ulik informasjon. Det er ikke nødvendig å modellere data med en innsjø til et selskapsomfattende opplegg.
  • Kvaliteten på analysene øker også med økningen i datamengde, datakvalitet og metadata.
  • Det tilbyr smidighet fra bedriften
  • Det er mulig å bruke maskinlæring og kunstig intelligens for å komme med lønnsomme spådommer.

Data lake Architecture på Hadoop, AWS og Azure

En datasjø har to komponenter: lagring og beregning. Lagring og databehandling kan enten lokaliseres på stedet eller i skyen. Dette resulterer i utformingen av en datasjøarkitektur i flere mulige kombinasjoner.

1. Hadoop

En distribuert server Hadoop-klynge løser den store datalagringsproblemet. MapReduce er Hadoop-programmeringsmodellen som brukes til å dele opp og behandle informasjon i mindre undergrupper i serverklyngen.

2. AWS

AWS produktutvalg for sin dataløsning er omfattende. Amazon S3 er sentrum for lagringsfunksjonsløsningen. Disse datainntaksverktøyene som lar oss overføre enorme datamengder til S3 er Kinesis Stream, Kinesis Firehose, Snowball og Direct Connect.

I tillegg til Amazon S3, tilbyr NoSQL-databasen, Dynamo DB og Elastic Search en forenklet prosess med spørring. AWS tilbyr et stort utvalg av produkter med en bratt begynnelseskurve. Imidlertid er de omfattende funksjonene i løsningen mye brukt i kommersielle etterretningsapplikasjoner.

3. Azur

Micro-soft tilbød datasjøen. Azure-datasjøen har et analyse- og lagringslag som heter Azure Store (ADLS) og de to komponentene som det analytiske laget har Azure Analytics og HDInsight. ADLS-standarden er bygget i HDFS og er lagringsdyktig som er ubegrenset. Det kan lagre billioner filer større enn en petabyte i størrelse med en enkelt fil. Azure Store gjør det mulig å lagre og sikre data og skalerbar data i alle format.

fordeler

Noen viktige punkter er vist nedenfor

  • Gir ubegrenset verdi på datatypen
  • Tilpasses til endringer raskt
  • Langsiktige eierkostnader reduseres
  • Den viktigste fordelen er å sentralisere forskjellige kilder til innhold
  • Brukere fra forskjellige avdelinger over hele verden kan ha fleksibel datatilgang
  • Gir økonomisk skalerbarhet og fleksibilitet

Fare

  • Det kan miste relevans og fart etter litt tid.
  • Det er en større risiko når du designer
  • Det øker også kostnadene for lagring og produkter
  • Sikkerhet og tilgangskontroll er den største risikoen. Noen ganger kan data plasseres i en innsjø uten tilsyn, da noen av dataene kan trenge å beskyttes og reguleres.

Anbefalte artikler

Dette har vært en guide til Hva er en datasjø? Her diskuterte vi konseptet, Hvorfor trenger vi Data Lake sammen med deres fordeler og risikoer. Du kan også gå gjennom våre andre foreslåtte artikler for å lære mer-

  1. Moderne dataintegrasjon
  2. Hva er Data Analytics
  3. Hva er brudd på data?
  4. Data Scientist vs Big Data
  5. Data Lake vs Data Warehouse | forskjeller

Kategori:

Stor Data