Što učiniti sa svim tim podacima?


Što učiniti sa svim tim podacima?

Big Data e Analisi dei dati

Big Data i Data Analytics:o čemu je riječ? 

Izrazi "Big data" i "Data Analytics" postali su popularne riječi u posljednjih nekoliko godina. Mnogi koji koriste ove izraze zapravo ne razumiju što oni znače, koje mogučnosti i ograničenja podrazumijevaju, niti kakvu stvarnu vrijednost mogu imati sve ove informacije.

U ovom ćemo članku dati osnovni uvod u koncept Big Data, kao i praktičniji koncept analize podataka. Također ćemo spomenuti kako Big Data, iako je moćan alat, nije nužno uvijek potreban za analizu podataka. Stoga ćemo raspravljati o nekim najčešćim zamkama s kojima se kompanije susreću u analizi podataka. Konačno ćemo istražiti osnovni postupak o tome kako najbolje strukturirati postupak analize podataka kako bi se izbjegle te zamke i izvukao maksimum iz dostupnih izvora podataka

Što je Big Data?

Prije nego što razgovaramo o najprikladnijim načinima provođenja "Data Analytics ", važno je razumjeti pravo značenje Big Data-a. Izraz Big Data bi mogao biti pogrešan, jer nas doslovni prijevod navodi da mislimo da se jednostavno odnosi na ogromnu količinu podataka koju danas imamo na raspolaganju. Ovo je, međutim, reduktivna definicija pojma.

Ako je istina da je količina dostupnih podataka danas nezamisliva, koncept na koji mislimo kada govorimo o Big Data ili revoluciji velikih podataka je sposobnost koja danas postoji za obradu, analizu i crtanje objektivnih aplikacija iz svih tih podataka, što sugerira dosad nezamislive obrasce i modele interpretacije..

Ovu mogućnost daju algoritmi sposobni za obradu ogromne količine podataka u kratkom vremenu i s malo računalnih resursa.

Informacije koje bi se danas, algoritmom i jednostavnim prijenosnim računalom mogle obraditi u roku od nekoliko sati, do nedavno bi zahtijevale puno vremena i skupa računala.

To je Big Data revolucija.

Big Data primjeri

Revolucija Big Data-a odavno je ušla u naše živote, iako je ne primjećujemo posebno. Uzmimo nekoliko praktičnih primjera.

Upotreba velikih podataka u marketingu nalazi se u takozvanim metodama preporuka, poput onih koje Netflix ili Amazon koriste za ponude za prilaz ili kupnju usmjerene na određenog korisnika. To se može odraditi sa znanstvenom preciznošću, jer svi navigacijski podaci korisnika, od kupnje, proizvoda koji se traže ili ocjenjuju, omogućuju sugeriranje najprikladnijih proizvoda i usluga za tu osobu, onih koji će zasigurno privući njegovu pažnju. I tako algoritmi uspijevaju "saznati" čak i ako je žena trudna, na temelju svojih istraživanja i ponuditi joj ponude i proizvode koji joj mogu poslužiti.

Big Data vam omogućava pronalazak neobične asocijacije: prema nekim istraživanjima istraživanja data mining-a, kupci namještaja osjećali su veću sklonost podmirivanju svojih dugova u utvrđenim vremenima, što predstavlja idealne klijente za kreditne institucije.

U svakodnevnom životu pronalazimo mnoge druge aplikacije za Big Data.
Na primjer - o raspoređivanju policijskih snaga na mjesta i vremena u kojima se zločini najvjerojatnije događaju.
Ili na proučavanje povezanosti između kvalitete zraka i zdravlja.

Da biste shvatili opseg moći Big Data-a, samo razmislite da je Google još 2008. godine uspio predvidjeti prisutnost epidemije gripe na teritorijama Sjedinjenih Država brže nego što je to Ministarstvo zdravstva uspjelo učiniti nadgledanjem evidencije bolničkog prijema javnih i privatnih zdravstvenih ustanova.

ULOGA STATISTIKE

Merriam-Webster definira statistiku kao "granu matematike koja se bavi prikupljanjem, analizom, tumačenjem i prikazom količine brojčanih podataka". Statistika je ključni pojam iza velikih podataka i analize podataka. Ideja je koristiti podskup globalnog skupa podataka kako bi se izvukli zaključci o tom cjeloukupnom skupu. Na primjer, mjerenja tjelesne težine nekih ljudi mogu se prikupiti u pokušaju procjene prosječne težine svih ljudi. Kao što ćemo vidjeti, ovaj naizgled jednostavan primjer postaje puno složeniji ovisno o karakteristikama podataka.

KARAKTERISTIKE PODATAKA

Karakteristike podataka će odrediti mogu li se i kako neki podaci koristiti u projektu analize podataka. NIST (Nacionalni institut za standarde i tehnologiju), koji navodi četiri glavne karakteristike koje podaci moraju imati - volumen, brzinu, raznolikost i varijabilnost - kojima Cary, tvrtka Data Analytics sa sjedištem u Sjevernoj Karolini, dodaje petu karakteristiku - istinitost.

VOLUMEN: Ova se karakteristika može tumačiti i kao blagoslov i kao prokletstvo i odnosi se na broj podataka. Pristup prividno beskonačnim točkama podataka može značiti mogućnost prepoznavanja karakteristika potrošača i njegovih vjerojatnih ponašanja s nevjerojatnim stupnjem preciznosti, ali troškovi arhitekture za obradu takvih podataka povećavaju se volumenom.

BRZINA: strogo povezana s volumenom, ova značajka uzima u obzir brzinu kojom se podaci mogu ili mogu prikupljati.

RAZNOLIKOST: podaci su dostupni u različitim oblicima. Na primjer, preferencije potrošača mogu se mjeriti pregledom potrošačkih anketa, nadgledanjem internetskih pretraga ili nadgledanjem odluka o kupnji.

PROMJENJIVOST: promjenjivost se odnosi na promjene podataka tijekom vremena. Te promjene mogu uključivati brzinu kojom podaci teku, format podataka ili same podatke.

ISTINITOST: podaci iz različitih izvora mogu biti više ili manje pouzdani. Na primjer, potrošači mogu prijaviti postavke koje ne odgovaraju njihovom stvarnom ponašanju o kupnji. Podaci o prodaji iz nekih izvora mogu biti dvosmisleni ili čak namjerno netočni. Istinitost se odnosi na kvalitetu podataka.

Što je analiza podataka? (Data Analytics)?

Analiza podataka doslovno znači analiza dostupnih podataka. Može imati različite oblike, ovisno o namjeri analize:

  • Opisnašto se dogodilo?
  • Dijagnostikazašto se to dogodilo?
  • Predviđanješto će se dogoditi?
  • Preskriptivnašto treba učiniti?

Složenost analize raste proporcionalno od deskriptivne do propisane, gdje je preskriptivna analiza najambiciozniji krajnji poslovni cilj. Opisno pitanje analize podataka moglo bi biti: "Koliko novca prosječni potrošač potroši godišnje na održavanje automobila?"
Odgovor se može dobiti relativno lako analizirajući dovoljnu količinu podataka o navikama potrošnje, a taj je odgovor koristan ako pomaže u određivanju veličine dostupnog tržišta, ali nije nužno i sam da pomogne u procesu donošenja odluka.

Dijagnostičko pitanje povezano bi moglo biti: "Zašto potrošači troše ovaj novac na održavanje automobila? Zašto ne troše više ili manje? „Ovo zahtijeva pomno proučavanje podataka i uspostavljanje nekih veza, poput navike potrošnje subjekata koji pripadaju određenim demografskim skupinama, dohotcima ili zemljopisnim regijama;navike potrošnje u određenim vrstama automobilskog održavanja ili obujam potrošnje s određenim tvrtkama u usporedbi s drugima.

Prediktivni follow-up glasio bi: "Koje će potrošnje za održavanje automobila u narednih 5 godina očekivati potrošači?"

I na kraju, preskripivno pitanje: "S obzirom na ono za što vjerujemo da je trenutno i buduće stanje na tržištu, što trebamo učiniti?"

U našoj hipotetičkoj analizi tvrtka iz sektora automobilskog održavanja koja se suočava s ovim pitanjem može odlučiti uložiti više ulaganja u određeno područje sektora, usmjeriti se izravno na određene tržišne segmente, usporediti i slijediti najbolje prakse specifičnih konkurenata ili čak potpuno napuštanje sektora.

Zahtijeva li uvijek analiza podataka Big data-u?

Big Data se razlikuje od općenitijeg koncepta uzorka podataka veličina i složenost upravljanja svim tim podacima. Big Data - po definiciji, sastoji se od ogromnih količina podataka za koje je potreban ogroman kapacitet obrade da bi se učinkovito koristili.

Treba li tvrtkama Big Data za učinkovito provođenje analize podataka? Ne nužno, ali to ovisi o analizi. Statistički podaci postaju precizniji kako se povećava veličina skupa podataka. I precizno odgovaranje na složena pitanja postaje lakše jer je točnost statističkih zaključaka u bazi preciznija.

Stoga, tvrtka koja treba analizirati stopu kvarova u procesu proizvodnje madraca u posljednje tri godine vjerojatno neće trebati iskoristiti Big Data. Međutim, ako je ista tvrtka htjela provesti analizu poslovnog plana za ulazak na tržište madraca visoke klase u jugoistočnoj Aziji u roku od pet godina, možda će joj trebati velike količine podataka kako bi se osiguralo da procjene i prognoze su dovoljno točne da opravdaju akcijski plan.

Česte zamke u analizi podataka

Tvrtke koje žele iskoristiti analizu podataka moraju imati na umu brojne potencijalne zamke, sjećajući se da bi tvrtka mogla potrošiti ogromne količine vremena, novca i drugih resursa na projekt analize podataka dobivajući malo ili nikakve koristi, ili još gore, na kraju donesite pogrešnu odluku. Evo nekoliko pogrešaka na koje se mora pripaziti.

Nema jasnog cilja: neke tvrtke mogu vidjeti Big Data kao čarobni štapić, a analiza podataka kao čudesan lijek za njihove poteškoće i možda će pomisliti: "Ako uspijemo dobiti podatke, odgovor će biti jasan i vidljiv." Prikupljanje podataka s milijardi točaka podataka i njihovo usmjeravanje u crni okvir koji ispire vrijedne informacije nije baš ispravan način korištenja analize podataka. Tvrtke koje se odluče za Analizu podataka bez jasnog cilja riskiraju da potroše značajna sredstva bez ikakve opipljive koristi.

Previše pretenciozni ciljevi: gotovo koliko i ne imati jasan cilj, čak i ako imate previše ambiciozan cilj, on može biti zamka. Tvrtke trebaju razmotriti svoje resurse i sposobnosti prije nego što definiraju ciljeve analize podataka. Tvrtka koja ima proračun od 5000 eura i jednog zaposlenog s punim radnim vremenom dodijeljenog pilot projektu analize podataka, ne može realno očekivati da bi mogla predvidjeti trendove preferiranja potrošača u Sjedinjenim Državama sljedeće godine. Ali mogao bi uspjeti identificirati najviše i najmanje produktivno radno vrijeme u jednoj od svojih proizvodnih linija.

Temeljne odluke o netočnim podacima: kao što je gore raspravljano, krajnji je cilj analize podataka utvrditi ispravan tijek djelovanja, s obzirom na trenutno i očekivano stanje. Ako se odluke o ispravnom načinu djelovanja temelje na pogrešnoj procjeni trenutne i buduće situacije, takve bi se odluke mogle pokazati katastrofalnima. To je razlog zašto propisana analiza zahtijeva odgovarajuća ulaganja u resurse potrebne za točne opisne, dijagnostičke i prediktivne analize.

Strukturiranje učinkovitog projekta analize podataka

Svjesni onoga što može poći po zlu, razmislimo sada o tome kako natjerati projekt analize podataka i razmotrimo neke ključne korake za strukturiranje učinkovitog projekta Analize podataka.

Postavite jasne ciljeve. Tvrtke koje žele iskoristiti analizu podataka moraju imati jasnu predodžbu što se nadaju postizanju ove inicijative. Bez obzira je li analiza deskriptivna, dijagnostička, prediktivna ili propisana.

Formulirajte jasna pitanja. Bilo da se radi o procjeni trenutnog stanja na tržištu ili određivanju mjesta za poziciju tvrtke u sljedećoj godini, važno je razviti jasna osnovna pitanja. Na primjer, kako bi otkrili zašto potrošači preferiraju određenu marku madraca, tvrtke moraju prvo otkriti koje marke vole, koje su karakteristike tih marki, koje osobine potrošači cijene u usporedbi s drugima itd.

Razviti strategiju za odgovor na ova pitanja. Kako odgovoriti na pitanje o preferencijama potrošača? Strategija bi mogla uključivati provođenje anketa, analizu podataka o online istraživanju i odluke o kupnji, dijalog sa stručnjacima za potrošače ili kombinaciju tih i drugih strategija.

Prikupiti podatke. Faza prikupljanja podataka u osnovi je izvršavanje strategija identificiranih u prethodnoj fazi: provođenje anketa, prikupljanje podataka o kupnjama ili internetskim pretraživanjima, itd.

Analizirati. Ovisno o vrsti analize podataka, to može biti izuzetno složen korak. Ako je analiza jednostavno opisna, može biti jednako jednostavna kao brojanje ili izračunavanje prosjeka. Nešto složenije što uključuje izvlačenje zaključaka o korelacijama u budućim podacima i predviđanjima očito je mnogo složenije.

Ponavljanje. Kao što je slučaj s mnogim tvrtkama, malo je vjerojatno da će se na prvi pogled primijetiti točna analiza podataka. Izvori podataka možda nemaju dovoljnu istinitost ili volumen, zaključci se mogu temeljiti na netočnim vezama podataka itd. No ponavljajući postupak, učeći na greškama i uvodeći potrebne promjene, tvrtke mogu vremenom steći značajnu stručnost u vezi s analizom podataka.

 

Tvrtke imaju na raspolaganju različite resurse koje koriste za ostvarivanje profita. Ti resursi mogu uključivati materijalnu imovinu kao što su zaposlenici, sirovine, zgrade i oprema. Ali oni uključuju i nematerijalnu imovinu poput intelektualnog vlasništva i podataka. Podaci su dragocjena imovina i mnoge tvrtke to tek počinju shvaćati.

Big Data i analiza podataka mogu zvučati kao složeni pojmovi, samo u dometu tehnološki najnaprednijih kompanija, ali u stvarnosti su složeni samo u mjeri u kojoj ih odlučite koristiti. Ako razumijete ove koncepte, moguće je definirati cilj analize podataka na precizan i ograničen način i dobiti značajne i učinkovite rezultate.

Ključno je ne pretjerati s ogromnom količinom podataka, ne biti pretjerano ambiciozan s obzirom na nečije stvarne mogućnosti i jasno preslikati plan projekta analize podataka.

 

Izvor: www.bedtimesmagazine.com, www.cloudtalk.it