Infocom - Τεύχος 208

ig dataThe Big Data

ig dataThe Big Data TheoremΑπό τους αισθητήρες στις αισθήσειςΤα πολλαπλάσια των bytes που έχουν εισάγει στην τεχνολογική καθημερινότητατους όρους peta, exa και zetta bytes, διαμορφώνουν μια νέα πραγματικότητα πουμέσα από το συνονθύλευμα του cloud οι ειδήμονες καλούνται πλέον να αναπτύξουνμεθοδολογίες, ώστε να εξαχθούν πραγματικά συμπεράσματα που να αποτιμώνται στηνπράξη. Καταναλωτική συμπεριφορά, ταχύτητες παραγωγής, απόδοση διαφημιστικώνεκστρατειών και αναγνωρισιμότητα προϊόντων, είναι μόλις ένα μικρό κλάσμα από ταζητούμενα. Ας δούμε πώς και γιατί.Η χρησιμοποίηση δεδομένων στη λήψη σωστών, έγκυρων καιέγκαιρων αποφάσεων έχει αναχθεί σε «εκ των ουκ άνευ»παράγοντα επιτυχίας για τις περισσότερες σύγχρονες επιχειρήσειςκαι οργανισμούς. Ταυτόχρονα, τα τελευταία χρόνια,με την ανάπτυξη νέων τεχνολογιών και εφαρμογών - όπωςη εξάπλωση των κοινωνικών δικτύων, η εκτεταμένη χρήσηsmart phones, η εγκατάσταση αισθητήρων κ.α. - ο όγκοςκαι η μορφή των δεδομένων έχει αλλάξει δραματικά, ενώοι δυνατότητες ανάλυσης και επεξεργασίας αυτών είναιεντυπωσιακές. Oι όροι Big Data, Business Analytics και DataScience βρίσκονται πλέον στο επίκεντρο των δραστηριοτήτωντων ΙΤ τμημάτων, μικρών και μεγάλων οργανισμών.Ιστορική ΑναδρομήΤα τελευταία 30 χρόνια, ο τομέας της διαχείρισης δεδομένωνδιήνυσε μία μεγάλη απόσταση. Οι βάσεις δεδομένωνξεκίνησαν σαν μια απλή εφαρμογή στα μέσα της δεκαετίαςτου 70 για να καταλήξουν στις μέρες μας σαν ένας απότους σημαντικότερους τομείς της πληροφορικής με χιλιάδεςεφαρμογές. Η χρήση τους είναι εμφανής σχεδόν σε κάθε δραστηριότητατης καθημερινής μας ζωής: δημόσιες υπηρεσίες,τράπεζες, σχολεία, μεταφορές, ενέργεια, ψυχαγωγία. Αυτόήταν λίγο πολύ αναμενόμενο αφού ασχολούνται με τη θεωρίακαι έρευνα επί τριών βασικών τομέων της πληροφορικής:την περιγραφή (μοντελοποίηση) της πληροφορίας και των6 infocom•07•15

όγκο δεδομένων (π.χ. WalMart, Citibank, ΑΤ&Τ), πλέον έχειεπεκταθεί και εκτελείται από όλες τις επιχειρήσεις πουσυλλέγουν κάποια λειτουργικά δεδομένα. Τα τελευταίαχρόνια έχει εδραιωθεί στο χώρο των analytics, η έννοια των“big data analytics”. Με αυτή την έννοια, εξακολουθούμε ναεννοούμε τη χρήση (κυρίως) τεχνικών επιχειρηματικής ευφυΐας,που όμως εκτελούνται από ανθρώπους με ιδιαίτερεςγνώσεις όχι μόνο στον τομέα της διαχείρισης δεδομένων,αλλά και στη στατιστική, στην τεχνητή νοημοσύνη και στιςθεμελιώδεις έννοιες management. Αυτή η ανάγκη περιγράφηκεμε μεγάλη ακρίβεια στο άρθρο του Thomas Davenport,στο Harvard Business Review “Competing on Analytics” απότον Ιανουάριο του 2006.δεδομένων, τους τρόπους αποθήκευσης αυτών και τέλοςτη χρησιμοποίησή τους για την παραγωγή γνώσης. Ο όγκοςτων δεδομένων που πλέον συλλέγεται και επεξεργάζεταικαθημερινά είναι τεράστιος και αντιπροσωπεύει και την πιομικρή δραστηριότητά μας. Αρκεί κανείς να σκεφτεί: τραπεζικέςσυναλλαγές, πιστωτικές κάρτες, δίκτυα αισθητήρων,κοινωνικά δίκτυα, δεδομένα τηλεφωνικών κλήσεων, δεδομέναδιαδικτύου, μηχανές αναζήτησης και τόσα άλλα καθημερινά,για να συνειδητοποιήσει το εύρος και το μέγεθος της πληροφορίας.Αυτό επέφερε μεγάλες αλλαγές στο πως αντιλαμβάνονται τηλήψη αποφάσεων μεγάλες εταιρίες και οργανισμοί. Πλέον,τις περισσότερες φορές, αντί να αναπτύσσουν μοντέλα,ξεκινούν από την ανάλυση των δεδομένων που κατέχουν,τα συνδυάζουν με αλλά που συλλέγουν από διάφορες πηγέςκαι τα μοντέλα προκύπτουν αυτόματα με τη μορφή προτύπων.Όπως διατυπώνει περιεκτικά το Wired Magazine: “Ηαναζήτηση της γνώσης άρχιζε με ‘μεγάλες’ θεωρίες. Πλέονξεκινά με τεράστιους όγκους δεδομένων,” και συνεχίζει:“Παντού αισθητήρες. Απεριόριστος χώρος αποθήκευσης.Σύννεφα επεξεργαστών. Η ικανότητά μας να καταγράφουμε,αποθηκεύουμε και κατανοούμε μεγάλους όγκους δεδομένωναλλάζει την επιστήμη, την ιατρική, τις επιχειρηματικέςδιαδικασίες και την τεχνολογία. Καθώς το σύνολο των δεδομένωνκαι προτύπων που συλλέγουμε θα μεγαλώνει, τόσοθα αυξάνεται και η ικανότητα μας να απαντούμε θεμελιώδηερωτήματα.”Η έννοια των analytics υπάρχει με τη μορφή της ΕπιχειρηματικήςΕυφυΐας εδώ και περίπου 15 χρόνια, με συνεχή ανάπτυξησε μεγάλους ρυθμούς. Η επιχειρηματική ευφυΐα περιλαμβάνειέννοιες όπως αποθήκες δεδομένων (data warehousing),αναλυτική επεξεργασία δεδομένων (OLAP), εξόρυξη δεδομένων(data mining) κ.α. Ενώ στην αρχή αφορούσε σχεδόναποκλειστικά επιχειρήσεις και οργανισμούς με πολύ μεγάλοΧαρακτηριστικά και ΠροκλήσειςΤα Μεγάλα Δεδομένα χαρακτηρίζονται από τα 3Vs: Volume,Variety, Velocity. Ο μεγάλος όγκος (volume) δεδομένωνχαρακτηρίζει τις μοντέρνες εφαρμογές, ενώ τα δεδομέναέρχονται σε διάφορες μορφές, όπως σχεσιακά δεδομένα,εικόνα, ήχος, video (variety.) Τέλος, η παραγωγή των δεδομένωνμπορεί να είναι σε πολύ μεγάλους ρυθμούς (π.χ. tweets,financial streams, αισθητήρες) και η εξαγωγή συμπερασμάτωννα πρέπει να γίνει σε πραγματικό χρόνο (velocity.)Οι μεγάλες συμβουλευτικές εταιρίες (π.χ. McKinsey, Gartner)έχουν δημοσιεύσει τα τελευταία 2-3 χρόνια εξαιρετικέςμελέτες για τον τομέα των Big Data, παρουσιάζοντας ταχαρακτηριστικά και τις προκλήσεις αυτών των εφαρμογών,καθώς και τις απαιτούμενες ικανότητες των data scientists.Για παράδειγμα, η McKinsey στη μελέτη «Big Data: The nextfrontier for innovation, competition and productivity» παρουσιάζειεφαρμογές και οικονομικά οφέλη από τη χρήση τωνbig data. Στον τομέα αναφέρονται με άρθρα γνωστές εφημερίδες,όπως η New York Times, περιοδικά - ο Economistδημιουργεί special issues - το World Economic Forum στοΝταβός αναφέρεται στις δυνατότητες που προσφέρουν τα bigdata (“Big Data, Big Impact: New Possibilities for InternationalDevelopments”, ενώ μία σειρά άρθρων αφιερωμένα στα BigData και τις οικονομικές συνέπειες που έχουν εμφανίζονταισε ειδικό section στο φημισμένο Harvard Business Review.Όλοι συμφωνούν για τις προκλήσεις στη διαχείριση Big Dataκαι τις ευκαιρίες που υπάρχουν σε τομείς όπως η εκπαίδευση,η υγειονομική περίθαλψη, η ενέργεια, οι μεταφορές, οαστικός σχεδιασμός κ.α. Οι εφαρμογές αναπτύσσονται σε5 κύριες φάσεις, ενώ σε κάθε φάση υπάρχουν παρούσες 4προκλήσεις .ΤεχνολογίεςMapReduce, Hadoop και ΟικοσύστημαΤο MapReduce είναι ένα προγραμματιστικό παράδειγμα(programming paradigm) που επιτρέπει με σχετικά εύκολοinfocom•07•15 7