Big Data Workshops

Datarella Consulting

 

BIG DATA WORKSHOPS

INTRODUCTION TO BIG DATA

  • The Paradigm Shift
  • Hadoop, NoSQL
  • Open Data, Open Tools
  • Streetfighting Data Science
  • Social Media Monitoring
  • Trends, Ngrams, Correlate
  • APIs
  • Visualization

APPLIED DATA SCIENCE

  •  Learn Data Science like you learn chemistry
  • Textmining, Predictive Modeling
  • Machine Learning
  • Working with state-of-the-art Data Science Tools

OPEN INNOVATION

  •  Knowledge Absorbing: Cross-country, -industry and – department networking to facilitate innovation
  • Universal Communication: form reading and searching to exploring, discussing, exchanging and sharing
  • Intrapreneurship support through empowerment and think tanks

DEVELOPING BIG DATA PRODUCTS

  • Development of a Big Data strategy
  • From product ideas to finished products
  • Brainstorming, Group Work, Use Cases

Interested? You may call, email or visit us!

 

Das Big Data Versprechen: Bessere und schnellere Entscheidungen treffen

Big Data verspricht, besser und schneller entscheiden zu können. Während bisher Daten-Stichproben als das Max der Dinge eingesetzt wurden, können wir nun alle relevanten Daten abfragen und verarbeiten. Und die Ergebnisse stehen nicht nach Monaten oder Wochen, sondern nach Minuten oder Sekunden zur Verfügung. Lösen die seit geraumer Zeit aus dem Boden spriessenden Big Data Unternehmen dieses Versprechen ein?

Big Data Issues
Quelle: NewVante Partners

Laut einer NewVantage Partners Big Data Umfrage auf Vorstandsebene in Fortune 500 Unternehmen aus dem Finanzsektor, wie Bank of America, JP Morgan, Wells Fargo, American Express und Fidelity Investments sowie einigen Nicht-Finanzunternehen wie General Electric, meinen über ein Fünftel (22%) der befragten Top-Manager schnellere und bessere Entscheidungen auf Basis von Big Data Initiativen treffen zu können. Diese Ergebnisse wurden in so unterschiedlichen Projekten wie der Zusammenführung vieler unstrukturierter Datenströme wie Sensortasten und Social Media Daten mit strukturierten Daten aus öffentlichen Regierungsinstitutionen, als auch der FRagestellung, wie diese Daten zur Formulierung neuer Marketing Kampagnen eines Kreditkartenunternehmens genutzt werden können.

Übereinstimmend wird der grösste Vorteil in Big Data Projekten darin gesehen, dass zeitaufwendige Tätigkeiten wie das Formulieren einer Hypothese und der Datenaufbereitung nicht zu Beginn eines Projekts anfallen, sondern erst dann zu Tragen kommen, wenn in den Daten interessante Muster erkannt worden sind. Dieser Zeitvorsprung schmilzt die sogenannte  Time-to-Answer TTA auf eine deutlich kürzere Zeitspanne ein. Insofern bedeutet auch die Minimierung der TTA  den grössten Einzelnutzen, den ein Big Data Unternehmen bringen kann.

 

Wie mit Quantified Self Big Data ein Teil unseres Lebens wird

Es gibt mittlerweile viele Fitness-Apps und Zusatzgeräte, die dem Menschen helfen gesünder zu leben. Durch das tägliche Sammeln und Speichern aller Bewegungsdaten und von Angaben zur Nahrungsmittelaufnahme kann der gesundheitsbewusste Mensch kontrollieren, wieviel er sich tatsächlich beengt und wieviele Kalorien er zu sich nimmt.

Wer sein Verhalten konsequent täglich misst, sammelt eine große Menge an Daten an, die es zu analysieren gilt. Apps wie Up oder Nike+ Fuelband bereiten die Daten in ansprechenden., gut lesbaren Graphiken auf, die dem Nutzer einen schnellen Überblick seines Verhaltens erlauben. Inwiefern helfen die gesammelten Daten und ihre Aufbereitung aber nun wirklich? Sehen wir uns lediglich die schönen Charts an oder ändern wir basierend auf neuen Erkenntnissen unsere Lebensweise? Und – wie genau messen diese Apps wirklich? Können wir uns auf die Ergebnisse verlasen, so dass eine Verhaltensänderung auch den richtigen Schritt bedeutet?

Apps wie Human oder Moves motivieren ihre Nutzer dazu, sich über einen bestimmten Zeitraum pro Tag zu bewegen. Es sind simple Apps, die nur ein Ziel haben: mehr Bewegung ihrer Nutzer. Und weil jede zusätzliche Komplexität im mit Terminen, Verpflichtungen und mentalen Anforderungen angefüllten Tagesablauf störend wirken würde, verzichten die Apps auf Funktionalität: man wird aufgefordert, sich 30 Minuten pro Tag zu bewegen – sonst nichts. Diese Einfachheit ist der erste wichtige Grund dafür, wie Big Data ein Teil unseres Lebens wird: indem man sich nicht darum kümmern muss, sorgen Apps und tragbare Geräte dafür, dass wir automatisch und nebenbei die für uns wichtigen Daten sammeln.

wearable devices

Heute und auch noch ein paar Jahre in die Zukunft gedacht, nutzen wir die sogenannten wearable devices – tragbare Geräte wie beispielsweise den Withings Pulse. Der Gesamtmarkt für wearable device wird auf etwa 300 Millionen verkaufte Geräte im Jahr 2017 geschätzt. Im nächsten Schritt werden externe Zusatzgeräte wie der Pulse vermutlich von Implantaten und invasiven Arzneimitteln ersetzt: Wie sollte man den eigenen Körper besser kennenlernen, als durch den Blick ins Innere? Körpertemperatur, Puls, Atemfrequenz, der Hormonhaushalt und sogar eingenommene Medikamente können automatisch jederzeit gemessen und kontrolliert werden. Nicht nur für die Optimierung des persönlichen Wohlergehens, sondern auch für die Früherkennung und Prävention von Krankheiten kann dies von unermesslichem Wert sein.

Neben den klar erkennbaren Vorteilen des Quantified Self lasen sich auch potentielle Gefahren erkennen: was passiert, wenn die gemessenen Daten gegen die messende Person verwendet werden? Was, wenn die Daten in unbefugte Hände gelangen? Diese Fragen deuten auf reale Gefahren hin und müssen beantwortet werden. Die Tatsache, dass die komplette und ständige Vermessung des menschlichen Körpers in kurzer Zeit Realität sein wird und die daraus entstehenden Vorteile für Millionen von kranken und gefährdeten Menschen lebensrettend sein können, macht deutlich, wie wichtig dies für den Menschen ist und dass Quantified Self als ein selbstverständlicher Aspekt jeden verantwortungsbewussten Verhaltens angesehen werden wird.

Die mobile Revolution erreicht das Auto

Angefangen hat alles mit Smartphones: heute gehen die Menschen häufiger mobil ins Internet als über ihre PCs. Tablets lösen das Notebook ab und Brillen werden zu app-gesteuerten Mini-Computern. Die neue Welle der wearable device macht auf der Nase oder Uhr am Arm noch lange nicht halt – zukünftig werden wir Chips und Sensoren an allen möglichen Kleidungsstücken tragen.

Aber auch Haushaltsgegenstände wie Kühlschränke, Waschmaschinen, Trockner oder Waagen funktionieren immer häufiger über mobile Betriebssysteme. Das Internet of Things und der Machine-to-Machine Markt (M2) sind die großen Trends an dieser Stelle.

Eher unbemerkt ist die Mobilisierung jedoch an ganz anderer Stelle vorangeschritten – in des Menschen liebsten Luxusprodukts – dem Auto. Seit längerem schon stattet BMW seine Mittel- und Oberklassefahrzeuge mit SIM-Cards aus, die beispielsweise im Falle eines im Wagen vergessenen Schlüssels das Öffnen des Autos per Remote Kundendienst ermöglicht.

Connected Car Revenue

Quelle: BusinessInsider [PDF]

Die Autofahrerin macht während der Fahrt das, was sie typischerweise macht, wenn sie im allgemeinen unterwegs ist: navigieren, telefonieren und Musik hören. Zudem verbringen viele Menschen eine signifikante Zeitspanne ihres Tages im Auto – US-Amerikaner sitzen jeden Tag etwa 40 Minuten hinter dem Steuer. Im Stau stehen sie rund eine Stunde pro Woche.

Wenn also mobile Apps ihren Weg ins Auto finden, bedeutet dies ein enormes Potential für die App Economy: Milliarden von Menschen können sich eine knappe zusätzliche Stunde pro Tag mit mobilen Inhalten beschäftigen, kommunizieren und sind ansprechbar für Brands. Automobil- und Zulieferindustrie sind auf gutem Weg, das komplette Datenset einer jeden Autofahrt direkt im Fahrzeug zu sammeln. Dabei liegt der Fokus auf den Daten, die direkt vom Auto gemeldet werden und dabei helfen können, Unfälle zu vermeiden, Benzin zu sparen oder Versicherungstarife zu minimieren. Die Verhaltensdaten der Autofahrer selbst werden seitens der Autoindustrie nicht erhoben – hier bietet iognos einen zur industrielösung komplementären Ansatz, der Fahrzeugdaten und Personendaten zusammenführt.

Hadoop- oder: Die Geburt von Big Data

Wired bringt eine schönen Abriss der Geburtsstunde von Big Data, die grundsätzlich mit der Entwicklung und dem Einsatz von Hadoop gleichzusetzen ist. Das Software System, das heute von allen grossen Networks wie Facebook, Twitter, Yahoo etc. eingesetzt wird, wurde  2006 von Doug Cutting und Michael Cafarella programmiert. Pate stand Google, die bereits im Jahr 2004 den Grundstein legten und ihre Architektur open source zur Verfügung stellten.

Mit dem aus dem Datenspeicher Hadoop Distributed File System HDFS und der Datenverarbeitungsplattform MapReduce besteht, können riesige Datenmengen gespeichert und in einem zweiten Schritt über hunderte oder gar tausende Server ausgeliefert werden. Über MapReduce werden dann grosse Rechenaufgaben in viele kleine Aufgaben verteilt über mehrere Serververbünden (Cluster) aufgeteilt. Diese Architektur machte zum ersten Mal die Verarbeitung grosser Datenmengen zu vertretbaren Kosten möglich: anstelle mehrerer Supercomputer können handelsübliche Server eingesetzt werden.

Mit der Zeit wurde der Ruf nach einer Möglichkeit lauter, Daten direkt aus Clustern zu ziehen, ohne über MapReduce gehen zu müssen. Workarounds wie Pig, Hove, Twitters Storm oder Yahoos Spark ermöglichen dies – allerdings kommen auch sie nicht gänzlich ohne MapReduce aus. In der neuen Version von Hadoop – Hadoop 2.0 – wird genau dieses Problem gelöst: über die neue Systemkomponente YARN können Entwickler Applikationen direkt mit HDFS kommunizieren lassen, ohne MapReduce zu bemühen.

YARN befindet sich aktuell in der Alpha-Version und ist schon in einigen Hadoop- Auslieferungen eingebaut, wie beispielsweise in Cloudera. Eine Beta-Version ist bereits angekündigt.

Featured Image: Hortonworks

Big Data gewinnt im Handel an Fahrt

Big Data gewinnt auch im Handel immer mehr an Wichtigkeit. So gibt die Investmentbank Goldmann Sachs bekannt, dass sie sich über ihren Bereich Merchant Banking mit 100 Millionen Dollar an Applied Predictive Technologies beteiligt. APT bietet Cloud Services an, mit der seine Kunden alle Geschäftsentscheidungen auf Big Data Analyse basierend optimieren können. Neben Goldman Sachs ist Accel-KKR an dem 13 Jahre alten Unternehmen beteiligt.

Vertrauen ist die wichtigste Voraussetzung für das Teilen von Daten

Die einen würden niemals Daten mit anderen Menschen teilen, für andere ist es selbstverständlich, auch intime Momente in Sozialen Netzwerken bzw. für Marktforschungszwecke bereitwillig zu kommunizieren. Generell lässt sich sagen: je älter der Mensch ist, desto geringer ist seine Bereitschaft zum Teilen – und vice versa. Sieht man jedoch genauer hin und fragt die Menschen nach ihren Einstellungen zum Thema Sharing, zeigt sich ein differenzierteres Bild. Eine aktuelle Studie von PriceWaterhouseCoopers bietet genauere Einblicke.

Consumers' Attitudes

 

73% der Nutzer sind bereit, Ihre Daten für Marktforschungszwecke zu teilen, wenn sie etwas dafür erhalten. In den meisten Fällen sind dies Rabatte auf Produkte wie Kinofilme, Theaterkarten oder Essensgutscheine. Aber auch nützliche Informationen wie Verkehrshinweise oder ortsbezogene Tipps motivieren Nutzer zum Daten Sharing. In Frankreich ist die Bereitschaft zum Teilen etwas geringer – aber immerhin 45% der Konsumenten teilen ihre Daten im Austausch mit besserer Werbung, wie IPG Mediabrands und Microsoft herausgefunden haben.

Auch die Frage, welche Daten geteilt werden, ist durchaus differenziert zu beantworten:

Willingness to share

 

Je persönlicher die Information ist, desto weniger bereitwillig wird sie geteilt: Geschlecht und Ehestand werden sofort bekanntgegeben, bei Informationen wie dem Web Browser Verlauf oder Dinge aus dem Privatleben agieren die Menschen zurückhaltender. Für die Forschung lässt sich insgesamt festhalten: wenn der Nutzer den Sinn in der Abgabe seiner Daten erkennt und er einen Nutzen daraus zieht, ist er bereit, seine Daten zu teilen. Dies ist eine klare Ansage: Sage mir, was Du mit meinen Daten  machst und gebe mir etwas dafür – dann bekommst Du meine Daten.

Data Driven Marketing: Finde die Kunden, die Du überzeugen kannst!

Zu wissen, wie sich Kunden verhalten werden, ist das Eine. Diese Kunden ansprechen und davon überzeugen zu können, die Produkte des eigenen Unternehmens zu kaufen, ist das Andere. Nur zu wissen, wohin der Nutzer gleich klickt oder welche Richtung er in der Stadt einschlagen wird, ist für sich genommen noch keine wertvolle Information, meint Arjan Harding.

Der Marketing-Fokus sollte demnach auf diejenigen Nutzer gelegt werden, die sich überzeugen lassen, das eigene Produkt zu kaufen. Mit kombinierten Methoden aus Behavioral Science und Data Science, dem Persuasion Profiling, entstehen neue Möglichkeiten, überzeugbare Kundengruppen zu identifizieren: aus der sog. persuasion DNA des Nutzers lassen sich wertvolle Erkenntnisse wie beispielsweise das favorisierte Kommunikationsmittel herausfinden. Allein eine derartige Erkenntnis erhöht die Effektivität des Marketings signifikant.

Mobile Shopping – die unberührte Daten Goldmine

44% aller Konsumenten nutzt das Smartphone beim Einkaufen, über ein Drittel für Preisvergleiche. Der Einfluss mobiler Suche auf den Konsum ist enorm: 90% aller Konsumenten geben an, dass die Suche übers Smartphone ihr Kaufverhalten beeinflusst.

Während erste spontane Reaktionen Einzelhändler dazu verleitet haben, Smartphones aus ihren Geschäften zu verbannen, findet nun ein Umdenken statt: die App Nutzung im Laden wird nicht mehr als Bedrohung des stationären Handels begriffen, sondern als Chance, den Kunden proaktiv anzusprechen und ihm maßgeschneiderte Angebote zu unterbreiten. Dazu muss der Retailer das Kundenverhalten kennen; was macht der Konsument auf seinem Smartphone, wenn er im Laden ist?

Ein Ergebnis der bisherigen qualitativen Forschung ist, dass 36% der Käufer die App eines Unternehmens öffnend, auf dessen Website sie anschließend online einkaufen. Mit Hilfe der Sensortasten von Smartphones kann nun viel genauer erkannt werden, was der Kunden macht: So weiss beispielsweise Wal-Mart über seien App, wenn Kunden einen Store betreten: diese werden dazu aufgefordert, in den sogenannten „Store Mode“ zu wechseln, in dem sie anschliessend in der Lage sind, Angebote und weiterführende Produktinformationen über spezielle QR Codes zu erhalten. Wal-Mart wiederum kann die Wege seiner Kunden nachvollziehen und erhält so Rückschlüsse darüber, warum bestimmte Produkte weniger gut verkauft werden: weil beispielsweise Kunden ein Regal überhaupt nicht abschreiten. Der Erfolg der Wal-Mart App ist beeindruckend: App-Nutzer besuchen Stores signifikant häufiger und geben 40% mehr Geld aus als Kunden ohne App.

Auch nachdem der Kunde einen Laden verlassen hat, ist er für den Retailer über eine App erreichbar. Walgreens erinnert seine Kunden über die App daran, die gekaufte Medizin auch einzunehmen und Rezepte mit den in der App gespeicherten Geräten auszufüllen. Doch das ist erst der Anfang: Einzelhändler sollten die Chancen ergreifen und mit Ihren Kunden während ihres kompletten Lebenszyklusses über Apps zu kommunizieren. Sowohl Erkenntnisse über zukünftige Käufe, als auch der bestmögliche Einsatz der Kenntnis über den Ort des Konsumenten bieten vielfältige Gelegenheiten, die über „contextually aware apps“ gesammelten Daten sinnvoll einzusetzen.

Virtuelle Assistenten – Eine neue Generation von Apps wächst heran

Wer Siri oder Google Now kennt, weiss die Dienste der virtuellen Assistenten zu schätzen. Von einfachen Arbeiten wie der raschen ins Smartphone gesprochenen Erinnerung oder einem Kalendereintrag angefangen, über Kleidertips für den Folgetag aufgrund der integrierten Wetterdaten bis hin zur geänderten Routenplanung aufgrund neuer Stauinformationen: es ist einfach sehr praktisch, wenn jemand „mitdenkt“.

Mitdenkende Apps sind aktuell stark im Kommen: Auf dem Bloomberg Next Big Thing Summit stellten sie den Löwenanteil der Geschäftsmodelle, die man im Silicon Valley für die meistversprechenden hält. Da Apps natü+rlich nicht wirklich mitdenken, sondern relevante Daten aus dem jeweiligen Nutzer Kontext integriert, spricht man von contextually aware applications. Über Sensoren sammeln Smartphones Daten über die Bewegungen, Aufenthaltsorte, Interaktionen, Geräusch- und Lichtszenarien,  in denen sich der Nutzer bewegt.  Insbesondere die Gesundheitsbranche steht hier vor eine Revolution: Apps und tragbare medizinische Geräte können beispielsweise herzinfarktgefährdeten Menschen rechtzeitig vor dem Infarkt mitteilen, dass eine Notsituation bevorsteht. So wird aus einem Life-logging für Nerds schnell eine praktische massentaugliche Anwendung, die kein Betroffener mehr missen möchte. Oder, wie Gary Wolf auf der Quantified Self Conference 2013 treffend bemerkte:

„Quantifying yourself will be regarded as a responsibility.“

Damit den reizvollen Anwendungen auch die entsprechenden Technologien zur Verfügung stehen, kündigen derzeit Beratungsgesellschaften wie IBM aber auch der Chiphersteller Intel Produktoffensiven an, die im Falle von Intel gar einer Neudefinition des gesamten Unternehmens gleichkommen.