Datasta päätökseen ja takaisin

DATASTA
PÄÄTÖKSEEN JA
TAKAISIN
2
DATAN “PERINTEINEN”
HYÖDYNTÄMINEN: INDIKAATTORIT,
TUNNUSLUVUT, MITTARIT
• Indikaattorien avulla organisaatio voi seurata (omaa ja
muiden) suoriutumista
• Indikaattorilla on tyypillisesti numeraalinen arvo
• Erilaisia indikaattoreita on tuhansia ja uusia kehitellään
koko ajan
• Organisaatio (tai henkilö) valitsee itselleen tärkeimmät
indikaattorit - Key Performance Indicators (KPI)
• Visualisointi normaalisti dashboardeilla (“mittaritaulu”)
Maija Marttila-Kontio/Unicta OY
13/3/2014
3
Lähde:http://www.findexamples.com/executive-kpi-dashboard-examples/
Maija Marttila-Kontio/Unicta OY
13/3/2014
4
INDIKAATTORIEN
LUOKITTELUA
• Talous
• Asiakas
• Myynti ja markkinointi
• Toiminnallinen tehokkuus ja toimitusketju
• Työntekijä
• Yritysvastuu (Corporate social responsibility / CSR)
Bernard Marr: Key Performance Indicators
Maija Marttila-Kontio/Unicta OY
13/3/2014
5
TALOUSINDIKAATTOREITA
• Nettotulos (Net profit)
• Myynti vähennettynä toiminnan kustannukset
• Paljonko jäi rahaa jäljelle kun tuloista vähennetään
menot
• Nettotulosprosentti (Net profit margin)
• Nettotulos/Liikevaihto * 100
• Paljonko voittoa tuli suhteessa liikevaihtoon
• ROI (Return on investment)
• (Sijoituksen tuotto – sijoituksen kulut) / Sijoituksen kulut *
100
• Arvioidaan sijoituksen tehokkuutta
Bernard Marr: Key Performance Indicators
Maija Marttila-Kontio/Unicta OY
13/3/2014
6
ASIAKASINDIKAATTOREITA
• Customer retention rate (Asiakaspysyvyys)
• Asiakkaita ajanjakson lopussa / asiakkaita ajanjakson alussa
• Tehokas asiakkaiden uskollisuuden osoittava indikaattori
• Customer satisfaction index (Asiakastyytyväisyys)
• Monelle organisaatiolle talousindikaattoreiden jälkeen
merkittävin indikaattori
• Monia tapoja laskea, yleensä keskiarvo arvoista joiden
uskotaan vaikuttavan asiakastyytyväisyyteen (odotukset,
koettu laatu, koettu arvo, valitukset, uskollisuus)
• Customer lifetime value (Elinikäinen arvo)
• Arvio koko asiakkuuden tuotosta
• Lasketaan kertomalla arvioitu asiakkuuden kesto ja
vuosittainen arvo
Bernard Marr: Key Performance Indicators
Maija Marttila-Kontio/Unicta OY
13/3/2014
7
MYYNTI JA MARKKINOINTI
-INDIKAATTORIT
• Market share (Markkinaosuus)
• Organisaation markkinaosuus / Koko markkinat
• Relative market share (Suhteellinen markkinaosuus)
• Organisaation markkinaosuus / Suurimman toimijan
mark.os.
• Cost per lead (Liidin hinta)
• Markkinointikampanjan budjetti / Saadut liidit
• Conversion rate
• Esim. 20000 webkauppa-asiakasta, joista 3000 lisää
tuotteen ostoskoriin, tällöin tämän vaiheen conversion
rate on 3000/20000 * 100 = 15%
Bernard Marr: Key Performance Indicators
Maija Marttila-Kontio/Unicta OY
13/3/2014
8
TOIMINNALLISEN TEHOKKUUDEN JA
TOIMITUSKETJUN INDIKAATTORIT
• Capacity utilization rate (Käyttöaste)
• Käytetyt tunnit / Mahdolliset tunnit * 100
• Esim. henkilöllä 40 työtuntia viikossa, josta 35 h käytetty
projekteihin, tällöin käyttöaste 35h/40h = 87,5%
• Billing rate (Laskutusaste)
• Laskutetut tunnit / Mahdolliset tunnit *100
• Käytetään projektityössä, asiantuntijatehtävissä (esim.
konsultointi ja ohjelmistokehitys)
• Time to market
• Kuinka kauan tuotteen kehittäminen ideasta
myyntivalmiiksi kestää
Bernard Marr: Key Performance Indicators
Maija Marttila-Kontio/Unicta OY
13/3/2014
9
TYÖNTEKIJÄINDIKAATTORIT
• Revenue per employee (Liikevaihto per henkilö)
• Liikevaihto / henkilömäärä
• Riippuu kustannusrakenteesta sekä toimintamallista
• Employee churn rate (Työntekijöiden vaihtuvuus)
• Pois lähteneet työntekijät / Kaikki työntekijät * 100
• 360 degree feedback score
• 360-arvioinnissa työntekijä arvioidaan esimiesten,
vertaisten ja alaisten toimesta (usein myös itsearvio),
• Score on esim. keskiarvo näistä
Bernard Marr: Key Performance Indicators
Maija Marttila-Kontio/Unicta OY
13/3/2014
10
CSR-INDIKAATTORIT
Corporate social responsibility
• Carbon footprint (Hiilijalanjälki)
• CO2-päästöjen määrä per tuote/yritys/tms.
• Water footprint (Vesijalanjälki)
• Makean veden määrä per tuote/henkilö/yritys/tms.
• Supply chain miles
• Kilometrit, jotka tuote on matkannut tuotantopaikasta
asiakkaalle
• Waste recycling rate
• Waste reduction rate
Bernard Marr: Key Performance Indicators
Maija Marttila-Kontio/Unicta OY
13/3/2014
11
NÄKÖKULMAN
LAAJENTAMINEN
• KPI:t ja mittarit eivät ole häviämässä minnekään
• Edellisten rinnalle syntyy uudenlaista tietämystä (insight)
data-analytiikan monipuolisemman ja laajaalaisemman hyödyntämisen tuloksena
• Minkälainen on data-analytiikan uusi kenttä ja kuka
siellä työskentelee -ja minkälaisissa tehtävissä?
• Seuraavaksi lähdetään hahmottamaan polkua, jonka
alkupisteenä on datalähteet ja loppupisteenä
päätöksenteko/reagointi
Maija Marttila-Kontio/Unicta OY
13/3/2014
12
DATAN MATKA A:STA Ö:HÖN
• Polku sisältää monta välietappia, osa niistä on
vaihtoehtoisia (riippuu, mitä haetaan)
• Päätöksenteko ja reagointi synnyttävät (välillisesti ja
välittömästi) uutta dataa, joka sekin kannattaa
hyödyntää uudelleen pisteessä A
• Seuraava dia on pelkistetty versio datan matkasta
• HUOM: *:llä merkityt kohdat ovat mielenkiintoista
lisätietoa/”sukellus syvemmälle asiaan”. Näitä kohtia ei
välttämättä ehditä käymään läpi 1. päivänä.
Maija Marttila-Kontio/Unicta OY
13/3/2014
13
Datan kaivelu,
tutkiminen,
ennusteiden
tekeminen
CRM
ERP
DATA ESIKÄSITTELY
Mitä, mistä, kuinka?
Maija Marttila-Kontio/UEF/Unicta
KÄSITTELY
Välineet?
TIEDON
ESITTÄMINEN
PÄÄTÖS
Kenelle? Tavoite?
11/15/2014
Maija Marttila-Kontio/Unicta OY
13/3/2014
14
ASKEL 1
Mistä dataa?
15
DATA: LÄHTEET, MUOTO,
LAATU,…
• Datan lähteet?
• Ulkoiset ja sisäiset? Rakenteelliset/rakenteettomat?
• Tietokannat ja API:t (RDBMS, NoSQL, Hadoop, jne…)
• Kustannukset? (Avoin data, oma data vai maksullinen?)
• Datan muoto, formaatit
• JSON, XML, CSV, Excel, RDF, ….
• Datan luotettavuus? (=lähteen luotettavuus)
• Datan laatu? (“reikäistä dataa?”)
• Datan määrä?
• Big Data vai not-so-big-data?
Maija Marttila-Kontio/Unicta OY
13/3/2014
16
MITÄ ON RAKENTEINEN
DATA?
• Ennalta määriteltyä
• Tarkasti organisoitua
• Data identifioitavissa
• Relaatiotietokannat, taulukot (spreadsheets)
• Helppo/helpohko käsitellä datamallia noudattamalla
• Metadata saatavilla?
• Rakenteisuuttakin eri tasoista!
Maija Marttila-Kontio/Unicta OY
13/3/2014
17
ESIMERKIKSI:
• Relaatiotietokannat
• Data warehouses
• XML
• CRM- ja ERP-data
Maija Marttila-Kontio/Unicta OY
13/3/2014
18
RAKENTEETON DATA:
• Video
• Audio
• Sähköposti
• RSS-syötteet
• tekstidokumentit
Maija Marttila-Kontio/Unicta OY
13/3/2014
19
RAKENTEETON DATA…
• Ennakkoon ei tiedetä, mitä sisältää (ei datamallia, ei
metadataa)
• Voi sisältää useampaa eri dataformaattia
• Ei metadataa
• Vapaa teksti perinteisin esimerkki
• Rakenteettoman datan hyödyntäminen yksi tämän
hetken ”trendeistä” (twitter-, facebook-,
blogilouhinta…)
• Perinteiset koneet/ohjelmat eivät pysty helposti
sulattamaan
Maija Marttila-Kontio/Unicta OY
13/3/2014
20
MIKÄ PUREE
RAKENTEETTOMAAN
DATAAN?
• Tiedonlouhinta (data mining)
•
•
•
•
Tekoälyä
Koneoppimista (ohjattua/ohjaamatonta)
Analytiikka
Statistiikka
• Pienellä datamäärällä ei kannata vaivautua
• Mm. yhteyksien (relationship), ”lainalaisuuksien”,
hahmojen etsintää (pattern recognition)
Maija Marttila-Kontio/Unicta OY
13/3/2014
21
DATAN ERI FORMAATIT
• Enemmän ja vähemmän standardoidut datamääreet
• Lukematon määrä, uusia syntyy, vanhoja poistuu
• Voidaan jaotella erilaisin tavoin
Maija Marttila-Kontio/Unicta OY
13/3/2014
22
Maija Marttila-Kontio/Unicta OY
13/3/2014
23
*MISSÄ MUODOSSA DATA ON?
Tabular
Data
Tree
RDF
Maija Marttila-Kontio/Unicta OY
CSV
JSON
XML
13/3/2014
24
*ERÄITÄ TUNNETUIMPIA
FORMAATTEJA
• XML
• (Text documents)
• CSV
• KML
• HTML
• GML
• JSON
• PDF
• XLS
• Kuvaformaatit (n kpl)
• (RSS (Web feeds))
• Plain text
• GPS
• Spreadsheets
• RDF
• GIS
• …
Maija Marttila-Kontio/Unicta OY
13/3/2014
25
*ESIMERKKEJÄ
• XML:
http://www.w3schools.com
/xml/simple.xml
Yllä JSON- ja XML-esimerkit. Lähde: http://json.org/example
Maija Marttila-Kontio/Unicta OY
13/3/2014
26
DATAN LAADUSTA:
• Korvaako määrä laadun?
• Mitä dataa on kerätty? (Onko kaikki tarvittava data
varmasti mukana?)
• Mistä dataa on kerätty? (Lähteen/aineiston
luotettavuus?)
• Millä keinoin?
• Miten on putsattu, korvattu ja/tai yhdistelty? (esim.
puuttuvat arvot korvattu keskiarvoilla?)
• Milloin on kerätty/päivitetty (ajankohta, ajankohtaisuus,
aikaikkuna?)
Maija Marttila-Kontio/Unicta OY
13/3/2014
27
*LAADUKKAAN DATAN VAATEITA:
Kuvastaako data
varmasti
reaalimaailmaa?
Lähdekriittisyys!
Sisältääkö kerätty
aineisto ristiriitoja?!
Johdonmukaisuus/
yhdenmukaisuus
(consistency)
Onko mm. datat
yhteensopivia?
Eheys (integrity)
Ajantasaisuus
(timeliness)
Data päivitetään
sille määrättynä
frekvenssinä.
Maija Marttila-Kontio/Unicta OY
Tarkkuus,
paikkansapitävyys
(accuracy,
correctness)
Voimassaolo
(validity)
Kuvastaako data
tämän hetken
todellisuutta?
Täydellisyys
(completeness)
Onko tarvittava
data saatavilla?
13/3/2014
Maija Marttila-Kontio/Unicta OY
13/3/2014
28
ASKEL 2: MINNE DATA?
29
MINNE
JATKOKÄSITELTÄVÄKSI?
• Tallennuskapasiteetin tarve?
•
•
•
•
•
•
Kuinka paljon dataa tulee?
Reaaliaikaisuuden tarve?
Oma tietokanta/palvelin/private cloud?
Tallennuskapasiteetti pilvestä?
Hadoop?
Relaatiotietokanta vai NoSQL-kanta?
• Laskentaresurssit?
• Pyörittääkö Excel vai tarvitaanko järeämpi kalusto?
• Laskennan aikavaativuus?
Maija Marttila-Kontio/Unicta OY
13/3/2014
Maija Marttila-Kontio/Unicta OY
13/3/2014
30
ASKEL 3: DATAN ESIKÄSITTELY
Data on harvoin valmista suoraan analysoitavaksi
31
*DATAN PUHDISTUKSESTA:
Datan laatu vs. puhdistuksen ja
muokkauksen tarve?
Suunnittelu
Reagointi
Keräys
Johtopäätökset/
Puhdistus,
eheyttäminen
tulkinta
Analysointi
Maija Marttila-Kontio/Unicta OY
1. Datan keräys
(import)
6. Duplikaattien
poisto
7. Varmistus,
parantaminen
2. Datojen
yhdistäminen
5. Normalisointi
8. Valmis data
ulos (export)
3. Puuttuvan
datan
korjaaminen
4. Standardointi
13/3/2014
Maija Marttila-Kontio/Unicta OY
13/3/2014
32
ASKEL 4: DATATALKOOT
Ihmettelyä ja analysointia
33
ALUSSA OLI HÄMMÄSTYS
• Datan tutkiskelu, pyörittely, ihmettely (joulukuun aihe)
• Kuvaileva statistiikka
• Mikä kiinnittää huomion?
• Mikä olisi jatkotutkimuksen arvoista?
• Työkalut?
• SPSS, R, Python, SAS, Excel,… (satoja erilaisia)
Maija Marttila-Kontio/Unicta OY
13/3/2014
34
*CASE TWITTER-DATA
• Suuri datamäärä: minne siirretään?
• Twiitti JSON-formaatissa
• Laatu? (mitä tahdotaan saada selville?)
• Miten twiiteistä saadaan jotain järkevää tietoa selville?
• …
• Kun twiiteistä on saatu erotettua haluttu data, alkaa
analysointivaihe. (Esim. tekstianalyysi)
Maija Marttila-Kontio/Unicta OY
13/3/2014
35
*TIEDONLOUHINTA (DATA
MINING)
• Olennaisen etsimistä sopivin työkaluin
• Hahmojen tunnistus, lainalaisuudet, assosiaatiot, syyyhteydet, jne…
• Koiranomistajat suosivat farmariautoja
• Jos nainen ostaa sukkahousuja hän mitä
todennäköisimmin ostaa myös kukkakaalia ja oliiveja
• Urheilulliset miehet ja johtavassa asemassa olevat naiset
ovat suurimmat asiakassegmentit
Maija Marttila-Kontio/Unicta OY
13/3/2014
36
*ESIMERKKEJÄ
• Asiakkaiden pysyvyys
• Asiakasdata ja käyttäytymisdata
• Luottopäätökset
• Muut luotot, tulot, maksut, maksukäyttäytyminen
•
•
•
•
•
•
Asiakkaiden segmentointi CRM:ssä
Fraud detection
Kohdemarkkinointi
Lääketieteelliset diagnoosit
Oppivat robotit
Pelit
Maija Marttila-Kontio/Unicta OY
13/3/2014
37
*KONEOPPIMISEN MAHTI
• Taikasanat: “oppiminen”, tekoäly
• Ohjattu ja ohjaamaton oppiminen
• Työkaluja:
•
•
•
•
•
•
•
•
•
•
Deep Learning
Decision tree learning
Association rule learning (esimerkki opetuspäivänä)
Artificial neural networks
Inductive logic programming
Support vector machines
Clustering
Bayesian networks
Representation learning
Similarity and metric learning
Maija Marttila-Kontio/Unicta OY
13/3/2014
38
MALLISTA ENNUSTAMISEEN
• Ennustava analytiikka tärkeimpiä sovelluskohteita
• Jos tarjoamme tuotetta 1,5 x isompana, myynti kasvaa
78% todennäköisyydellä 30%:lla
• Datan perusteella yritetään luoda malli, joka
mahdollisimman hyvin kuvaa todellisuutta.
• Mallia arvioidaan ja testataan testein
• Kun malli on “tarpeeksi hyvä”, se voidaan ottaa
käyttöön
• Syöttämällä malliin sen vaatimat parametrit, malli
tuottaa parametreja vastaavan ulostulon.
Maija Marttila-Kontio/Unicta OY
13/3/2014
Maija Marttila-Kontio/Unicta OY
13/3/2014
39
ASKEL 5: TULOSTEN TULKINTA JA
ESITTÄMINEN
data-analyytikko tulkitsee tulokset ennen
päätöksentekijöitä
40
TULKINTA ENNEN
RAPORTOINTIA
• Data-analyytikko tulkitsee tulokset ennen niiden
lopullista esittämistä/raportointia esimerkiksi
johtoryhmälle
• Eri ihmiset voivat tulkita ja täten painottaa tulosten
arvoa eri tavoin (data-analyytikon valta ja vastuu!)
• Tulkintaa ja painotukseen voivat vaikuttaa myös
yrityksen strategia, arvot tai data-analyytikon
substanssialan osaaminen
Maija Marttila-Kontio/Unicta OY
13/3/2014
41
TULOSTEN ESITTÄMINEN
tulos
tulkinta
Maija Marttila-Kontio/Unicta OY
tietämys
johtopäätös
Reaktio
13/3/2014
42
KUVA JA ANIMAATIO
KERTOO ENEMMÄN:
• http://guns.periscopic.com/?year=2013
• http://vimeo.com/28413747
• http://www.creativebloq.com/design-tools/datavisualization-712402
• http://www.informationisbeautiful.net/
• http://flowingdata.com/
• http://www.ted.com/talks/hans_rosling_shows_the_best
_stats_you_ve_ever_seen?quote=130
Maija Marttila-Kontio/Unicta OY
13/3/2014