Szybkie wprowadzenie do eksploracji danych z pakietem Weka

Wprowadzenie Weka Eksploracja danych Rozszerzenia
Weka – szybkie wprowadzenie
Lukasz Kobyli´nski
Sages sp. z o.o.
Instytut Podstaw Informatyki PAN
Sages Weka – szybkie wprowadzenie 1 / 49

Plan
1 Wprowadzenie
2 Praca z pakietem Weka
3 Eksploracja danych
4 Rozszerzanie pakietu i aspekty integracji

Wprowadzenie

Czym jest Weka?
Weka to pakiet, zawierajacy implementacje wielu
algorytmów, slu˙zacych do eksploracji danych.
ponad 80 metod klasyfikacji, regresji, grupowania, doboru
atrybutów,
podstawowe wsparcie dla odkrywania regul asocjacyjnych,
inne algorytmy dostepne w postaci wtyczek,
napisana w Javie,
udostepnia zarówno interfejs okienkowy, jak i programistyczny,
istnieje mo˙zliwo´sć integracji z innymi systemami analizy
danych.
Licencja: Weka udostepniana jest na licencji GPL 3.0. Projekty
zbudowane na podstawie Weki musza być udostepnione razem z
kodem ´zródlowym.

Czym jest eksploracja danych?
Eksploracja danych to proces odkrywania ukrytych informacji
w danych.
https://visualisingadvocacy.org/blog/disinformation-visualization-how-lie-datavis

Ewolucja podej´sć do analizy danych
Zbieranie danych (Data Collection)
Jaki byl laczny przychód mojej firmy w ciagu ostatnich 5 lat?
Dostep do danych (Data Access)
Jaki byl przychód oddzialu malopolskiego w marcu ostatniego roku?
Hurtownie danych (Data Warehousing)
Jaki byl przychód oddzialu malopolskiego w marcu ostatniego roku? Jaka
cze´sć stanowil Kraków?
Eksploracja danych (Data Mining)
Jak bedzie sie ksztaltować sprzeda˙z w Krakowie w kolejnym miesiacu?
Dlaczego?
Du˙ze Dane (Big Data)
Jakie wzorce zachowań mo˙zna zauwa˙zyć u naszych klientów on-line?

Typowe zastosowania
Analiza danych finansowych
jakie sa trendy wyników sprzeda˙zy?
Analiza danych o klientach
którzy klienci sa kluczowi z punktu widzenia firmy,
które produkty beda sie sprzedawać w przyszlym roku?

Typowe zastosowania (2)
Analiza danych tekstowych
do jakiej kategorii mo˙zna zaklasyﬁkowa´c ten email?
czy ta recenzja produktu ma wyd´zwiek pozytywny, czy
negatywny?
jaka opinie ma ten polityk na Twitterze?

Typowe zastosowania (3)
Analiza obraz´ow
kto z moich znajomych jest widoczny na tych zdjeciach?
w jakim wieku i jakiej plci sa ci ludzie?

Architektura pakietu
Weka to ´srodowisko uruchomieniowe metod uczenia
maszynowego i implementacje poszczególnych algorytmów
Weka Core
algorytmy
Classifiers
Clusterers
Associations
Filters
Attribute Selection
Wtyczki

Sposoby pracy z pakietem
Explorer – eksploracyjna analiza danych, interfejs zakladek, kt´ore
odpowiadaja kolejnym etapom analizy danych,

KnowledgeFlow – graficzna reprezentacja procesu przetwarzania
danych w postaci widgetów i polaczeń miedzy nimi,

Experimenter – umo˙zliwia uruchamianie wieloetapowych lub
wielokrotnie powtarzanych eksperyment´ow.

Weka udostepnia równie˙z interfejs wiersza linii poleceń
Wiersz poleceń
java -Xmx1024m weka.classifiers.trees.J48 -t
data.arff -i -k -d J48-data.model
oraz interfejs programistyczny
Interfejs programistyczny
import weka.core.converters.ConverterUtils.DataSource;
...
DataSource source = new DataSource(”/some/where/data.arff”);
Instances data = source.getDataSet();
// setting class attribute if the data format does not provide this information
// For example, the XRFF format saves the class attribute information as well
if (data.classIndex() == -1)
data.setClassIndex(data.numAttributes() - 1);

Skad uzyska´c informacje?
Dokumentacja i Wiki
http://www.cs.waikato.ac.nz/ml/weka/documentation.html
http://weka.wikispaces.com/
http://wiki.pentaho.com/display/DATAMINING/Pentaho+Data+
Mining+Community+Documentation
Ksia˙zka
http://www.cs.waikato.ac.nz/ml/
weka/book.html

Praca z pakietem Weka

Przygotowanie danych do analizy
Jakie dane mo˙ze analizować Weka?
dane musza być ustrukturyzowane,
format tabelaryczny ze ´sci´sle typowanymi kolumnami,
domy´slnym formatem jest ARFF (lub XRFF), istnieje
mo˙zliwo´sć ladowania innych typów (np. CSV),
ARFF – pozwala na oznaczanie danych brakujacych,
ARFF – pozwala na zapisywania danych rzadkich (sparse
data),
istnieje mo˙zliwo´sć odczytu/zapisu z bazy danych.

Format danych ARFF
Podstawowy format zapisu danych w Wece
– Attribute-Relation File Format – zbli˙zony do CSV, z
dodatkowymi metadanymi.
Nagl´owek
% 1. Title: Iris Plants Database
@RELATION iris
@ATTRIBUTE sepallength REAL
@ATTRIBUTE sepalwidth REAL
@ATTRIBUTE petallength REAL
@ATTRIBUTE petalwidth REAL
@ATTRIBUTE class {Iris-setosa,Iris-versicolor,
Iris-virginica}

Format danych ARFF
Dane
@DATA
5.1,3.5,1.4,0.2,Iris-setosa
4.9,3.0,1.4,0.2,Iris-setosa
4.7,3.2,1.3,0.2,Iris-setosa
7.0,3.2,4.7,1.4,Iris-versicolor
6.3,3.3,6.0,2.5,Iris-virginica
5.8,2.7,5.1,1.9,Iris-virginica
6.3,?,5.6,?,Iris-virginica
Znak ? oznacza dane brakujace.

Format danych ARFF
Dostepne typy danych
numeric
integer (=numeric)
real (=numeric)
<nominal-speciﬁcation >
string
date [<date-format>]
Na przyklad:
@ATTRIBUTE timestamp DATE ”yyyy-MM-dd HH:mm:ss”
@DATA
”2001-04-03 12:12:12”

Format danych ARFF
Typ relational
@attribute molecule_name {MUSK-jf78,...,NON-MUSK-199}
@attribute bag relational
@attribute f1 numeric
...
@attribute f166 numeric
@end bag
@attribute class {0,1}
...
MUSK-188,"42,...,30",1

Format danych ARFF – dane rzadkie
Zamiast
@data
0, X, 0, Y, "class A"
0, 0, W, 0, "class B"
Mo˙zliwy jest zapis:
@data
{1 X, 3 Y, 4 "class A"}
{2 W, 4 "class B"}

Dostep do bazy danych
Dostep do baz danych realizowany poprzez sterowniki JDBC
Konieczne jest:
pobranie odpowiedniego sterownika JDBC dla danej bazy,
skopiowanie pliku DatabaseUtils.props z weka.jar
(weka/experiment) do $WEKA HOME/props (domy´slnie:
$HOME/wekaﬁles)
edycja pliku DatabaseUtils.props i:
wskazanie ´scie˙zki do pliku sterownika,
podanie adresu URL do polaczenia z baza.
Na przyklad (DatabaseUtils.props.mysql):
jdbcDriver=org.gjt.mm.mysql.Driver
jdbcURL=jdbc:mysql://server name:3306/database name

Eksploracja danych

Eksploracja danych
Jakie zadania eksploracji danych mo˙zna realizować za
pomoca Weki?
Klasyfikacja i regresja
Grupowanie
Odkrywanie regul asocjacyjnych
Ograniczanie i transformacja przestrzeni atrybutów
Wizualizacja danych

Klasyfikacja – przyklad
Ocena zdrowia pacjenta – wykonujemy badania diagnostyczne i
ankiete
ci´snienie krwi (liczba)
poziom cukru (liczba)
wystepowanie chorób serca w rodzinie (warto´sć binarna)
wiek (liczba)
pleć (M/K)
Na tej podstawie decydujemy, czy wyslać pacjenta na badania
szczególowe (podejrzenie choroby).

Klasyfikacja – przyklad
Ocena zdrowia pacjenta – wykonujemy badania diagnostyczne i
ankiete
ci´snienie krwi (liczba) – wysokie
poziom cukru (liczba) – wysoki
wystepowanie chorób serca w rodzinie (warto´sć binarna) – tak
wiek (liczba) – 50
pleć (M/K) – M
Na tej podstawie decydujemy, czy wyslać pacjenta na badania
szczególowe (podejrzenie choroby).
Skierować na badania diagnostyczne.

Grupowanie – przyklad
Segmentacja klientów – czy w´sród naszych klientów mo˙zna
wyró˙znić rozlaczne grupy, np. wg takich parametrów jak wierno´sć
marce/wra˙zliwo´sć na ceny lub warto´sci zakupów/czestotliwo´sć
wizyt.
http://www.select-statistics.co.uk/article/blog-post/customer-segmentation

Klasyfikacja i grupowanie – ujecie formalne
Zadanie klasyfikacji Na podstawie obserwacji wej´sciowych X i
zbioru etykiet kategorii Y = y1, y2, . . . , yn zwróć przewidywana
kategorie y ∈ Y .
Uczenie z nadzorem Posiadamy zbiór treningowy o N elementach,
w którym ka˙zdy element ma przypisana wzorcowa etykiete klasy:
(d1, c1), . . . , (dn, cn). Klasyfikacja: naszym celem jest nauczyć sie
na podstawie tych danych mapowania nowego zbioru d na c ∈ C.
Regresja: c jest ciagle.
Uczenie bez nadzoru Posiadamy zbiór danych o N elementach,
bez ˙zadnych dodatkowych informacji na temat przypisanych
kategorii. Grupowanie: naszym zadaniem jest znale´zć wzorce w
samych danych i nauczyć sie dzielić obserwacje na rozlaczne grupy.

Odkrywanie regul asocjacyjnych – przyklad
Zakupy w sklepie – analizujemy historie zakup´ow klient´ow w
pewnym okresie.
Klient 1
pieluchy
mleko
maslo
piwo
Klient 2
mleko
makaron
pieluchy
pomidory
Klient 3
piwo
orzeszki
chleb
pieluchy
Klient 4
piwo
orzeszki
woda
ser
R1 : {pieluchy} ⇒ {piwo}, supp(R1) = 2, conf (R1) = 2/3
R2 : {pieluchy} ⇒ {mleko}, supp(R2) = 2, conf (R2) = 2/3
R3 : {orzeszki} ⇒ {piwo}, supp(R3) = 2, conf (R3) = 2/2 = 1

Odkrywanie regul asocjacyjnych – definicja formalna
Baza D jest zbiorem transakcji, D = {T1, T2, . . . , Tn}, gdzie ka˙zda
transakcja T jest niepustym zbiorem elementów z przestrzeni
obiektów, T ⊆ I, I = {i1, i2, . . . , im}.
Reguly asocjacyjne maja forme implikacji pomiedzy dwoma
zbiorami elementów: X i Y , gdzie X, Y ∈ I i X ∩ Y = ∅:
R : X → Y . (1)
Wsparcie reguly to liczba
transakcji T w bazie D, które
zawieraja jednocze´snie X i Y :
supp(R) = |DX∪Y |. (2)
Pewno´sć reguly to stosunek
liczby T, które zawieraja lacznie
X i Y do liczby T, które
zawieraja jedynie X:
conf (R) =
|DX∪Y |
|DX |
. (3)

Przeksztalcenia przestrzeni atrybut´ow
Problem: dane liczbowe w postaci ciaglej
Jak zastosowa´c na przyklad algorytmy drzewiaste?
Dyskretyzacja

Ograniczanie przestrzeni atrybutów – przyklad
W wielu zastosowaniach przestrzeń atrybutów analizowanych
danych jest bardzo du˙za. Przyklad: reprezentacja bag of words
Przetwarzanie jezyka naturalnego
Ala kot mieć . . . plot
0 1 0 . . . 1
Analiza obrazów
barwa1 tekstura1 barwa2 . . . teksturan
0 1 0 . . . 1
Potencjalnie tysiace+ atrybutów.

Ograniczanie przestrzeni atrybutów
Statystyczne metody oszacowania istotno´sci atrybutów w
procesie eksploracji danych
InfoGainAttributeEval – przyrost informacji w stosunku do
klasy,
CfsSubsetEval – warto´sć podzbioru atrybutów ze wzgledu na
mo˙zliwo´sć przewidywania klasy oraz korelacje z innymi
atrybutami w podzbiorze,
analiza glównych skladowych (Principal Components
Analysis).

Wizualizacja danych

Tryb Experimenter
Zalety trybu Experimenter
latwo´sć porównywania wyników dla ró˙znych algorytmów, ich
parametrów i dla ró˙znych zbiorów danych,
umo˙zliwia lepsza analize wyników, ni˙z Explorer,
rezultat serii eksperymentów mo˙zna zapsać do pliku lub bazy
danych,
wiele schematów ewaluacji,
testy istotno´sci statystycznej.

Tryb KnowledgeFlow
Zalety trybu KnowledgeFlow
intuicyjny, wizualny interfejs drag-and-drop,
nieco wieksze mo˙zliwo´sci, ni˙z Explorer,
pozwala tworzenie schemat´ow przeplywu danych miedzy
modulami,
schematy moga by´c zapisywane i wykorzystywane w
przyszlo´sci.

Rozszerzanie pakietu i aspekty integracji

System wtyczek

Przetwarzanie du˙zych zbiorów danych
Mo˙zliwe rozwiazania
przyrostowe uczenie klasyfikatorów – musza implementować
interfejs UpdateableClassifier:
HoeffdingTree, IBk, KStar, LWL,
MultiClassClassifierUpdateable, NaiveBayesMultinomialText,
NaiveBayesMultinomialUpdateable, NaiveBayesUpdateable,
SGD, SGDText,
wykorzystanie wtyczki massiveOnlineAnalysis i pakietu MOA,
który zawiera algorytmy przystosowane do przetwarzania
du˙zych zbiorów lub strumieni danych,
wykorzystanie wtyczek pozwalajacych na integracje z
Hadoopem lub Sparkiem (distributedWekaBase, Hadoop,
Spark).

Wykorzystanie algorytm´ow w kodzie aplikacji
Zaladowanie danych z pliku ARFF
import weka.core.converters.ConverterUtils.DataSource;
...
DataSource source = new DataSource("data.arff");
Instances data = source.getDataSet();
Wykorzystanie ﬁltru
Standardize filter = new Standardize();
filter.setInputFormat(train);
Instances newTrain = Filter.useFilter(train, filter);

Wykorzystanie algorytmów w kodzie aplikacji
Uczenie klasyfikatora
import weka.classifiers.trees.J48;
...
String[] options = new String[1];
options[0] = "-U"; // unpruned tree
J48 tree = new J48(); // new instance of tree
tree.setOptions(options); // set the options
tree.buildClassifier(data); // build classifier
Ewaluacja klasyfikatora
import weka.classifiers.Evaluation;
import java.util.Random;
...
Evaluation eval = new Evaluation(newData);
eval.crossValidateModel(tree, newData, 10, new Random(1

Rozszerzanie Weki o wlasne implementacje
algorytm´ow

algorytm´ow
Rozszerzanie odpowiednich klas API Weki – Filter
import weka.core.*;
import weka.core.Capabilities.*;
import weka.filters.*;
public class SimpleBatch
extends SimpleBatchFilter {
public String globalInfo() {
return "A simple batch filter that adds an
"additional attribute ’bla’ at the end "
+ "containing the index of the processed instance."
}

algorytm´ow
Rozszerzanie odpowiednich klas API Weki – Filter (2)
public Capabilities getCapabilities() {
Capabilities result = super.getCapabilities();
result.enableAllAttributes();
result.enableAllClasses();
result.enable(Capability.NO_CLASS);
return result;
}
protected Instances determineOutputFormat(Instances
inputFormat) {
Instances result = new Instances(inputFormat, 0);
result.insertAttributeAt(new Attribute("bla"),
result.numAttributes());
return result;
}

algorytm´ow
Rozszerzanie odpowiednich klas API Weki – Filter (2)
protected Instances process(Instances inst) {
Instances result
= new Instances(determineOutputFormat(inst), 0);
for (int i = 0; i < inst.numInstances(); i++) {
double[] values = new double[result.numAttributes()];
for (int n = 0; n < inst.numAttributes(); n++)
values[n] = inst.instance(i).value(n);
values[values.length - 1] = i;
result.add(new Instance(1, values));
}
return result;
}

Integracja z innymi systemami analizy danych
Inne systemy analizy danych moga równie˙z korzystać z
implementacji algorytmów w Wece:
R – z wykorzystaniem paczki RWeka,
Python – z wykorzystaniem
http://pythonhosted.org/python-weka-wrapper/,
Octave – za pomoca wsparcia dla kodu Java, wbudowanego w
system,
Hadoop – za pomoca wtyczek distributedWekaBase
(obliczenia rozproszone) i distributedWekaHadoop
(implementacja Hadoopa).

Inne narzedzia z obszaru analityki
i eksploracji danych

Co dalej?
Data Warehousing
tworzenie system´ow do raportowania i analizy danych
problemy integracji, tranformacji i ladowania danych
np. Pentaho

Co dalej?
Data Science
analiza danych: analiza statystyczna, eksploracja danych,
uczenie maszynowe
pakiety specjalizowane lub biblioteki powiazane z jezykami
programowania
np. R, RStudio, Python z bibliotekami (numpy, scipy,
matplotlib)

Co dalej?
Big Data
analiza i przetwarzanie du˙zych danych, rzedu terabajt´ow
nowe podej´scia algorytmiczne i rozwiazania sprzetowe
np. Hadoop, Spark

Co dalej?
Czym sie ró˙zni szkolenie od warsztatu?
mamy wiecej czasu,
praca indywidualna z ka˙zda osoba (grupy 4–8 osobowe),
doglebny przeglad zgadnienia + praktyczne problemy w formie
zadań,
program dostosowany do oczekiwań grupy.

Dzieki za wsp´olna prace!
Pytania?
Slack: stacjait.slack.com
E-mail: l.kobylinski@sages.com.pl

Szybkie wprowadzenie do eksploracji danych z pakietem Weka

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (19)

Semelhante a Szybkie wprowadzenie do eksploracji danych z pakietem Weka

Semelhante a Szybkie wprowadzenie do eksploracji danych z pakietem Weka (20)

Mais de Sages

Mais de Sages (7)

Szybkie wprowadzenie do eksploracji danych z pakietem Weka