poniedziałek, 6 czerwca 2016

Wykorzystanie narzędzia analitycznego do integracji i czyszczenia danych

Zapraszam do przeczytania nowego wpisu:
http://algomine.pl/wykorzystanie-narzedzia-analitycznego-do-integracji-i-przygotowania-danych/

Odszkodowania za opóźnione loty http://www.pay4delay.pl/
Odszkodowania za odwołane loty  http://www.pay4delay.pl/
Odszkodowani za odwołany lot  http://www.pay4delay.pl/
Odszkodowanie za opóźniony lot  http://www.pay4delay.pl/
Opóźniony lot odszkodowanie  http://www.pay4delay.pl/
Odwołany lot odszkodowanie  http://www.pay4delay.pl/
Overbooking odszkodowanie  http://www.pay4delay.pl/

Opóźniony samolot odszkodowanie  http://www.pay4delay.pl/

Wykorzystanie narzędzia analitycznego do integracji i czyszczenia danych

Zapraszam do przeczytania nowego wpisu:
http://algomine.pl/wykorzystanie-narzedzia-analitycznego-do-integracji-i-przygotowania-danych/


Odszkodowania za opóźnione loty http://www.pay4delay.pl/
Odszkodowania za odwołane loty  http://www.pay4delay.pl/
Odszkodowani za odwołany lot  http://www.pay4delay.pl/
Odszkodowanie za opóźniony lot  http://www.pay4delay.pl/
Opóźniony lot odszkodowanie  http://www.pay4delay.pl/
Odwołany lot odszkodowanie  http://www.pay4delay.pl/
Overbooking odszkodowanie  http://www.pay4delay.pl/

Opóźniony samolot odszkodowanie  http://www.pay4delay.pl/

czwartek, 14 kwietnia 2016

SPSS Modeler 18

Zapraszam do przeczytania nowego wpisu:
http://algomine.pl/spss-modeler-18/

P.S. Szczegółowe informacje dot. technologii IBM SPSS można znaleźć na stronie: 
http://spss-polska.pl/

Odszkodowania za opóźnione loty http://www.pay4delay.pl/
Odszkodowania za odwołane loty  http://www.pay4delay.pl/
Odszkodowani za odwołany lot  http://www.pay4delay.pl/
Odszkodowanie za opóźniony lot  http://www.pay4delay.pl/
Opóźniony lot odszkodowanie  http://www.pay4delay.pl/
Odwołany lot odszkodowanie  http://www.pay4delay.pl/
Overbooking odszkodowanie  http://www.pay4delay.pl/
Opóźniony samolot odszkodowanie  http://www.pay4delay.pl/

piątek, 1 kwietnia 2016

Jak działają najpopularniejsze algorytmy dostępne w narzędziu SPSS Modeler?

Zapraszam do przeczytania nowego wpisu:
http://algomine.pl/jak-dzialaja-najpopularniejsze-algorytmy-dostepne-w-narzedziu-spss-modeler/

P.S. Szczegółowe informacje dot. technologii IBM SPSS można znaleźć na stronie: 
http://spss-polska.pl/

Odszkodowania za opóźnione loty http://www.pay4delay.pl/
Odszkodowania za odwołane loty  http://www.pay4delay.pl/
Odszkodowani za odwołany lot  http://www.pay4delay.pl/
Odszkodowanie za opóźniony lot  http://www.pay4delay.pl/
Opóźniony lot odszkodowanie  http://www.pay4delay.pl/
Odwołany lot odszkodowanie  http://www.pay4delay.pl/
Overbooking odszkodowanie  http://www.pay4delay.pl/
Opóźniony samolot odszkodowanie  http://www.pay4delay.pl/

piątek, 13 listopada 2015

SPSS Modeler & Spark


W ostatnich dnia września wypuszczona została nowa wersja programu IBM SPSS Modeler – wersja 17.1. Główną funkcjonalnością owej wersji jest integracja z silnikiem przetwarzania danych Apache SPARK


Wspomniana integracja oznacza, że wszystkie procedury, dla których dostępna była opcja Hadoop-Pushback, mogą być wykonane nie tylko z wykorzystaniem MapReduce, ale także SPARK-a, przy czym w pierwszej kolejności SPSS będzie wykorzystywał SPARK-a, a gdy ten nie jest dostępny, to SPSS wykorzysta MapReduce. Szczegółową listę procedur wspierających Hadoop-Pushback można znaleźć w dokumentacji.


Najnowsza wersja programu została także wzbogacona o dodatkowe, napisane pod kątem przetwarzania równoległego w klastrze Hadoop, algorytmy:

  • Random Trees – IBM-owska implementacja algorytmu lasy losowe,
  • drzewo AS – drzewo dezyzyjne Chaid,
  • GLE - uogólnione modele liniowe,
  • Liniowy AS - czyli modele liniowe,
  • LSVM – metoda wektorów nośnych.

Jak widać jedynie pierwszy z wymienionych węzłów wprowadza do SPSS nowy algorytm, pozostałe powstały w wyniku przepisania istniejących algorytmów w sposób pozwalający w pełni wykorzystać przetwarzanie równoległe w Hadoop.



W związku z tym, że algorytmów przepisanych na architekturę Hadoop przybywa, to doczekały się one osobnej zakładki na karcie Modelowanie.


Na tym jednak nie koniec ulepszeń. Idąc krok dalej, Kreator Niestandardowych Okien Dialogowych został rozbudowany o możliwość wykorzystania języka Python dla Spark (PySpark). Funkcjonalność ta zapewnia użytkownikom SPSS dostęp do algorytmów uczenia maszynowego napisanych w Sparku

Co więcej, kreator niestandardowych okien dialogowych został rozbudowany o możliwość wykorzystanie również języka Python dla Sparka - PySpark. Oznacza to, że użytkownicy SPSS Modeler zyskują dostęp do biblioteki modeli algorytmów uczenia maszynowego napisanych w SparkuMllib.


W bibliotece znajduje się m.in. algorytm do nadawania indeksów stronom internetowym – Page Rank () oraz stosowany często w silnikach rekomendacyjnych algorytm Collaborative Filtering .


Dużą przewagą rozwiązania jest fakt, że użytkownik nie jest zmuszony do programowania owych węzłów samodzielnie. Wspomniane procedury obudowane węzłami są do pobrania na IBM-owskim Githubie. Z moich informacji wynika, że kolejne 3 węzły są obecnie w przygotowaniu.

Na koniec chciałem jeszcze wspomnieć o jednej malej, ale dość istotnej zmianie dotyczącej integracji SPSS z R. W węzłach Transformacje R oraz Scoring R można ustawić wielkość paczek, w których rekordy wysłane są do R.


We wcześniejszych wersjach programu było to możliwe jedynie przez zmianę kodu źródłowego węzła, co z kolei nie było rekomendowane przez IBM

P.S. Szczegółowe informacje dot. technologii IBM SPSS można znaleźć na stronie: 
http://spss-polska.pl/




niedziela, 11 października 2015

Dokumentacja SPSS Modeler dostępna w języku polskim!

Od kilku dni dokumentacja SPSS Modeler dostępna jest także w języku polskim. Możną ją znaleźć tutaj.



Dokumentacja wezly modelowania po polsku do IBM SPSS Modeler


Odszkodowania za opóźnione loty http://www.pay4delay.pl/
Odszkodowania za odwołane loty  http://www.pay4delay.pl/
Odszkodowani za odwołany lot  http://www.pay4delay.pl/
Odszkodowanie za opóźniony lot  http://www.pay4delay.pl/
Opóźniony lot odszkodowanie  http://www.pay4delay.pl/
Odwołany lot odszkodowanie  http://www.pay4delay.pl/
Overbooking odszkodowanie  http://www.pay4delay.pl/
Opóźniony samolot odszkodowanie  http://www.pay4delay.pl/

P.S. Prośbę o przetłumaczenie dokumentacji udało nam się przeforsować jeszcze podczas pracy w IBM.

Odszkodowania za opóźnione loty http://www.pay4delay.pl/
Odszkodowania za odwołane loty  http://www.pay4delay.pl/
Odszkodowani za odwołany lot  http://www.pay4delay.pl/
Odszkodowanie za opóźniony lot  http://www.pay4delay.pl/
Opóźniony lot odszkodowanie  http://www.pay4delay.pl/
Odwołany lot odszkodowanie  http://www.pay4delay.pl/
Overbooking odszkodowanie  http://www.pay4delay.pl/

Opóźniony samolot odszkodowanie  http://www.pay4delay.pl/

P.S2. Szczegółowe informacje dot. technologii IBM SPSS można znaleźć na stronie: 
http://spss-polska.pl/

wtorek, 6 października 2015

Sieci neuronowe ukryte w SPSS Modeler



Kontynuując poprzedni temat chciałbym podzielić się odkryciem, którego dokonałem podczas przeglądania dokumentacji SPSS Modeler i Python. 

Odkrycie to sprowadza się do wniosku, iż w narzędziu IBM SPSS Modeler istnieją dwa węzły do budowy sztucznych sieci neuronowych. Jeden z węzłów dostępny jest standardowo w palecie węzłów na karcie modele, natomiast drugi, a właściwie pierwszy, można wywołać jedynie korzystając ze skryptu, np.:
import modeler.api
stream = modeler.script.stream()
stream.create("neuralnet", "Neural Net")


Ukryty węzeł pochodzi z czasów, gdy program IBM SPSS Modeler nazywał się jeszcze Clementine. Następnie po akwizycji przez (jeszcze wtedy nie IBM) SPSS nastąpił proces standaryzacji procedur analitycznych, podczas którego stary węzeł został zastąpiony nowym. Pierwotny węzeł nie został jednak całkowicie usunięty, co miało zapewnić, że strumienie danych napisane we wcześniejszych wersjach programu nie przestaną działać.

Tyle tytułem wprowadzenia. Między starym, a nowym węzłem występują dość duże różnice jeśli chodzi o funkcjonalności. Pierwotny węzeł dostarcza więcej opcji budowy sieci  oraz pozwala zachować większą kontrolę nad procesem uczenia. Dodatkowo, stary węzeł pozwalał na zapisywanie raportu z procesu uczenia sieci.

Po otwarciu węzła, w karcie model, użytkownik może wybrać jedną z sześciu opcji budowy sieci:
  • Szybka - zbliżona do opcji dostępnych w nowym węźle, czyli budowa sieci o wyspecyfikowanej topologii.
  • Dynamiczna – działa podobnie jak szybka, ale w procesie uczenia dodaje lub odejmuje neurony warstwy ukrytej w zależności od wartości błędu.
  • Wieloraka – buduje wiele sieci o różnej topologii, i wybiera najlepszą.
  • Przycinanie – proces w wyniku którego budowana i trenowana jest relatywnie duża sieć. Następnie przeprowadzona jest analiza wrażliwości i usuwane są najmniej istotne neurony warstwy wejściowej i ukrytej, a proces uczenia jest kontynuowany. Podejście to wydaję się bardzo efektywne, ale zajmuje też bardzo dużo czasu.
  • RBFN – tworzy sieć o radialnej funkcji bazowej. Metoda jest analogiczna do metody stosowanej obecnie.
  • Przycinanie wyczerpujące  - działa podobnie jak przycinanie tylko staruje od największej możliwej sieci, co czyni proces jeszcze bardziej czasochłonnym.
  • Powyższe fajnie ilustruje karta zaawansowane, która zmienia się dynamicznie w zależności od wybranego modelu sieci.

Karta zaawansowane dla metody szybka:

Karta zaawansowane dla metody przycinanie:

Karta zaawansowane dla metody przycinanie wyczerpujące:


Jak widać, w zależności od metody możemy wyspecyfikować parametry uczenia, topologię sieci oraz właściwości typowe dla poszczególnych metod. W zakładce Opcje znajduje się kolejna ciekawa opcja: Pokaż wykres sprzężenia zwrotnego, który pokazuje jak wygląda trafność modelu najlepszego w porównaniu z trafnością modelu obecnego.  Oprócz oglądania modelu użytkownik ma też możliwość zatrzymania procesu uczenia w dowolnym momencie. 

Zachęcam do testowania węzła!


P.S. Szczegółowe informacje dot. technologii IBM SPSS można znaleźć na stronie: 
http://spss-polska.pl/