Copyright © 2014, SAS Institute Inc. All rights reserved. VIS MIG DINE NABOER, OG JEG SKAL SIGE DIG, HVEM DU ER ANALYTICS-NETVÆRKSMØDE 04/11 2014

Copyright © 2014, SAS Institute Inc. All rights reserved. MOTIVATION Ejendomsvurdering på SKAT Ejendomen selv Området omkring Der findes nogle afstandsmål til f.eks. søer, motorvej osv Vil gerne udregne egne som vi selv styrer definitionerne på Tanken er at finde egenskaber for naboer indenfor forskellige radier til 500 m Antal forretninger Antal landbrug Antal industribygninger Antal ejerboliger Etc 2,6 mio adressepunkter (opgange i ejendomskomplekser) Undersøgelser har vist at vi skal bruge 1250 naboer for at dække de 500m 750 m ville kræve ca dobbelt så mange

Copyright © 2014, SAS Institute Inc. All rights reserved. NAIVE TILGANG / BRUTE FORCE proc sql; create table b as select unique a.Kommune_Nr as Kommune_Nr_C,a.Bolig_ID as Bolig_ID_C,a.adgangsadresse_id AS adgangsadresse_id_C,a.Kooroest,a.Koornord,a.Vur_Aar,a.cbenyt,b.Kommune_Nr as Kommune_Nr_N,b.Bolig_ID as Bolig_ID_N,b.adgangsadresse_id as adgangsadresse_id_N,b.Kooroest as Kooroest_N,b.Koornord as Koornord_N,b.cbenyt as Cbenyt_N,b.ny_antal,SQRT((a.Kooroest-b.Kooroest)**2+(a.Koornord-b.Koornord)**2) as Distance from Test_Table2_&x. as a full join Train_Table2_&x. as b on 1 and not (a.bolig_id = b.bolig_id and a.kommune_nr = b.kommune_nr) having calculated distance LE &Radius. ; quit;

Copyright © 2014, SAS Institute Inc. All rights reserved. K-NEAREST NEIGHBOUR PROCEDURER Finder naboer i et træning sæt til observationerne i test sættet %* Dan data mining database for effektivisering af nærmeste nabo søgning; PROC DMDB BATCH DATA=Train_Table2 DMDBCAT=dmdb MAXLEVEL=513; VAR Koornord Kooroest T; TARGET T; RUN; %* Find nærmeste naboer vha. PROC PMBR og producér NN-tabel OUT_DATA*; PROC PMBR DATA=Train_table2 DMDBCAT=dmdb OUTEST=NN_ESTIMATE K=&N_Nn. EPSILON=0 BUCKETS=8 METHOD=RDTREE SHOWNODES NEIGHBORS; VAR Koornord Kooroest; TARGET T; SCORE DATA=Test_Table2 OUT=out_data ROLE=test; run;

Copyright © 2014, SAS Institute Inc. All rights reserved. PARALLELISERING Ønsker at udnytte serverens ressourcer (CPU kerner 12 stk) optimalt Samtidig reducere problemets størrelse, divide and conquer Vi har i forvejen en geografisk opdeling i form af kommuner Sikre at der findes naboer på tværs af kommuner Hver kommune (med tilhørende trænings sæt) kan nu behandles særskilt

Copyright © 2014, SAS Institute Inc. All rights reserved. OPDEL EFTER KVARTERTYPE Vil gerne kunne skelne mellem tætbeboede og tyndtbefolkede områder Svært at opstille universelle regler på tværs af alle kommuner Størst problemer i udkanten af tætte områder, minder om tynde områder Tag veldefinerede seeds og lad dem bestemme over de nærliggende ejd

Copyright © 2014, SAS Institute Inc. All rights reserved. %* Signon remote ; options autosignon ; %do i=1 %to &ant_cpu. ; data _null_ ; %if &sysparm. NE %then %do ; call symput("cmd", "!sascmd -autoexec autoexec_test.sas - nosyntaxcheck -nolog -noaltlog -sysparm &sysparm.") ; %end ; %else %do ; call symput("cmd", "!sascmd -autoexec autoexec_test.sas - nosyntaxcheck -nolog -noaltlog") ; %end ; run ; %put &cmd. ; signon rem&i. sascmd="&cmd." ; %end ; * Execute code on remote ; %* Generate code to execute on multiple processors ; %do i=1 %to &ant_cpu.; %global status&i.; %end;

Copyright © 2014, SAS Institute Inc. All rights reserved. *----------------------------------------------------------; * Der spawnes en process pr. kommune der skal laves findes ; * naboer til. Antallet af kerner er mindre end kommuner ; * derfor skal der ventes på at disse bliver klar. ; *----------------------------------------------------------; %do i=1 %to &antkom.; *----------------------------------------------------------; * Vi venter på at der bliver en session fri til at benytte.; *----------------------------------------------------------; waitfor _any_ %do j=1 %to &ant_cpu. ; rem&j. %end ; ; *----------------------------------------------------------; * Her findes hvilken kerne der skal benyttes.; *----------------------------------------------------------; %let process= 0; %let j=1; %do %while ((&process.=0) and (&j. le &ant_cpu.)); %if ("&&status&j." ne "2") %then %do; %let process=&j.; %end; %let j=%eval(&j.+1); %end; %let kommune=%qscan(&kommuner., &i., '*');

Copyright © 2014, SAS Institute Inc. All rights reserved. rsubmit rem&process. macvar=status&process. wait=no sysrputsync=yes inheritlib=(work=PARwork); Alt det der skal ske på hver kerne /* Resultatet gemmes i en midlertidig fil for hver kerne for at undgå samtidighedsproblemer */ proc append base=PARwork._tmp_BebygTaethed_&x._&process. data=resultat force; run; endrsubmit ;

Copyright © 2014, SAS Institute Inc. All rights reserved. * Start waiting for processors to finish ; waitfor _all_ %do i=1 %to &ant_cpu. ; rem&i. %end ; ; * signoff all process; %do i=1 %to &ant_cpu. ; signoff rem&i. ; %end ;

Copyright © 2014, SAS Institute Inc. All rights reserved. VIS MIG DINE NABOER, OG JEG SKAL SIGE DIG, HVEM DU ER ANALYTICS-NETVÆRKSMØDE 04/11 2014

Lignende præsentationer

Præsentationer af emnet: "Copyright © 2014, SAS Institute Inc. All rights reserved. VIS MIG DINE NABOER, OG JEG SKAL SIGE DIG, HVEM DU ER ANALYTICS-NETVÆRKSMØDE 04/11 2014"— Præsentationens transcript:

Lignende præsentationer

Om projektet

Feedback

Log ind

Logge ind via sociale netværk:

Copyright © 2014, SAS Institute Inc. All rights reserved. VIS MIG DINE NABOER, OG JEG SKAL SIGE DIG, HVEM DU ER ANALYTICS-NETVÆRKSMØDE 04/11 2014

Lignende præsentationer

Præsentationer af emnet: "Copyright © 2014, SAS Institute Inc. All rights reserved. VIS MIG DINE NABOER, OG JEG SKAL SIGE DIG, HVEM DU ER ANALYTICS-NETVÆRKSMØDE 04/11 2014"— Præsentationens transcript:

Lignende præsentationer

Om projektet

Feedback