Ændr 2. linje i overskriften til AU Passata Light AARHUS UNIVERSITET AU WEB SCRAPING MICHAEL I. SCHWARTZBACH KRISTOFFER JUST ANDERSEN INSTITUT FOR DATALOGI

AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular WWW INDEHOLDER MANGE GODE TING ​ Principielt er alt jo frit tilgængeligt  Pånær betaling, memberships, og den slags ​ Som programmør kunne man godt bruge mange ting ​ Men det er sjældent i leverandørernes interesse  reklameindtægter  kontrol  copyright

AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular WEB SERVICES ​ En smuk vision ​ Websites udbyder deres oplysningern genne et API  Venligt over for programmører  Som at kalde metoder over nettet  Eksempler: Amazon, Google, Flickr, DropBox, … ​ Ofte med mange restriktioner

AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular WEB SCRAPING En knap så smuk vision Skrab indholdet ud af websider uden at få lov Et officlelt API er ikke nødvendig ​ Tekniske problemer  find oplysningerne på HTML siderne  udbyderne prøver at spænde ben

AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular HTML SOM INPUT HTML har principielt en pæn syntaks (lige som fx Java har) I praksis er HTML-sider af rædsom kvalitet Antal syntaksfejl på kendte forsider:  youtube.com:320  twitter.com:71  facebook.com:66  google.com:35  apple.com:25

AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular WEB SCRAPING I PRAKSIS Hak HTML-teksten i småstykker Led efter de relevante oplysninger Klip dem ud Overvejelser  entydighed  robusthed  effektivitet

AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular TV2’S VEJRUDSIGT FOR AARHUS

AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular TV2’S WEB SOURCE ​ ​ 17 ​ 0 mm ​ 7 m/s Jævn vind fra nordvest ​ ​ 16:00 ​ ​ 17 ​ 0 mm ​ 7 m/s Jævn vind fra nordvest ​

AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular UNIX KOMMANDOER OG PIPES Unix (Linux) har mange kommandoer til manipulation af tekstfiler: De er meget velegnede til hurtig webscraping  wget, cat, echo, cut, grep, head, tail, tr, … De kan sættes sammen med Unix pipes  grep ”abc” | head -1 | cut –d’:’ Det hele programmeres i en Unix (Linux) shell som fx tcsh

AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular FANTASTISKE PRÆMIER

AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular MULIG PRÆMIE? Rubiks terning med ægte diamanter Værdi: $

AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular MULIGE PRÆMIER [ ]..

AARHUS UNIVERSITET AU