Ændr 2. linje i overskriften til AU Passata Light AARHUS UNIVERSITET AU WEB SCRAPING MICHAEL I. SCHWARTZBACH KRISTOFFER JUST ANDERSEN INSTITUT FOR DATALOGI.

Præsentationer af emnet: "Ændr 2. linje i overskriften til AU Passata Light AARHUS UNIVERSITET AU WEB SCRAPING MICHAEL I. SCHWARTZBACH KRISTOFFER JUST ANDERSEN INSTITUT FOR DATALOGI."— Præsentationens transcript:

1 Ændr 2. linje i overskriften til AU Passata Light AARHUS UNIVERSITET AU WEB SCRAPING MICHAEL I. SCHWARTZBACH KRISTOFFER JUST ANDERSEN INSTITUT FOR DATALOGI

2 AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular WWW INDEHOLDER MANGE GODE TING ​ Principielt er alt jo frit tilgængeligt  Pånær betaling, memberships, og den slags ​ Som programmør kunne man godt bruge mange ting ​ Men det er sjældent i leverandørernes interesse  reklameindtægter  kontrol  copyright

3 AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular WEB SERVICES ​ En smuk vision ​ Websites udbyder deres oplysningern genne et API  Venligt over for programmører  Som at kalde metoder over nettet  Eksempler: Amazon, Google, Flickr, DropBox, … ​ Ofte med mange restriktioner

4 AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular WEB SCRAPING En knap så smuk vision Skrab indholdet ud af websider uden at få lov Et officlelt API er ikke nødvendig ​ Tekniske problemer  find oplysningerne på HTML siderne  udbyderne prøver at spænde ben

5 AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular HTML SOM INPUT HTML har principielt en pæn syntaks (lige som fx Java har) I praksis er HTML-sider af rædsom kvalitet Antal syntaksfejl på kendte forsider:  youtube.com:320  twitter.com:71  facebook.com:66  google.com:35  apple.com:25

6 AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular WEB SCRAPING I PRAKSIS Hak HTML-teksten i småstykker Led efter de relevante oplysninger Klip dem ud Overvejelser  entydighed  robusthed  effektivitet

7 AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular TV2’S VEJRUDSIGT FOR AARHUS http://vejret.tv2.dk/vejr/aarhus-2624652

8 AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular TV2’S WEB SOURCE ​ ​ 17 ​ 0 mm ​ 7 m/s Jævn vind fra nordvest ​ ​ 16:00 ​ ​ 17 ​ 0 mm ​ 7 m/s Jævn vind fra nordvest ​

9 AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular UNIX KOMMANDOER OG PIPES Unix (Linux) har mange kommandoer til manipulation af tekstfiler: De er meget velegnede til hurtig webscraping  wget, cat, echo, cut, grep, head, tail, tr, … De kan sættes sammen med Unix pipes  grep ”abc” | head -1 | cut –d’:’ Det hele programmeres i en Unix (Linux) shell som fx tcsh

10 AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular FANTASTISKE PRÆMIER

11 AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular MULIG PRÆMIE? Rubiks terning med ægte diamanter Værdi: $2.500.000

12 AARHUS UNIVERSITET AU Overskrift én linje Bold eller Regular MULIGE PRÆMIER [ ]..

13 AARHUS UNIVERSITET AU