Hvis du har de mentale koteletter, en flair til programmering og historiefortælling, og et øje med design, kan du gøre værre end at komme ind i datalogi. Det er den nye store ting i teknologi; meget trendy og højtbetalt, med datavidenskabers efterspurgte af nogle af verdens største virksomheder.
ScraperWiki er et firma, der længe har været tilknyttet datavidenskabsfeltet. I de sidste par år har denne Liverpool-baserede opstart tilbudt en platform for kodere til at skrive værktøjer, der får data, renser det og analyserer det i skyen.
Med en nylig opdatering og den stadigt stigende efterspørgsel efter datalogikere i virksomheden er det værd at tage et godt kig på ScraperWiki.
Fuld offentliggørelse: Jeg var en praktikant ved ScraperWiki i sidste sommer.
Hvad laver ScraperWiki?
ScraperWiki markedsfører sig som et sted at få, rense og analysere data, og det leverer på hver af disse tal. I sin enkleste form tillader det dig - brugeren - et sted hvor du kan skrive kode, der henter data fra en kilde, værktøjer til at konvertere det til et format, der er let at analysere og lagring for at holde det til senere visualisering - som du kan også håndtere med ScraperWiki.
Det leveres også med en række præ-bygget værktøjer, der automatiserer gentagne opgaver, herunder at få data fra PDF-filer, der er notorisk vanskeligt at afkode. Dette er i tillæg til Twitter søger 5 Cool Twitter Søg tricks til at overvåge, hvad folk siger om dig 5 Cool Twitter Søg tricks til at overvåge, hvad folk siger om dig Hvis du ejer et websted eller bare forsøger at tjene penge online som freelancer, Det er altid godt at vide, hvad folk siger om dig over internettet. Folk kan nævne ... Læs mere og skrabe forsyningsselskaber. Du behøver ingen softwareudvikling erfaring til at bruge disse.
Koste
Som tidligere nævnt omfatter ScraperWiki freemium prismodellen og tilbyder en service, der har flere niveauer. De, der lige er begyndt med datalogi eller med begrænsede behov, kan gøre brug af den gratis service. Dette giver dig tre datasæt - hvor du gemmer dine data og kode.
De, der planlægger at skrive flere scrapers eller ønsker at lave bjerge af dataanalyse, kan gaffle nogle penge for en premium-konto. Disse starter ved $ 9 pr. Måned og tilbyder 10 datasæt. Hvis det stadig ikke er nok, kan du altid opgradere til deres højeste niveau, der leveres med 100 datasæt og koster $ 29 per måned.
Coding
Programmører er ofte helt særlige, når det kommer til, hvordan de kode. Nogle foretrækker scripting-sprog på kompilerede sprog. Nogle foretrækker en tilbagekaldsoplevelse af en tekstredigerer over et integreret udviklingsmiljø (IDE). ScraperWiki anerkender det, og giver brugeren en enorm mængde valg, når det kommer til, hvordan du skriver din kode.
Hvis du er så tilbøjelig, kan du skrive din kode i browseren. Som du ville forvente fra enhver professionel kvalitet, web-baseret Top 3 Browser-baserede IDE's til kode i skyen Top 3 Browser-baserede IDE'er til kode i Cloud Læs mere udviklingsværktøj, dette kommer med funktioner, som enhver programmør ville overveje at være afgørende, såsom syntax fremhævning.
Der findes en række sprog på tilbud. Disse omfatter Python De 5 bedste hjemmesider til at lære pythonprogrammering De 5 bedste hjemmesider til at lære pythonprogrammering Gennem det sidste årti har Python programmeringssproget eksploderet i popularitet blandt programmører på alle områder af kodning. Fra webudviklere til videospildesignere til in-house-værktøjsskabere er mange mennesker faldet i ... Læs mere, et populært skriptsprog, der bruges af Google og NASA. Ruby 3 Interaktive, sjove og gratis måder at begynde at lære Ruby Programmeringssprog 3 Interaktive, sjove og gratis måder at begynde at lære Ruby Programmeringssprog Ruby er et ekspressivt, meget højt niveau scriptsprog. Det bruges på internettet hovedsagelig som en del af Ruby on Rails webudviklingsrammer, men også selvstændigt. Hvis du er nysgerrig efter, hvad Ruby (ikke ... Læs mere, som giver en række populære hjemmesider som Living Social, og det populære statistiske analysesprog, R.
Derudover kan du også skrive kode fra kommandolinjen ved at bruge SSH, Git og uanset tekst editor du nyder at bruge. Ja, du læser det rigtigt. SSH Hvad SSH er og hvordan det er anderledes end FTP [Teknologi forklaret] Hvad SSH er og hvordan det er anderledes end FTP [Teknologi forklaret] Læs mere. Hver boks du bruger, er sin egen Linux-konto, og du kan oprette forbindelse til den, som du ville have en VPS eller en anden shell-konto. Der er en række tekstredigerere til rådighed, herunder Vim De 7 største grunde til at give Vim Text Editor en chance Top 7 grunde til at give Vim Text Editor en chance I mange år har jeg prøvet en tekstredaktør efter den anden. Du hedder det, jeg prøvede det. Jeg brugte hver enkelt af disse redaktører i over to måneder som min primære daglige redaktør. På en eller anden måde, jeg ... Læs mere som kan udvides med plugins og ved at redigere konfigurationen. De, der er trængt af Vim, kan bruge Nano, som er en letvægts kommandolinje tekst editor.
De installerede biblioteker skal være tilstrækkelige til at skrive værktøjer til at hente data og for at behandle det. Hvis du har brug for noget lidt mere uklart, kan du altid oprette en virtualenv fra kommandolinjen. Som du kan se, er der en stor fleksibilitet, der ydes til udviklere.
Datavisualisering
Så du har dine data. Du har normaliseret det. Du har renset det. Du har analyseret det. Nu er det tid til at lave en vis visualisering og vise verden hvad du har lært.
ScraperWiki giver udviklere mulighed for at vise deres data ved hjælp af websider, der er konstrueret fra den velkendte trifecta af HTML, CSS og JavaScript. Derudover understøttes Bootstrap-komponenter ud af kassen.
Der er en række forhåndsdefinerede visualiseringer til rådighed, herunder dem, der tegner dine data på et kort og finder tendenser inden for dine resultater. For at bruge disse skal du sikre, at dine data gemmes som SQLite-fil med filnavnet 'scraperwiki.sqlite'. Så tilføjer du blot den visualisering, du er interesseret i. Simple, right?
Konklusion
ScraperWiki tilbyder meget til udviklere, der ønsker at lave en vis dataanalyse, uden at deres udviklingsmiljø kommer i vejen, mens de har fleksibilitet til at tilfredsstille selv de mest krævende brugere. Men hvad synes du? Lad mig vide i kommentarerne nedenfor.
Fotokredit: Rocket Science (Dan Brown)