Semalt Expert tarjoaa oppaan Webin kaavuttamiseen Javascriptin avulla

Web-kaavinta voi olla erinomainen tärkeä tietolähde, jota käytetään päätöksenteossa missä tahansa liiketoiminnassa. Siksi se on tietoanalyysin ytimessä, koska se on ainoa varma tapa kerätä luotettavaa tietoa. Mutta koska romutettavissa olevan online-sisällön määrä on jatkuvasti kasvussa, saattaa olla melkein mahdotonta romuttaa jokainen sivu manuaalisesti. Tämä vaatii automaatiota.

Vaikka siellä on monia työkaluja, jotka on räätälöity erilaisiin automatisoituihin kaavintaprojekteihin, suurin osa niistä on premium-luokkaa ja maksaa omaisuuden. Puppeteer + Chrome + Node.JS tulevat tänne. Tämä opetusohjelma opastaa sinut prosessin läpi varmistaen, että voit kaavittaa verkkosivut helposti helposti automaattisesti.

Kuinka asennus toimii?

On tärkeää huomata, että vähän tietoa JavaScripistä on hyödyllistä tässä projektissa. Ensinnäkin joudut hankkimaan edellä mainitut 3 ohjelmaa erikseen. Puppeteer on Solmukirjasto, jota voidaan käyttää päättömän Chromen hallintaan. Päättömällä Chromella tarkoitetaan kromin käyttöprosessia ilman graafista käyttöliittymää tai toisin sanoen ilman Chromin käyttämistä. Sinun on asennettava Node 8+ sen viralliselta verkkosivustolta.

Ohjelmien asentamisen jälkeen on aika luoda uusi projekti koodin suunnittelun aloittamiseksi. Ihannetapauksessa se on JavaScriptin kaapiminen siinä mielessä, että käytät koodia kaavintaprosessin automatisoimiseksi. Jos haluat lisätietoja Puppeteerista, katso sen dokumentaatio, käytettävissä on satoja esimerkkejä, joiden kanssa voit leikkiä.

Kuinka automatisoida JavaScript-kaavinta

Kun luot uuden projektin, jatka tiedoston (.js) luomista. Ensimmäisellä rivillä joudut kutsumaan Puppeteer-riippuvuuden, jonka olet asentanut aiemmin. Tätä seuraa ensisijainen toiminto "getPic ()", joka pitää kaikki automaatiokoodit. Kolmas rivi kutsuu "getPic ()" -toiminnon sen suorittamiseksi. Ottaen huomioon, että getPic () -funktio on "asynk" -funktio, voimme sitten käyttää odotusalauseketta, joka keskeyttää funktion odottamalla "lupauksen" ratkaisemista, ennen kuin siirrytään seuraavalle koodiriville. Tämä toimii pääautomaationa.

Kuinka kutsua päättömät kromit

Seuraava koodirivi: "const browser = odota puppeteer.Launch ();" käynnistää nukketeatterin automaattisesti ja suorittaa kromi-ilmentymän asettamalla sen äskettäin luotuun "selain" -muuttujaan. Jatka luomalla sivu, jota sitten käytetään navigoimaan URL-osoitteeseen, jonka haluat romuttaa.

Kuinka romuttaa tiedot

Puppeteer-sovellusliittymän avulla voit pelata erilaisilla verkkosivutuloilla, kuten kellotuksella, lomakkeiden täyttämisellä ja tietojen lukemisella. Voit viitata siihen saadaksesi tarkan kuvan siitä, kuinka voit automatisoida nämä prosessit. Kaapimiskoodia syötetään "kaavin ()" -toiminnolla. Jatka suorittamalla solmu scrape.js -toiminto aloittaaksesi kaavintaprosessin. Koko asennuksen tulisi sitten aloittaa tarvittavan sisällön tulostaminen. Tärkeää on muistaa käydä läpi koodi ja tarkistaa, että kaikki toimii suunnittelun mukaisesti, jotta vältyttäisiin virheiltä matkalla.