Löytyykö sivustosi Google indeksistä?
Vaikka verkkosivusto olisi rakennettu hakukonenäkyvyys huomioiden, käy joskus niin, että sivut eivät kuitenkaan löydy Googlesta. Käydään tässä blogikirjoituksessa läpi muutama seikka, joilla voi suuresti rajoittaa sivuston löydettävyyttä Googlessa.
Aivan aluksi on hyvä tarkistaa, että verkkosivujasi ei todellakaan löydy Googlen tietokannasta. Kirjoita Googlen hakupalkkiin site:verkko-osoitteesi.fi. Haku näyttää sivut, jotka löytyvät haun kohteena olevan verkko-osoitteen sisältä. Kiinnitä huomiota hakutulosten määrään. Jos sivuja on todella vähän, tai ei ollenkaan, voi sivustolla olla jokin tekninen ongelma, joka estää Googlen bottien vierailun sivuston sivuilla. Jos taas tuloksia on todella paljon, voi sivustosi sivuista olla kaksoiskappaleita, eli tuplasisältöä. Tuplasisältö voi vaikuttaa negatiivisesti sivujen sijoituksiin Googlen hakutulossivulla.
Jos epäilet, että joku tietty sivu ei löydy, voit hakea myös tarkempaa osoitetta:
Jos Google ei palauta yhtään hakutulosta, ei sivujasi ole vielä lisätty Googlen tietokantaan. Mikäli kyseessä on vasta julkaistut sivut, on täysin normaalia, etteivät ne heti löydy Googlen haun kautta. Googlen hakukonerobottien on ensin vierailtava sivulla, ennen kuin se voi löytyä Googlen tietokannasta.
Uusista verkkosivuista kannattaakin kertoa Googlelle heti julkaisun jälkeen Google Search Consolen kautta. Tämän jälkeen sivusto lisätään Googlen tietokantaan yleensä noin viikon sisällä, olettaen, että sivustolla ei ole muita esteitä Googlen hakurobottien vierailulle. Search Consolen käyttöön tarvitaan maksuttomat tunnukset, jotka on nopea luoda.
Robots.txt -tiedosto
Syynä voi olla myös väärin konfiguroitu robots.txt-tiedosto. Robots.txt on tekstitiedosto, jolla kerrotaan hakukoneille, mille sivuston sivuille hakukoneroboteilla on pääsy. Mikäli hakukonerobotti ei pääse jollekin sivulle, ei sitä myöskään lisätä Googlen tietokantaan.
Hakukonerobotit halutaan yleensä pitää poissa sivustolta esimerkiksi sivuston rakennusvaiheessa, jotta sivuston keskeneräinen versio ei päädy hakukoneiden tietokantaan. Joskus julkaisuvaiheessa kuitenkin voi unohtua tiedoston muokkaus ja robottien päästäminen sivustolle.
Robots.txt-tiedosto sijoitetaan verkkosivuston juurihakemistoon, jolloin sen pitäisi löytyä osoitteesta verkko-osoitteesi.fi/robots.txt.
Esimerkki robots.txt-tiedostosta, jolla suljetaan pääsy kaikilta tunnetuimmilta hakukoneroboteilta:
user-agent: *
disallow: /
Mikäli halutaan estää ainoastaan Googlen robottien vierailu, määritetään user-agentiksi googlebot:
user-agent: googlebot
disallow: /
Samalla logiikalla voi estää robottien pääsyn vain tietyille sivuston sivuille:
user-agent: *
disallow: /kategoria/alasivu.html
Kaikille roboteille täysi pääsy sivustolle:
user-agent: *
allow: /
Meta-robots-tag
Kannattaa tarkistaa sivusto myös virheellisten Meta-robots-tagien varalta. Paina kotisivullasi ctrl+u painikkeita, jolloin näet sivusi lähdekoodin. Etsi <head>-tagien sisältä meta name=”robots” kohtaa ja sen perässä olevia nofollow ja noindex-attribuutteja. Mikäli lähdekoodi näyttää sekavalta, voit käyttää hakuominaisuutta (ctrl+f) ja etsiä lähdekoodista nofollow ja noindex merkkijonoja.
Alla on esimerkki html-koodista, jolla kerrotaan hakukoneroboteille, että niiden ei tule seurata sivulla olevia linkkejä, eikä lisätä sivua hakukoneen tietokantaan.
<meta name=”robots” content=”nofollow, noindex”>
Meta robots-tag on siis toinen keino kertoa hakukoneroboteille, mille sivustoille on pääsy ja mitkä sivut halutaan viedä Googlen tietokantaan. Kannattaa lukea huolellisesti, sillä myös metatiedoissa eri hakukoneiden roboteille voi määritellä eri sääntöjä. Mikäli meta-robots-tagiin on määritetty kohta noindex, ei hakukoneet lisää kyseistä sivua tietokantaansa.
Canonical URL
Jos verkkosivustolla on useita sivuja, joilla on hyvin samankaltainen sisältö, voidaan kanonisella verkko-osoitteella kertoa hakukoneille, mikä sivuista näytetään hakutulossivulla. Ongelmia hakukonenäkyvyyden kanssa voi syntyä myös väärin määritetyn kanonisen verkko-osoitteen takia. Väärin määritettynä voidaan esim. vahingossa osoittaa kanoninen verkko-osoite osoittamaan sivuun, jota ei edes ole olemassa.
Kanoninen verkko-osoite määritetään lähdekoodin <head>-osiossa rel=canonical–tagilla. Esimerkki:
<link rel=”canonical” href=”http://www.verkko-osoitteesi.fi”>
Sivut löytyvät Googlesta, mutta sijoittuvat huonosti
Mikäli sivusto löytyy Googlen tietokannasta, voit koittaa tehdä haun tarkalla verkko-osoitteella. Jos haettu sivu ei ole hakutulosten 1. sijalla, on sivustoa luultavasti rangaistuksena tiputettu hakutuloksissa alaspäin. Rangaistuksen voi saada rikkomalla Googlen ohjeita.
Yhteenveto
Mikäli sivuston sijoitukset hakutulossivulla eivät vastaa odotuksia, voi hakukoneoptimointi auttaa. Kannattaa kuitenkin aluksi kiinnittää huomiota oman sivuston sisältöön ja verrata sitä edellä olevien kilpailijoiden verkkosivuihin. Mieti, miksi kilpailijat sijoittuvat edellesi? Tarkista myös, että käytät tärkeitä hakusanoja oleellisissa paikoissa sivustolla, ja että sivuillasi on runsaasti aihetta käsittelevää tekstisisältöä. Kun sivuston tekninen toteutus, rakenne ja sisältö ovat kunnossa, on sinne helpompi saada myös linkkejä, jotka vaikuttavat suuresti hakukonenäkyvyyteen.
Saimme hakukoneoptimoinnilla kasvatettua asiakkaamme verkkosivuston kävijämäärää 97%, lue alta kuinka tämä tehtiin.
[button text=”Kuinka paransimme asiakkaamme verkkosivuston kävijämäärää 97%?” style=”primary” size=”medium” link=”https://www.digimarkkinointi.fi/referenssit/prima-rakentajat”]
