Inhoud
Internetzoekers zoals Google, Yahoo en Bing vinden informatie met behulp van links en sitemaps voor andere websites. Deze zoekmachines kunnen enkele van de meest obscure informatie vinden en deze in uw index opnemen en dit type zoektechnologie heeft voor- en nadelen voor gebruikers.
Interne netwerkpagina's
Interne netwerkpagina's zijn pagina's op websites die veel klikken nodig hebben om door de gebruiker te worden gezien. Deze pagina's kunnen producten, inhoud of een zoekdatabase zijn die zoekmachines normaal gesproken niet kunnen bijhouden. Het voordeel van dit type technologie, dat crawlen door zoekmachines voorkomt, is dat website-eigenaren producten, aankopen, informatie en andere belangrijke links kunnen opnemen in een zoekmachine-index. Dit geeft meer zichtbaarheid op internet aan de eigenaar van de website.
Persoonlijke informatie
Een nadeel van een zoekmachine die crawlt, is dat persoonlijke gegevens ongeacht privacy worden geïndexeerd. Informatie zoals beveiligingsnummers, financiële gegevens of geografische locaties kunnen worden geïndexeerd, zelfs als deze op een persoonlijke website zijn gepost. Zoekers hebben gebruikers de mogelijkheid geboden om indexinformatie te blokkeren door een bestand met de naam 'robots.txt' te gebruiken. Zoekmachines zoals Google stellen gebruikers bijvoorbeeld in staat om URL's te verwijderen nadat de eigenaar van de site aanstootgevende informatie heeft verwijderd, die uit de index is verwijderd.
automatisering
Website-eigenaren kunnen hun pagina's laten indexeren door een aantal links op een andere website of zelfs op hun eigen site achter te laten. Deze praktijk wordt 'backlinking' genoemd. Een website die van deze functie gebruikmaakt, wordt automatisch bijgehouden door de zoekmachines, die vervolgens een website in kaart kunnen brengen en indexeren. Dit vereenvoudigt de situatie van website-eigenaren omdat ze geen domeinnaam hoeven in te dienen bij de zoekmachines. Indexautomatisering maakt het voor internetlezers gemakkelijker om te zoeken.
