Valt me op dat een zoekmachine (bijv. Google) niets vindt van wat er op het prikkersforum staat, maar erger nog: ook geen linkjes volgt die er op staan.
Hoe komt dat, Berry? Waarom staat er een noindex en een nofollow-tag in?
Jammer.
Sander 110 "<a href="[www.runde.nl];
Zoekmachines en prikpagina
-
Frans
Re: Zoekmachines en prikpagina
Maar als je bij Google.nl landrover intikt, en dan bij zoeken bij pag's in het Nederlands, ik doe een gok, kom je wel bij landrover.startpagina.nl uit.
Je wordt zelfs meteen doorgewezen.
Frans Bonnes
Je wordt zelfs meteen doorgewezen.
Frans Bonnes
-
Berry Weijers
Re: Zoekmachines en prikpagina
Het klopt dat Startpagina de prikborden afschermd voor zoekmachines.
Dit met de simpele reden dat de webservers het niet kunnen trekken.
De hoeveelheid prikborden (ruim 1700) en de daarbij behorende hoeveelheid data is zo verschrikkelijk groot dat de zoekmachines in een eindeloze loop terecht komen en continu blijven spideren en dat vinden de Startpagina servers niet leuk.
Daarbij komt dat elke zoekmachine natuurlijk al ons moois wil gaan spideren en in het slechtste geval hebben we dan meerdere spiders die op hoge snelheid over de prikborden razen en dat vinden de webservers helemaal niet leuk.
Groeten,
Berry Weijers
beheerder [Landrover.startpagina.nl]
Dit met de simpele reden dat de webservers het niet kunnen trekken.
De hoeveelheid prikborden (ruim 1700) en de daarbij behorende hoeveelheid data is zo verschrikkelijk groot dat de zoekmachines in een eindeloze loop terecht komen en continu blijven spideren en dat vinden de Startpagina servers niet leuk.
Daarbij komt dat elke zoekmachine natuurlijk al ons moois wil gaan spideren en in het slechtste geval hebben we dan meerdere spiders die op hoge snelheid over de prikborden razen en dat vinden de webservers helemaal niet leuk.
Groeten,
Berry Weijers
beheerder [Landrover.startpagina.nl]
-
Puffino
Re: Zoekmachines en prikpagina
Grappig,
de oplossing is trouwens niet moeilijk: laat ze wl spideren, als je dat wilt tenminste, maar laat de zoek-bots een andere pagina (op basis van client, waaraan je kunt zien dat het een zoek-bot is) zien met andere content, welke de bot "op het verkeerde been zet". Zo kun je ze slim met weinig crawlen een hoop content tonen, terwijl de rest er niet veel last van heeft.
Als je dan ook nog eens de "follow after" tag zet op "twee weken" of langer komen ze niet zo vaak weer terug.
Ideaal voor dit soort omstandigheden waar de web en dataserver al snel tot de limiet gejaagd wordt.
Afijn, ikben zelf in het dagelijks leven bezig met internet technieken, als je me nodig hebt, zeg het maar.
Sander 110 "Snorkel"
de oplossing is trouwens niet moeilijk: laat ze wl spideren, als je dat wilt tenminste, maar laat de zoek-bots een andere pagina (op basis van client, waaraan je kunt zien dat het een zoek-bot is) zien met andere content, welke de bot "op het verkeerde been zet". Zo kun je ze slim met weinig crawlen een hoop content tonen, terwijl de rest er niet veel last van heeft.
Als je dan ook nog eens de "follow after" tag zet op "twee weken" of langer komen ze niet zo vaak weer terug.
Ideaal voor dit soort omstandigheden waar de web en dataserver al snel tot de limiet gejaagd wordt.
Afijn, ikben zelf in het dagelijks leven bezig met internet technieken, als je me nodig hebt, zeg het maar.
Sander 110 "Snorkel"