Google Bot

[macwlem]

al eens een htaccess aangemaakt?

er staat een (denk ik) standaard htacces in phpbb (forum). Er staat echter niets in over google of anders bots.

Ik zie bij "Wie is er online?" wel steeds Bing [Bot] maar nooit Google [Bot].

Er staat niets over indexering in de htaccess zie ik. Je zou eens kunnen starten met:

User-agent: Googlebot
Disallow: /naamvandedirectorydienietbezochtmagworden/
Disallow: /naamvaneenanderedirectorydienietbezochtmagworden/

toe te voegen aan die htaccess.

Groet,
Willem

[Ewout]

Het probleem zit dieper. Google krijgt een hoop foutmeldingen in z'n bakkes en heeft zogezegd onvoldoende rechten:

googlebot-imkerforum.png (226.65 KiB) 4481 keer bekeken

Als je zelf wilt kijken, klik op een van deze links (bij het mini groene pijltje > In Cache): https://www.google.nl/search?q=site:bij ... n.nl+phpbb
Ik denk dat de sleutel zit in de fouten bovenaan de pagina, het lijkt erop dat de bot niet goed in de database staat.

Nu kijk ik net bij de bots en zie ik Googlebot er helemaal niet meer bij staan, dat was in Juli nog wel zo. Heb je iets veranderd, Wim?

[Wim Joosten]

Bedankt allemaal voor het meedenken.

Ja, ik heb googlebot er voor een paar dagen terug uitgehaald. Deze deed toch niets en ik had gedacht om 'm er uit te halen en dan weer opnieuw in te voeren. Het eerste lukte wel maar het tweede niet. Ik kreeg een melding dat google bot al actief was. In groepen staat google bot dan wel maar laatst actief in augustus 2010.
Rechten? Daar kan ik nog wel even naar kijken maar dan nog: waarom bing bot wel en google niet?

[Ewout]

Omdat de gebruiker voor de Google bot wellicht niet gekoppeld is (was) aan de bot Google bot, wat bij Bing wel het geval zal zijn. Ik zou dus eerst ook die gebruiker verwijderen en dan opnieuw proberen de bot te installeren. Is het al wel gelukt met de webmaster tools zodat je "fetch as googlebot" kunt doen?

[Wim Joosten]

Ik kan geen bing of google als gebruikers vinden in de gebruikerslijst.

Bij het fetchen geeft deze aan: http://www.bijenhouden.nl/phpbb/index.php als onbereikbare pagina.

[Ewout]

Je moet kijken bij groepsbeheer > bots

[Wim Joosten]

Had ik gezien maar nog niet verwijderd. Nu wel gedaan en opnieuw google bot toegevoegd.
Nog steeds bij fetchen wordt die pagina als onbereikbaar aangeduid.

[Ewout]

Het lijkt ongerelateerd, maar mag ik vragen hoe je het 'opschonen van de ledenlijst' hebt gedaan? Doe je dat via MySQL of via het beheerderspaneel? In het eerste geval kan het zijn dat dit de oorzaak is van dit probleem.

Dit is wat ik krijg als ik me verkleed als Googlebot:

[Wim Joosten]

Via mysql

[Ewout]

Wim, wees voorzichtig met zulke kopieeracties. Ik weet niet of het jouw actie was of die van mij, maar ik heb de Google [bot] bot gekoppeld aan de Google [bot] gebruiker. De Google [bot] bot had namelijk een link naar gebruiker 16, maar die bestond niet. De gebruiker was 4438 oid, ik heb die naar 16 omgezet. Dat zou alles moeten fixen, en het lijkt te werken. De moraal van dit verhaal: nooit zomaar gebruikers uit de database verwijderen!