Skip to main content Help Control Panel

YACS CMS : Open source !

Community «   Le forum «   Soupçons de bogues «  

problème avec le sitemap ... suite [Solved]

avatarChristian Loubechine -- on Sep. 4, from Chonas l'Amballan
YACS team - responsable support
création site internet et annuaire pro Rhône-Alpes
Pour faire suite à Sitemap.php et gogol, je constate que google m'indique des erreurs dans mon sitemap. En effet certains liens indiqués dans celui-ci dirige google vers le formulaire d'authenfication et j'ai donc des erreurs du type :

articles/edit.php?anchor=section%3A13 Erreur 4xx

ou encore d'autres erreurs :

articles/feed.php Erreur 4xx
articles/rate.php/11 Erreur 4xx
categories/feed.php/3 Erreur 4xx

Solution Manager: Bernard

Solution has been fully integrated
Bernard
avatar
from nearby-an-airport
Associate, 6927 posts

on Sep. 4


La difficulté vient d'une différence d'interprétation des standards entre les ingénieurs réseau et les informaticiens.

D'un côté, la spécification officielle du protocole HTTP, qui précise les conditions d'usage de différents codes de retour. Les codes commençant par 4 (c'est-à-dire 400, 401, etc.) sont réservés aux erreurs côté client. Le plus adapté pour bloquer un moteur de recherche semble évident : il convient d'utiliser le code 403 Forbidden.

" The server understood the request, but is refusing to fulfill it. Authorization will not help and the request SHOULD NOT be repeated. If the request method was not HEAD and the server wishes to make public why the request has not been fulfilled, it SHOULD describe the reason for the refusal in the entity. If the server does not wish to make this information available to the client, the status code 404 (Not Found) can be used instead. "


Yacs est assez intelligent pour afficher un texte explicatif, en plus du code fourni, ce qui permet d'adresser à la fois les erreurs d'aiguillage humaines (affichage de message explicite) et les débordements des moteurs d'indexation (code d'erreur).

Malheureusement Google ne l'entend pas de cette oreille, et considère la plupart des codes 4xx comme des erreurs, à l'exception des codes 401 et 407. Evidemment, les codes 403 envoyés par yacs sont considérés par Google, de manière un peu simpliste, comme des erreurs.

" HTTP errors/ 401/407 authentication error -- The page requires authentication. It's likely that you do not intend this page to be indexed. If this page is listed in your Sitemap, you can remove it. However, if you leave it in your Sitemap, we won't crawl or index it (although the page will continue to be listed here with this error). "


Il est donc suggéré d'utiliser plutôt le code 401 que 403 pour bloquer l'indexation par Google sans provoquer de message d'erreur.

Le problème, c'est que cette utilisation du code 401 n'est pas tout à fait conforme à la norme HTTP. En effet, le code 401 correspond le plus souvent à une demande d'authentification, et non à un blocage explicite de la demande.

" 401 Unauthorized -- The request requires user authentication. The response MUST include a WWW-Authenticate header field (section 14.47) containing a challenge applicable to the requested resource. The client MAY repeat the request with a suitable Authorization header field (section 14.8). If the request already included Authorization credentials, then the 401 response indicates that authorization has been refused for those credentials. If the 401 response contains the same challenge as the prior response, and the user agent has already attempted authentication at least once, then the user SHOULD be presented the entity that was given in the response, since that entity might include relevant diagnostic information. "


Donc, en clair, nous avons le choix d'interpréter la spécification HTTP au plus près, ce qui a été fait jusqu'à présent avec le code 403, ou de suivre la simplification introduite par Google, avec le code 401. L'application des standards, ce n'est pas toujours simple, comme vous le voyez. Alors comment faire ?

L'approche pragmatique, celle qui préside le plus souvent aux décisions de design pour yacs, commande de simplifier le plus possible la vie des webmestres, non ?

Et puis, je n'aime pas trop l'idée de passer du temps sur les forums à justifier les inexactitudes de Google, surtout sur un point aussi mineur. Déjà que du temps, on n'en a pas tant que ça, autant le consacrer à des choses plus intelligentes ...

Alors, d'un coup d'éditeur magique, je propose de remplacer tous les codes 403 par les codes 401. Comme cela Google arrétera de gémir, et les webmestres seront en paix. Ce sera intégré dans la RC4 avec les autres modifications en cours.
Bernard
avatar
from nearby-an-airport
Associate, 6927 posts

on Sep. 8


Ceci fait partie intégrante de yacs 8.6beta30.31.31.7, alias MacNana RC4.
Lekiend
avatar
93 posts

on Oct. 15


Bernard : Bonjour,
J'utilise la version yacs 8.6beta30.31.31.8.

Dans l'outil webmaster de Google, je reçois plus de 680 erreurs de type 401/407 authentication error.

Comment puis-je contourner cela et éviter que google m'affiche ces erreurs ?

Merci
Dimitri

 
Share
Information channels
Recent files