Le test A/B permet de sonder un nombre plus important de personnes, donc d’avoir un retour plus fiable sur la performance de certaines interfaces. Ce type de test propose l’avantage d’avoir un retour de la performance dans des conditions de production, sans perturber le fonctionnement global du site, puisque seule une petite partie des visiteurs est soumise aux tests.

Fixer les objectifs principaux

Pour mesurer le succès d’une batterie de tests, il est important de définir au préalable les objectifs à atteindre, par exemple :

• Augmenter le trafic
• Augmenter l’engagement utilisateur
• Améliorer la rentabilité de la publicité
• …

Quel que soit le test à mettre en place, insister pour appliquer qu’un seul type de test à la fois. C’est la seule façon de mesurer et de garantir les résultats : quand je mets le bouton à droite, la conversion utilisateurs augmente de 22%.

Le A/B testing n’est pas facile, non seulement, il faut définir les objectifs (un seul à la fois), mais aussi ne modifier qu’un seul élément à la fois. Cette manière de procéder est la seule permettant de bien valider si une modification est bénéfique et surtout d’en déterminer la raison véritable.

Oui, mais quoi tester ?

Une page bourrée de liens devant vous, des choix divers pour chacun des visiteurs du site, par quoi faut-il commencer ? Plusieurs pistes pour décider de la fonctionnalité à passer au banc d’essai.

• Séance de tests utilisateurs pour faire un bilan du site
• Solliciter ses meilleurs amis et ses collègues
• Fouiller les statistiques (analytics) du site
• User de la carte de chaleur (heatmap) pour voir où les usagers cliquent

Construire son test

On a l’objectif, on a les recommandations sur les améliorations à apporter ; maintenant, il faut définir le test. Pour cela déterminer les variations possibles de l’élément à tester.

Attention car trop de variations augmente les temps de tests et trop peu de variations peut donner des résultats peu significatifs. Il faut trouver le juste milieu.

Le test dépend de chaque site. Il est possible de s’inspirer de la concurrence pour commencer. L’exercice sera un savant mélange entre pertinence et créativité.

Conclusion

Le test A/B est très séduisant dans la forme, il peut permettre d’avoir des certitudes sur la mise en place d’une évolution sur le site de production : ça marche moins bien ou ça marche mieux. Seulement, pour qu’un test soit significatif, il faut que le protocole soit défini de manière rigoureuse par rapport à un objectif précis. D’une certaine manière, il faut que le gain par rapport au temps passé soit positif.

Lire Gathering variables for A/B split testing.

Articles similaires :

1. Specular et Selenium
2. RMLL Accessibilité des CMS
3. Interview du Guru de l’utilisabilité : Jakob Nielsen

Effectivement, il n’est pas rare d’entendre ici et là quelques forçats du métier se révolter :

• Drupal, ça sent pas bon par Mariya Lysenkova
• Comparer et choisir son CMS : Drupal et Django par Scot Hacker
• Tu fais quoi dans la vie? Je suis développeur WordPress

Les arguments sont légitimes et fondés, ils essayent de démontrer que ces moteurs de blogs ou CMS sont mals codés.

Moui, d’accord, très bien. Il n’est pas inintéressant d’exprimer son avis sur le travail d’un contributeur. Le retour sur la qualité d’un produit fait partie intégrante du processus d’amélioration continue des produits que nous propose les communautés Open Source. En revanche, est-ce bien utile d’en arriver à critiquer le produit en lui-même alors qu’il répond aux attentes de nombreux utilisateurs ? Bruno Bichet, l’intégrateur, partage mon point de vue (ou l’inverse) :

Pour en revenir au code, il faut que les développeurs purs et durs prennent conscience que tous les intervenants de la chaine de production d’un site web n’ont pas les même notions quant à la qualité du code ni les mêmes attentes. Il m’est souvent arrivé de pester contre des développeurs ravis d’avoir trouvé une solution élégante pour résoudre leurs problèmes sans s’inquiéter de savoir si les fonctions, classes, méthodes, etc. qu’ils avaient développées correspondaient aussi aux besoins des intégrateurs web en bout de chaine. Le syndrôme du : « j’ai fait mon boulot, ça marche chez moi » est un argument récurrent.

La vision technophile de « moi je sais jongler avec 6 balles » et « je sais dire l’alphabet à l’envers en Klingon – 2 fois» me sort par les trous de nez. J’ignore si cela suffit à impressionner les gonzesses ou juste se donner un peu de contenance lors des réunions de production, mais les avancées sur les fonctionnalités de la machine ne rend pas son usage plus évident pour l’utilisateur.

WordPress est un exemple de moteur de blog qui convient à une grande partie des personnes désirant mettre leur journal en ligne sur le web. A défaut d’avoir le code plus propre de la terre, celui-ci représente une des meilleures solutions Open Source du marché : Pourquoi je suis passé de Dotclear à WordPress.

N’est-ce pas le débat sur le good enough (Le good enough! n’est pas incompatible avec la qualité) qui refait surface ? Le développeur sûr d’une production personnelle irréprochable critique son collègue, qui lui ne s’encombre pas avec des exigences aussi strictes, sans comprendre la position de celui-ci. Critiquer sans voir que la problématique de qualité du projet n’est pas seulement liée au code mais aussi à l’ensemble des intervenants, dont les usagers sont les premiers concernés, est une preuve de socio-centrisme.

Ou alors est-ce principalement un effet culturel conséquent au système éducatif (ici ou ailleurs) dans lequel sont séparés les décideurs marketeux et les tekos ? On décide en haut et les ouvriers codeurs réalisent en bas. La dé-solidarisation des compétences amènent souvent à une décolération entre la demande, la conception et la réalisation. De ce fait, n’étant pas intégré dans le processus de décision, le français développeur se fait entendre par une intervention musclée. Comme le dit Michel Volle sur le monde de la finance : Les « geeks » à la conquête de Wall Street, un danger pour la finance.

Les entreprises n’ont pas encore conçu la doctrine d’emploi de l’informatique, ne maîtrisent pas l’ingénierie d’affaires nécessaire aux partenariats et rechignent à déployer les services qu’elles croient improductifs.

La notion globale de qualité est fréquemment externalisée au dessous ou au dessus ou encore à côté :

1. Toi le développeur, fait moi du code de qualité
2. Je n’ai aucune demande dans ce sens de la part de mon chef
3. Le marketing doit se prononcer

Etant subjective, chacun peut s’amuser à critiquer la qualité du travail de son voisin.

De nos jours, nous mesurons la qualité de l’outil non pas à son utilité (pour le public) en terme d’adoption mais en terme financier (pour les inverstisseurs) avec des graphiques. Voilà une belle perversion de notre société qui aujourd’hui ne comprend pas comment résoudre le problème écologique. Les considérations techniques et d’usage sont souvent difficiles à coordonner.

Selon moi, nous devrions avoir une démarche plus réfléchie sur les productions de notre industrie afin de s’assurer qu’elles sont sources de progrès réels pour notre société. La critique est importante pour identifier les failles de certaines réalisations. Mais nous devrions définir des objectifs qualitatifs humains plus globaux et voir comment mieux faire.

Si seulement nous avions une politique (numérique) digne de ce nom afin que les outils (informatiques) soient considérer comme des outils et pas comme des moyens.

Articles similaires :

1. La qualité n’est pas au rendez-vous pour TYPO3 & Joomla
2. Le good enough! n’est pas incompatible avec la qualité
3. Le web 2.0 au service de la qualité
4. Calendrier de l’avent pour développeurs TYPO3
5. Echange de coups sur l’anxiogènité du web 2.0

Depuis l’informatisation complète des transactions boursières, l’arme suprême des spéculateurs est la vitesse. Les programmes d’achat et de vente ultrarapides, basés sur des algorithmes toujours plus complexes et tournant sur des ordinateurs toujours plus puissants, sont devenus des outils décisifs. On assiste à une féroce course à l’armement entre opérateurs. En 2008, plus du quart des transactions boursières aux Etats-Unis ont été réalisées grâce à des algorithmes. Le temps de latence (délai entre l’émission d’un ordre et sa réalisation) est de l’ordre de la milliseconde, et les profits ainsi réalisés se chiffrent en milliards de dollars par an.

Les banques investissent et se permettent de faire fructifier leur capital en misant sur le profit maximal plutôt que de garantir leur stabilité. En réalité, la grande question qu’on se pose c’est : est-ce qu’il reste tant d’humain que cela dans ce système ? Les système informatiques ultrapuissants remplacent les facultés de jugement. Noam Chomsky et beaucoup d’autres décrivent qu’en 1929, malgré la crise, les gens étaient plein d’espoir.

Oui, il y avait à l’époque le sentiment que les choses s’amélioreraient. C’est une époque, où même si l’on n’avait pas été longtemps à l’école, la culture était beaucoup plus présente dans les classes modestes. On écoutait le Quartet de Budapest, on discutait des mérites de Freud. Les syndicats se développaient et les gens découvraient les vacances. Ils étaient très pauvres mais ils avaient la certitude que la vie était riche, et qu’elle serait meilleure. La période que nous vivons actuellement est beaucoup plus déprimée, il n’y a pas de sentiment d’espoir.

Le sentiment que la vie pouvait s’améliorer vient certainement de la culture qu’avait les gens ainsi que le niveau de sociabilité de la société. En 2010, aussi bien notre culture que notre sociabilité est en train de passer dans la machine. L’espoir que les médias nous communiquent viendrait des exploits technologiques de nos grandes entreprises ou startup pour vaincre le mal qui ronge notre planète ou encore d’un événement providentiel venu de l’espace.

Le peuple est comme dépossédé de son futur, son avenir est pris en charge par de grandes institutions. L’homme, dans cette course effrénée, devient une variable d’ajustement. Ronger par la multitude de choix du quotidien, il se laisse guider sur une autoroute tracée pour lui, sur laquelle les payages se succèdent. Nous vivons dans des structures relationnelles de la féodalité, comme le dit Michel Volle : L’interaction informatisation/prédation aux origines de la crise de l’économie contemporaine.

On peut expliquer la crise contemporaine comme le résultat d’une inadaptation à l’économie informatisée. Du côté des consommateurs, la qualité n’est pas encore devenue le critère principal de la satisfaction. Les politiques ont pour seul souci la « fracture numérique », qui n’est en regard de l’informatisation qu’un problème secondaire. Les entreprises n’ont pas encore conçu la doctrine d’emploi de l’informatique, ne maîtrisent pas l’ingénierie d’affaires nécessaire aux partenariats et rechignent à déployer les services qu’elles croient improductifs.

L’organisation de l’économie place l’informatique comme un produit alors que ce devrait être un outil. L’outil est un objet technique qui demande à un groupe humain un certain temps pour apprendre à s’en servir et a en aquérir les usages. Le marché de l’innovation cherche à remplacer un outil par un autre sans laisser le temps aux générations pour assimiler les pratiques générées.

Nous devrions prendre plus temps et penser.

Articles similaires :

1. L’écologie des geeks, la grande hypocrisie
2. Les standards dans la comptabilité et la finance
3. L’écologie des geeks, la grande ignorance
4. Humble Finance: graphiques dynamiques avec HTML5

“Ne croyez pas au mythe de la qualité!” hurle Clay Shirky depuis son fauteuil de prof de new media à NYU. Les entreprises qui misent là-dessus se gourent. On sait depuis Clayton Christensen que les technologies perturbatrices commencent toujours par s’imposer alors qu’elles ont moins de qualité que celles qui dominent et que les pros y trouvent une bonne raison de les dédaigner.

A ce qu’il me semble, la diffusion d’une technologie ou d’un produit ne dépend pas directement de sa qualité, elle dépend des nouvelles expériences usagers proposées. Les utilisateurs utilisent un produit pour le côté pratique, la facilité d’utilisation. Ce qu’ils aiment c’est manipuler le contenu et découvrir de nouvelles expériences.

Second exemple : les MP3. Le son est moins bon que sur un CD mais on peut en gaver nos iPods et les faire circuler sur l’internet. C’est plus commode, donc… Good enough.

Bon exemple, le mp3 est un bon format pour la compression de fichiers audios ; c’est un format de qualité. Grâce à son faible poids, il permet l’écoute de morceaux musicaux ou de podcasts sur un appareil transportable ; le mp3 permet la mobilité, c’est vraiment génial. Néanmoins pour l’écoute dans des conditions optimales sur une chaîne HiFi, la compression n’est pas de qualité suffisante car il ne profite pas de la gamme de fréquences disponibles sur des enceintes de salon.

Donc la qualité de compression est adaptée à une certaine pratique. Le format est de qualité, mais la qualité du format n’est pas la plus élevée.

Je commence à comprendre pourquoi l’industrie française tourne en rond et met sur le marché des produits médiocres. Parfois, j’ai l’impression qu’on recouvre des notions appliquées depuis la nuit des temps et qu’il nous faut qu’un pauvre universitaire nous ponde un article pour qu’on crie à la révolution.

La qualité correspond à une pratique qui garantie la meilleure correspondance entre une exigence de départ et un produit (c’est une définition à moi).

Le principe du good enough! est de dire que pour couper le beurre, un couteau suisse est mal adapté. Certes, le couteau suisse est de meilleur qualité, oui il propose une lime à ongle, il est compact et léger, mais il ne permet pas de couper le beurre parce qu’il est trop difficile à nettoyer. Et moi, je préfère un bon couteau à beurre (certains préfèrent le fil) de qualité et qui dure quelques années, plutôt qu’un pauvre truc en plastique pourri qui va finir dans une poubelle.

Si je devais faire quelques raccourcis sémantiques, vous pourriez découvrir l’énormité de ce billet et le malheur des erreurs de traductions. La qualité est attribuée à un produit, avec un temps de vie important, qui répond à un usage de manière optimale pour un coût minimal.

La qualité se rapproche de ce qui est durable. Durable que l’on associe aujourd’hui à l’écologie, ce qui donne développement durable. Négliger la qualité c’est dire qu’un produit n’a pas besoin de répondre totalement à un usage et n’a pas forcément nécessité à exister dans le temps. Ce qui correspond à la définition d’un beau produit de merde qui va finir au fond d’une poubelle.

Je suis complétement d’accord avec les commentaires de ce billet, médire la qualité c’est accepter la médiocrité. Nous pouvons réduire le périmètre de nos exigences et privilégier une amélioration continue plutôt que rogner sur la qualité. Les avancées de notre civilisation devraient se réaliser dans le long terme et non pas dans le court terme.

Le good enough peut être une bonne chose à condition de l’inscrire dans une démarche durable.

Je voudrais qu’on puisse dire un jour : « Skyblog, plus jamais ».

Articles similaires :

1. Les coups de gueules des développeurs sur la qualité des CMS
2. Le web 2.0 au service de la qualité
3. La qualité n’est pas au rendez-vous pour TYPO3 & Joomla
4. Une nouvelle relation avec l’utilisateur/consommateur