Crowdsourcing : comment récompenser pour motiver ?

J'ai participé récemment à une expérience de crowdsourcing d'un cabinet de conseil, ECDYS, qui cherche de nouvelles idées pour proposer une offre innovante. Lors de cette expérience, certains participants se sont plaints du fonctionnement du système de récompense. Ce n'est guère étonnant, dans la mesure où il s'agit d'une première pour le cabinet en question : personne n'a la science infuse, c'est en forgeant qu'on devient forgeron, et on apprend de ses erreurs.

Premiers éléments de réflexion

Le cabinet a eu le bon goût de rebondir sur ces remarques en demandant aux participants de s'exprimer sur le sujet, de développer leurs critiques et de proposer des solutions.

La plupart de mes critiques et de mes propositions de solution ont été faites à chaud, et sont parfois spécifiques à l'expérience du cabinet, mais certaines méritent à mon avis d'être évoquées ici :

• Chaque idée proposée est évaluée par une note unique issue d'un vote : est-ce qu'une idée peut réellement être condensée en une seule valeur ?
• Une idée peut déplaire un peu à la majorité des votants et plaire énormément à une minorité : est-ce une mauvaise idée pour autant ?
• Chaque participant est évalué par un score unique lié :
• au nombre de ses idées : cela incite à proposer des idées de faible intérêt ;
• aux votes positifs et négatifs de ses idées : les votes négatifs pénalisent les créatifs qui proposent plein d'idées dont certaines ne plaisent pas,
• ou encore aux nombre de commentaires qu'il apporte à des idées : cela encourage à commenter sans forcément faire avancer l'idée.
• Certaines idées, éventuellement mauvaises, peuvent suggérer des bonnes idées à d'autres participants : ne doit-on pas récompenser l'idée séminale ?
• L'indice de Hirsh, ou indice h, d'un scientifique est le plus grand nombre N tel que ce scientifique ait au moins publié N articles cités N fois dans d'autres articles scientifiques. Pourquoi ne pas attribuer un "indice i" à un compétiteur : le plus grand nombre N tel que ce compétiteur ait donné N idées qui ont recueilli N votes positifs ? 
• Enfin, seul un petit nombre de compétiteurs sont récompensés : comment motiver la centaine de compétiteurs qui ne sont pas dans le peloton de tête ?

C'est sur ce dernier point que porte la suite de mon propos.

Un crowdsourcing idéal

L'idée de récompenser les innovateurs n'est pas nouvelle (voir par exemple le cas du prix de la longitude). Le crowdsourcing n'est un nouvel avatar d'une pratique ancienne tombée en désuétude.

Dans la plupart des cas, seul l'un des participants (ou une poignée tout au plus) bénéficie de la totalité du prix. Imaginez qu'une centaine de compétiteurs participent : cela fait 99 personnes qui ne touchent rien, même si certains avaient des idées tout à fait pertinentes. Si en plus le prix est attribué de manière subjective par un jury, cela ressemble à de la loterie, voire pire car il n'y a pas de lot de consolation. Un participant malheureux qui a perdu plusieurs fois n'est guère motivé à recommencer.
Et encore, quand il s'agit de proposer une idée, l'effort est faible (rédiger l'idée prend typiquement 10 minutes). Mais certains challenges demandent un travail bien plus fourni, avec des preuves de validité du principe, voire de la réalisation de prototype. Si ce travail demande plusieurs jours, comment motiver des candidats à une loterie à laquelle ils ont peu de chances de gagner ?
A l'inverse, récompenser tout le monde de la même manière n'est pas idéal non plus, pour une raison simple : n'importe qui voudra participer (on vous offre un cadeau), aucune incitation à proposer une idée brillante, et le prix sera d'autant plus faible qu'il y a de nombreux participants.
Alors, comment faire ? Voici une idée inspirée de mathématiques, et plus précisément de ce qu'on appelle les séries numériques. Le lecteur impatient ou peu intéressé par l'aspect mathématique pourra sauter ce point.

Concours modèle

On se place dans un concours où chaque participant donne une seule idée. Un jury classe les idées de la meilleure à la moins bonne.
Supposons que l'on veuille récompenser la meilleure idée par un prix P1, la seconde meilleure idée par un prix P2 (plus faible), et ainsi de suite jusqu'à la moins bonne idée Pn (où "n" est le nombre d'idées). La récompense totale est donc la somme P1+P2+...+Pn. 
Or le nombre d'idées n'est pas limité, donc on souhaite définir par une règle mathématiques comment se répartissent les récompenses. Il faut donc que la somme de cette série P1+...+Pn soit limitée par une valeur fixe (le budget) quel que soit le nombre d'idées. En termes mathématiques, la série doit converger.
On souhaite aussi ne pas diluer la récompense des meilleures idées lorsque le nombre d'idées augmente : les valeurs de P1, P2... doivent être fixées indépendamment du nombre d'idées.
Enfin, on souhaite que la récompense ne soit jamais nulle pour que chaque idée soit récompensée.
Il existe une infinité de séries numériques qui répondent à la question, mais les plus simples sont sans doute les séries géométriques : le prix de l'idée n°i+1 est égal au prix de l'idée n°i divisé par un nombre R. Lorsque R est supérieur à 1, la série converge.
On peut choisir la valeur de R de manière arbitraire. Plus R est grand, plus on récompense fortement les bonnes idées au détriment des mauvaises ; à la limite où R est infini, seule la meilleure idée est récompensée, comme dans le cas classique. A l'inverse, si R est très proche de 1, toutes les idées sont récompensées d'une valeur assez proche.

Illustrons l'idée précédente : imaginons que la première idée se voit récompensée par un prix de 1 000 €, la deuxième par 500 €, la troisième par 250 €, et ainsi de suite en divisant par 2 à chaque fois (i.e. R = 2). S'il y a deux idées en compétition, la somme totale à débourser est de 1 500 € ; s'il y a trois idées : 1 750 € ; s'il y en a quatre : 1 875 €... Quel que soit le nombre d'idées, la somme totale ne dépasse jamais 2 000 €.
La répartition des prix dépend de 2 paramètres (le premier prix et le nombre R), que l'organisateur du concours peut déterminer librement. Une bonne manière de faire pourrait être :

• de définir le budget maximal que l'on est prêt à dépenser,
• d'estimer le nombre d'idées qu'on souhaite obtenir ou le nombre de candidat qu'on espère voir participer (estimer n),
• d'estimer le coût du travail C correspondant à une idée,
• et de choisir les paramètres afin que l'idée numéro n reçoive un prix égal à ce coût C.

Ainsi, le budget maximal n'est jamais dépassé, et les n premiers participants sont au moins rémunérés à la hauteur de ce que leur coûte le travail.

Extensions possibles

Bien sûr, le modèle précédent est simpliste. Toutefois, il est facile d'aménager le principe de ce modèle à des situations plus réalistes.
Par exemple, certaines idées proposées sont parfois manifestement hors sujet : il est possible de les écarter de l'attribution des prix.
On peut aussi considérer les participants proposant plusieurs idées : la récompense d'un participant est alors la somme des récompenses de ses idées.
On peut encore envisager un système où les participants peuvent faire évoluer une idée originale pour la rendre meilleure : on peut alors répartir le prix attribué à l'idée entre les contributeurs de cette idée (il faut alors faire classer les contributions par le jury). Cela peut devenir vite complexe !

Enfin, rien n'empêche que les membres du jury participent au crowdsourcing, et proposer des idées mais ils ne doivent pas être récompensés, pour éviter tout conflit d'intérêt.