Google a-t-il un cerveau ?

Aujourd’hui, nous recevons Sylvain Peyronnet, professeur et chercheur à l’université de Caen Basse-Normandie (laboratoire GREYC).

Nous allons parler d’un sujet amusant : l’intelligence supposée de l’algorithme de positionnement de Google.

Sylvain est bien placé pour nous parler de ce sujet, nous n’avons eu aucune difficulté à le convaincre de passer à la torture ici…

Note : Je ne sais pas si c’est encore utile de le préciser, car normalement tout le monde doit savoir cela : Sylvain, avec son frangin Guillaume, délivre des formations de tout premier plan sur le sujet des moteurs de recherche : les MasterClass. Ne les ratez sous aucun prétexte !

Je fais une brève présentation de l’intelligence artificielle pour ceux qui ne savent pas grand-chose de ce sujet.

// SI ASPRO ALORS (sinon aller directement aux questions-réponses)

Il y a quelques années, pour tout le monde, Google était juste un algorithme bateau qui comptait les liens et faisait monter les sites au gré de la quantité, justement, de ces backlinks.

Mais depuis que Google a déployé ses Panda, Penguin et autres, et peut-être aussi depuis que la personnalisation des recherches est déployée, les idées les plus disproportionnées sont arrivées dans les conversations :
        « Google tente de détecter les référenceurs, Google tente de comprendre ce que souhaitent les internautes, les hommes peuvent aussi faire cela, les hommes sont intelligents, donc il y a de l’intelligence artificielle maintenant dans Google ! »

Hum… comment vous dire ?

Bien sûr qu’en comparant les réactions d’un caillou et celles d’une plante carnivore, on va avoir des « réactions » vaguement évoluées de la part de la plante par rapport à son environnement… mais est-ce de l’intelligence pour autant ?

Et d’ailleurs, pour revenir à nos moutons, c’est quoi l’intelligence artificielle ? Google peut-il comprendre ce qu’il « lit » par exemple ? Il utiliserait même des algorithmes génétiques dit-on ! Super ça, c’est cool (?).
En fait, de l’IA, y’en a même dans Windows, paraît-il, chacun pourra en apprécier la valeur ajoutée… 😉

Après la mythologie grecque, voici donc la mythologie SEO…

Peut-être pourrait-on préciser ce qu’est l’intelligence artificielle, cela permettrait de mieux apprécier si Google l’utilise possiblement, qu’en pensez-vous ?

Déjà, je vais vous surprendre peut-être un peu, mais l’intelligence artificielle a pris forme au 4e siècle av. J.-C. Ça date pas mal finalement…
Sisi, vous ne me croyez pas ?

Ben, y’a un gars qui a trouvé des lois régissant la pensée rationnelle à cette époque… très en avance sur tout le monde finalement. Ce monsieur est totalement inconnu d’ailleurs, peut-être en avez-vous entendu parler : Aristote, ça vous dit quelque chose ?

Eh oui, les syllogismes d’Aristote constituent un vrai système de raisonnement « mécanique » et il est l’inspirateur historique de l’intelligence artificielle. Bravo, Aristote, à l’époque, fallait y penser ! Prodigieux, bravo Riri !

Bon, je voulais écrire une introduction à l’IA, mais je me rends compte que je vais encore être trop bavard et ne pas voir le temps passer.

Donc, juste quelques bricoles avant de passer la parole à Sylvain Peyronnet, l’IA n’est pas une « chose » appartenant aux mathématiques ou à l’informatique ou à la recherche opérationnelle.

Ses fondements se trouvent partout : dans la psycho, la philo, les maths, la logique, les neurosciences, la robotisation, les probas, les sciences du langage, la recherche opérationnelle, etc.

Au départ, il y avait un conflit ouvert entre les chercheurs de ces différentes « disciplines », chacun voulant être fondateur de la chose. Aujourd’hui, les chercheurs sont eux-mêmes devenus intelligents (je taquine) et ne cherchent plus trop à dire à quoi l’IA appartient au juste… sans doute à l’ensemble de tout cela et à bien d’autres sources d’inspirations non citées ici.

La collaboration entre ces diverses disciplines scientifiques a permis de déboucher sur des types différents d’approches, pas seulement au niveau algorithmique, mais aussi du point de vue des « objectifs » qui sont différents selon les ambitions et besoins de chacun.

On peut, tout de même, considérer 4 types de systèmes d’IA (dans aucun de ces systèmes on aborde la question de la conscience de penser ou d’agir, et pour cause !) :
– les systèmes qui pensent comme nous,
– les systèmes qui pensent rationnellement,
– les systèmes qui agissent comme nous,
– les systèmes qui agissent rationnellement.

On va parler ici un peu du 4e type de système : les agents rationnels.
On parle également d’apprentissage…

Bon, allez, je la boucle maintenant et je laisse la parole à Sylvain Peyronnet !
 
// FIN ASPRO

1) Tout en faisant le distinguo entre les filtres et l’algorithme de positionnement de Google, dirais-tu que Google utilise de l’intelligence artificielle et, si oui, à quel niveau ?

Je vais tout de suite commencer par une précision. Quand Minsky définit l’intelligence artificielle, il parle de la réalisation par l’ordinateur de tâches qui sont pour l’instant plus efficacement réalisées par des humains. Cela ne veut pas dire grand-chose d’un point de vue technique, même si cela a une signification philosophique. Je vais donc restreindre ta question en parlant de l’utilisation de techniques d’apprentissage automatique (machine learning en anglais).

Une fois opérée cette restriction, la définition devient plus claire. L’apprentissage automatique, c’est la discipline de l’informatique qui vise à construire des algorithmes capables « d’apprendre » la structuration d’un ensemble de données.

Il y a plusieurs grandes familles de méthodes d’apprentissage automatique et un moteur comme Google utilise des algorithmes que l’on retrouve dans toutes ces familles.

Par exemple, un filtre comme Panda est un algorithme d’apprentissage automatique, sans doute de la famille des méthodes d’apprentissage supervisé. L’idée est la suivante : le moteur va apprendre le processus de décision associé à un grand nombre de notations de la qualité des pages web par des quality raters.

On peut voir ce type d’approche en action dans les travaux de 2006 de Ntoulas, Najork, Manasse et Fetterly ( ) que l’on décrit en détail dans nos masterclass. C’est d’ailleurs ce type d’approche qu’on déploie dans le cadre de notre étude sur le webspam.

Mais Google utilise d’autres types d’algorithmes d’apprentissage automatique, au cœur même de son algorithme de positionnement. Ainsi, la nécessité de faire du pré-processing lors du calcul de similarité entre pages web (pour ensuite déterminer efficacement la pertinence d’une page à une requête) implique de réaliser un clustering des données.

Cette tâche revient à apprendre comment grouper les données, sans connaitre les critères qui correspondent à ces groupements. On est alors dans le schéma typique de l’apprentissage non supervisé.

En résumé, Google utilise des méthodes d’apprentissage automatique, à tous les niveaux du moteur.

2) Quels parallèles ferais-tu entre la GED et les problématiques d’un moteur comme Google ?

La Gestion Electronique des Documents (GED) a des problématiques à la fois plus simples et plus compliquées que celles d’un moteur de recherche.

En outre, en GED, on va utiliser des techniques différentes pour gérer et structurer l’information, même s’il y a de plus en plus une convergence entre ce que fait un outil de GED et ce que fait un moteur de recherches (principalement, car la puissance de calcul d’un moteur de recherches devient suffisamment grande pour traiter les données de manière plus approfondie).

La principale différence entre la GED et ce que fait un moteur, c’est le contexte qui la définit. En effet, sur le web il y a des « adversaires », c’est-à-dire des gens qui tentent de manipuler les SERPs (des SEOs donc ;)). Prendre en compte les méthodes de manipulation pour obtenir un traitement robuste de l’information, c’est difficile.

En effet, les effets des manipulations se font sentir à tous les niveaux : à l’indexation, au traitement, au moment du classement, etc.

En revanche, les recherches en GED sont beaucoup plus complexes, car il s’agit de recherches « expertes » avec souvent des langages de requêtes assez compliqués (on ne cherche pas les documents qui parlent de « la pêche à la morue », mais les documents qui parlent de la « pêche à la morue », écrits par un gaucher, qui bossait pour la boite zgloubi, avant 1997 et qui était un copain de Robert de la compta).

On est donc dans une problématique de recherche « multicritères ». C’est d’ailleurs en GED que les gens ont commencé à utiliser des métadonnées pour affiner les recherches. Mais dès qu’on parle de métadonnées, on se retrouve à complexifier les tâches d’indexation (comment acquérir les métadonnées ? Sont-elles de confiance ? etc.).

3) Peux-tu nous dire quelle est ta définition de l’agent rationnel ?

À l’origine, le concept d’agent rationnel vient de l’économie. Un agent rationnel est un acteur du système qui classe les objets et les choix en fonction de ses préférences, qui est capable d’anticiper les effets de ses actes et qui a un but comportemental : maximiser l’utilité qu’il retire de ses choix. Note de Christian : le terme « utilité », en IA, est à comprendre dans le sens de « satisfaction objective ».

Par extension, le concept algorithmique d’agent rationnel est très proche. Il s’agit d’un programme qui, pour chaque suite d’entrées qu’il va rencontrer, va faire des choix qui ont pour but de maximiser une certaine mesure de performance.

Tout ça, c’est un peu du baratin pour parler d’un programme qui utilise des méthodes d’apprentissage automatique dans le but d’augmenter son gain, le gain étant associé à la réussite de certains objectifs. Par exemple, si l’objectif est « fournir une page web pertinente à l’utilisateur », le moteur de recherche vu comme un agent rationnel maximisera son gain quand l’utilisateur sera satisfait du résultat fourni par les SERPs.

4) Combien de puissance machine supplémentaire (Stockage, CPU, RAM, Bande Passante) faudrait-il pour faire de Google un gros agent rationnel pas trop raté ?

Il y a deux aspects dans la réponse à cette question.

D’abord, il faut comprendre que la première barrière n’est pas liée à la puissance, mais bien à la nécessité d’avoir des résultats scientifiques nouveaux. Les méthodes utilisées par un moteur moderne ont des limites théoriques, il faut donc de nouvelles méthodes pour passer ces limites et améliorer substantiellement la qualité de ce qui est fait actuellement. Quelles sont les pistes à suivre ? Je ne sais pas, sinon ce ne serait pas de la recherche.

À noter que les résultats actuels sont déjà impressionnants. Par exemple, le taux de détection du spam de contenu par un moteur comme Google est sans doute au-delà de 90 %, ce qui est vraiment très bon.

Ensuite, il y a effectivement une barrière technique pour le déploiement à grande échelle de certains algorithmes déjà bien connus comme le clustering, la détection des fermes de liens ou  l’exploitation à grande échelle du knowledge graph. Pour améliorer cet aspect des choses, le problème n’est pas la bande passante, mais bien la triplette stockage/CPU/RAM.

Impossible de donner un chiffre, car plus on a de puissance et de mémoire, plus on améliore ce qui est fait, jusqu’à atteindre les limites théoriques des méthodes mises en place.

5) Penses-tu que Google soit, à ce jour, le plus pertinent des moteurs de recherche ?

Comme tout le monde, je n’utilise que Google, ou presque, donc je n’ai pas d’avis personnel. Il y a eu des mini études pas très scientifiques pour comparer Bing et Google, mais rien de probant ne peut en être tiré (cf. http://freakonomics.com/2013/10/01/challenging-the-bing-it-on-challenge/ ).

Ensuite, la notion même de « le plus pertinent » n’a pas un sens énorme. Dans mon utilisation personnelle du moteur, je ne le trouve pas très pertinent. En revanche, dans mon utilisation professionnelle, je le trouve, au contraire, très bien.

Mais ce n’est pas surprenant. Dans le premier cas, je fais pas mal de recherches sur des requêtes non commerciales, mais dans des domaines très pollués par des enjeux commerciaux, alors que dans le second cas, je fais des recherches qui n’ont pas d’enjeu hors communauté scientifique (zéro spam donc).

6) Vois-tu les microdata comme un aveu d’échec ?

Absolument pas. Je suis très pragmatique sur les aspects techniques. Le moteur doit résoudre un problème, il fait en sorte de pouvoir le résoudre efficacement. Pour cela, il peut améliorer la qualité et diminuer le coût machine de son traitement algorithmique. Les microdata permettent de faire tout ça, donc c’est au contraire une très bonne idée de les utiliser.

Ensuite, c’est bien sûr une indication du fait que les algorithmes déployés au niveau le plus bas du moteur ne sont pas suffisants pour donner des résultats de très grande qualité.

7) Penses-tu que Google veuille vraiment être pertinent pour l’internaute ?

Je pense que la pertinence n’est pas la fonction d’utilité de Google, vu comme un agent rationnel. Note de Christian : je vous laisse réfléchir à cette réponse qui en dit long. 😉

Merci Sylvain pour la qualité que tu as apportée à tes réponses.
Le site des frangins Peyronnet

Mots-clefs :

Commentaires (19)

  • Avatar

    Philippe

    |

    Bon, encore un billet qu’il faut relire 3 fois… Rigolo le mot clé associé à ce billet : Fastoche convient parfaitement !

    Pour faire simple, l’intelligence du top management chez Google est dédiée au remplissage des poches des actionnaires 😉

    Google est une régie publicitaire dont le bras armé est son moteur de recherche et les services associés.

    Reply

  • Avatar

    jessyseonoob@jessyseonoob

    |

    On a le droit de commenter « merci pour la photo du cerveau » ? et repartir ?

    C’est vrai que lorsqu’on me parle d’intelligence artificielle, j’ai tendance à voir un robot, d’ailleurs ça me fait penser à terminator, la machine qui apprend tellement à être autonome au final arrive a autogénérer de nouvelles machines.

    M’étant essayé à une époque à adapter un chatbot en français, je m’étais buté à essayer de faire une adaptation d’une construction de phrase anglophone qui n’était pas adaptable en français, c’est une question de sémantique, une phrase en anglais c’est verbe+complement, en français on peut avoir une multitude de chose qui se case avant ou après, (le, la, les, un, une) sans compter les conjugaisons, les compléments d’objets direct, les compléments d’objets indirect, les formes.

    Le système reposait sur des stimulis/réponses. la phrase était découpée en thèmes (les topics), et ensuite on avait des arbres représentant des verbes et des réductions syntaxique pour limiter le nombre de réponses possibles

    par exemple un traitement sur une phrase :
    Est-ce qu’il fait beau ?
    * il fait beau ?
    question normalisée=quel temps fait-il ?
    réponse (pattern)=
    – il fait soleil
    – il fait pourri
    – retourne dormir

    Mais si on part sur une construction de phrase plus complexe :

    * il fait beau, * acheter une glace

    Il fallait forcer un choix pour arbitrer. Ce qui impliquait de forcer un topic (sujet) et sortir du contexte de ce qui avait été posé avant.

    Mise en pratique chez google :
    Essayer google now, vous verrez exactement de quoi je parle. ceux qui sont sur ios, c’est SIRI

    demandez :

    Combien de kilomètre pour aller jusqu’à notre dame de la garde. Ensuite demandez lui, montre moi des photos.

    Vous allez voir des femmes en culottes, alors que l' »intelligence artificielle » aurait du contextualiser ma réponse selon ce qu’elle m’avait répondu à la question d’avant.

    Je me dis que, si on nous fait utiliser les microdata, par rapport a mon chatbot, ce serait pour fixer le « topic » avant l’analyse plus approfondi du contenu (même si il peut s’en servir pour afficher des contenus enrichis).

    Si je regarde google d’un point de vu utilisateur, je me dis juste, wow, cette machine on lui envoi des données toute la journée, et même s’il n’est pas toujours pertinent, il arrive quand même a faire son job de décortiquer un contenu et le classer.

    Mais comment peut-il maintenir un classement avec des positions, (et chacun voit que parfois ses top positions ne varient pas beaucoup) alors qu’il y a ces millions de données qui entrent chaque jour ?

    Mon avis, c’est pour ça qu’existe le pagerank, il doit y avoir 3 piles : Une ou il y a marqué page rank avec 9 tiroirs (pr1 à 9), la pile on classe ce qu’on peut si y’avait rien qui était en concurrence dessus, et 1 adwords.

    D’ailleur l’algo de gestion des adwords doit être indépendant puisque par essence les annonce se déclenchent par rapport aux mot-clés préalablement saisis.

    Son AI consiste donc qu’a analyser ce qu’on lui demande en entrée, et nous recracher un pattern en sorti.

    Reply

  • Avatar

    Sumo du Net

    |

    La vache ! c’est le genre d’article à ne pas lire trop tot le matin ou trop tard le soir. Il faut être bien concentré. En revanche c’est hyper intéressant d’avoir l’avis de Sylvain sur ces choses. On voit qu’il maitrise son sujet. On voit aussi que Google n’est pas là pour sortir un résultat au final pertinant mais plutôt pour que ça génère du chiffre chez eux et que leur action monte.

    Reply

    • Avatar

      Christian Méline

      |

      Bah, avec un peu de chance, parfois, la pertinence peut être un effet de bord 😉

      Reply

      • Avatar

        Sumo du Net

        |

        Avec un peu, voire beaucoup, de chance tu veux dire 😉 Mais oui en effet c’est possible en soi.

        Reply

  • Avatar

    Ludovic

    |

    Intéressant !
    L’article me conduit à cette réflexion (peut être une connerie, ça n’est qu’une réflexion …)
    Google cherche a augmenter sa « pertinence » en contextualisant ses réponses, il prend donc plus de paramètres en entrée.
    Mais la complexité augmente avec ce nombre de paramètre, par exemple je suis stressé, je n’arrive plus à dormir et je n’ai pas pris de vacances depuis longtemps.
    Je cherche « comment bien dormir lorsque l’on ne voyage jamais » et la 8ème réponse de GG a pour titre « comment ne jamais dormir ? »
    Coté pertinence on pourra repasser …

    Question : Y a-t-il une limite de mots à partir de laquelle GG n’a plus aucune pertinence ?

    Reply

    • Avatar

      Christian Méline

      |

      3 mots, c’est souvent le maximum pour GG… sachant qu’il vire par défaut les stop-words !

      Reply

      • Avatar

        Mathieu JANIN

        |

        Hop hop hop !
        Si je peux me permettre, tu n’as pas pensé à tester le colibri !!!
        Comme le suggérait jessyseonoob plus haut, fais une demande vocale à google depuis une tablette, et tu verras l’effet de l’utilisation du knowledge graph sur les requètes longues: une relative pertinence (disons pas pire que sur les requètes courtes) qui n’était pas là cet été. C’est là que se loge le dernier pensionnaire de la ménagerie google.

        Sinon, sur le fond de l’article, je ne peux m’empêcher de rappeler l’exemple du premier site qui ressort lors d’une recherche sur l’expression « pertinence google », et titré bien à propos « la pertinence vue par google ». Au dernières nouvelles et après 2 ans à trôner en top position, le baume affiche toujours son snippet impayable:
        Manger un pingouin qui tond sa pelouse pour création sites internet vend du vélo dans la baraque. Mycoses goulioto- …
        Sans parler de pizza aux anchoix, mais c’est une autre thématique (im)pertinente…

        Reply

  • Avatar

    BlogMestre

    |

    Avant tout, un petit coucou à Sylvain (et a Christian bien sur :))

    Ensuite, une petite question pour Sylvain : un cerveau positronique pour Google, c’est pour quand ? :mrgreen:

    Plus sérieusement, je ne pense pas qu’il y ai de différences fondamentales entre les algos des différent moteurs de recherche mais seulement que google dispose aujourd’hui de la plus grosse infrastructure. Et puis la pertinence n’est elle pas un critère subjectif ? Ne pourrait on pas parler de « satisfaction », c.a.d. j’ai trouvé une réponse à ma question, quand à savoir si c’est la meilleur, c’est un autre problème …

    Reply

  • Avatar

    Ludovic

    |

    Deuxième réflexion de la journée (après dodo…)

    1 – Si GG est un agent rationnel et qu’il cherche à optimiser la satisfaction de l’internaute pour assouvir sa fonction d’utilité, n’est-il pas essentiel qu’un lien soit suivi et que suite à cet accès par le lien, l’internaute reste sur le site d’atterrissage et navigue un peu ? (sans quoi utilité = 0 et donc un lien mort ?!)

    2 – Du coup, existe-t-il des outils capable de mettre ce genre d’info en exergue ?

    Reply

  • Avatar

    Emilie

    |

    Vous avez tous les deux traité le sujet de manière très exhaustive c’est le moins que l’on puisse dire… ^^ D’ailleurs d’après après Google X (laboratoire de google) et les recherches qu’il a mené, un ordinateur est déjà deux fois plus performant que n’importe quel système neuronal et ce dernier est capable d’apprendre comme n’importe quel cerveau humain. La fameuse expérience du chat (google a simulé un cerveau humain qui a été capable d’identifier et de reconnaître le chat sur le web) a confirmé qu’il était capable d’apprendre de lui même et de reconnaitre sur des milliers d’échantillons différents.

    Reply

  • Avatar

    aston

    |

    Une petite citation sur le cerveau, puisqu’on se demande ici si GG a un cerveau !
    D’un autre familier, la citation est le fruit de la pensée d’un certain Albert … :
    « Ceux qui aiment marcher en rangs sur une musique : ce ne peut être que par erreur qu’ils ont reçu un cerveau, une moelle épinière leur suffirait amplement. »
    Au XXIème siècle, Eisntein aurait peut être aimé faire du référencement !

    Reply

    • Avatar

      Christian Méline

      |

      Je ne pense pas qu’il ferait du ref !
      Eisntein avait une pensée vraiment monumentale, tu as quelqu’un comme cela tous les 300 ans à l’échelle planétaire.
      Le prochain génie devra trouver ce qui relie les lois des différentes branches de la physique… c’est une sacrée étape pour le raisonnement et la compréhension de ce qui nous entoure, heureusement, on a encore deux siècles devant nous ;-)…

      Reply

  • Avatar

    Michel

    |

    @Ludovic Google utilise peut-être son outil analytics (un grand nombre de sites l’utilise) pour justement calculer la qualité d’un lien en fonction de son taux de clique et du taux de rebond chez le site linké (il faudra par contre que les deux sites aient Google analytics).

    Reply

  • Avatar

    Igor

    |

    Ah ah ah, c’est juste dommage que tout cela soit encore mis au service d’un big brother. On en sortira jamais, l’argent appelle l’argent. Matt Cutts parle des réseaux de liens payants que GG démantèle et pénalise, et pendant ce temps la société rachète les entreprises qui vont lui permettre de finir de dominer le monde, tout ça au calme, tranquille. Dernièrement Boston Dynamics, excusez du peu. Alors robots pour nous foutre sur la tronche ou pour pallier au manque de soignants en maison de retraite, probablement les deux à la fois, ça serait dommage de ne pas avoir l’intégralité du gâteau. Et puis aussi tiens pour installer les futures colonies spatiales, comme ça l’humanité (moins ses dirigeants) sera redevable pendant des générations.

    Quand on pense à ça, parler de la pertinence et du spam ensuite, c’est aussi futile que de la roupie de sansonnet. A moins que l’algo de GG ne comprenne tout ce que j’écris et m’envoie sur le champ un T-1000… damned je suis fait…

    Reply

    • Avatar

      Christian Méline

      |

      nous, on t’a repéré 😉

      Reply

  • Avatar

    Pierre et vacances fin de bail

    |

    C’est un concept vraiment intéressant que de la comparer à de l’intelligence artificielle, car dans un sens ça en est! Grâce à cet article j’ai pu approfondir mes connaissances dans ce domaine, je ne savais pas du tout qu’Aristote en était le précurseur! Pour être honnête, je n’ai pas tout compris dans cet article, certains termes m’ont totalement perdu, c’est pour cette raison que je vais surement le relire 1 ou 2 fois encore car Google et le SEO me passionnent à vrai dire! Le MasterClass m’intéresse, j’ai pu avoir des informations sur cette formation ce matin et je retrouve un article des « formateurs » en fin de journée, serait-ce un signe? Vous me verrez très probablement sur Paris en Février!
    Concernant le dernier point dont tu parle dans cet article, je pense comme toi que Google ne fait pas forcément dans la pertinence, étant habitué à ce moteur de recherche, je me rend compte que les résultats que l’on va trouver ne sont pas forcément toujours ceux que l’on cherche… Il faut parfois essayer plusieurs expressions différentes, car Google ne fait pas encore la vraie liaison avec les synonymes…
    Je tiens à vous remercier pour cet article, il est très instructif, un peu compliqué pour tout comprendre, mais j’aime beaucoup!
    Bonne fin de journée!

    Reply

  • Avatar

    monica

    |

    Donc en gros le moteur de Google est bourré d’une certaine intelligence artificielle.
    Sauf que l’agent rationnel qui fait tourner son cerveau ressemblerait plutôt à un tiroir-caisse…

    Et si l’on pose que quand le service est gratuit, c’est son utilisateur qui est en le produit, on ne s’étonne plus quand on apprend que l’on est aussi son gentil cobaye (via l’A/B testing, voir commentaire de Sylvain Peyronnet).

    Reply

Laisser un commentaire