Faisons-nous trop confiance aux machines ?

Analyses 11 Minutes

“Software is eating the world“, c’est en ces termes que Marc Andreessen décrivait en 2011 l’omniprésence de l’outil informatique, et donc des logiciels et algorithmes dans notre quotidien (cf. Le logiciel dévore le monde… depuis les États-Unis). Nous sommes en 2016, et cette assertion n’a jamais été aussi vraie : notre organisation quotidienne est prise en charge par notre smartphone à travers du duquel nous sommes connectés en permanence (1/4 des mobinautes ne l’éteignent pas la nuit). Ordinateurs, smartphones, tablettes et même TV (plus d’1/3 des foyers la reçoivent à travers une box)… nous sommes quasiment en permanence exposés à des contenus et services numériques sur lesquels nous n’avons quasiment aucun contrôle.

Certes, je peux décider quelle série je vais regarder ou à quels jeux je vais jouer, mais je n’ai concrètement aucun pouvoir sur les services que j’utilise tous les jours : messagerie, calendrier, photos… je n’ai pas d’autre choix que d’accepter les Conditions Générales d’Utilisation des fournisseurs (Apple, Google, Evernote…) pour pouvoir en profiter. Autre exemple : en ce moment je n’ai plus de bureau, un ami me sous-loue gentiment une des salles de réunion de son agence. Dans cette salle, j’accède au web via un câble. Qui gère cette connexion ? Aucune idée. À quoi servent les deux routeurs WiFi présents dans cette salle ? Aucune idée non plus.

comptoirs

Personne n’est à l’abri

Suis-je paranoïaque ? Je ne pense pas, simplement curieux et surtout un peu inquiet vis-à-vis de cette dépendance à des fournisseurs de services dont je ne connais pas grand-chose et à une cohabitation permanente avec du matériel informatique dont je ne comprends pas le fonctionnement. Est-ce grave ? À priori non, car ça se passe globalement bien. Quoi que, 2015 a été une année noire pour la sécurité informatique : il y a eu le scandale des utilisateurs de ce service de rencontres extra-conjugales (What to know about the Ashley Madison hack), cette incroyable expérience de piratage d’une voiture (Hackers Remotely Kill a Jeep on the Highway—With Me in It), ces attaques ciblées sur des chaines hôtelières (Hyatt Hotels Confirm Security Breach in Payments System) ainsi que des banques (Wells Fargo Is Latest Bank Hit by Cyber Attacks)… Personne ne semble être à l’abri des failles de sécurité, pas même les compagnies d’assurance (US health insurer Anthem hacked, 80 million records stolen), les administrations (21.5 million social security numbers affected in federal data breach), les infrastructures publiques (Ukraine faces world’s first blackout caused by hackers) ou même les sociétés spécialisées dans la sécurité (13 million MacKeeper users exposed after MongoDB door was left open), un comble ! Les hackers ciblent tout le monde, des grandes firmes informatiques (Microsoft to notify users of government spying after Chinese Hotmail hack goes public) aux fabricants de jouets (One of the Largest Hacks Yet Exposes Data on Hundreds of Thousands of Kids).

Nous savons maintenant que nous ne pouvons faire confiance à personne

Donc… l’outil informatique n’est pas fiable à 100%. Ce n’est pas un scoop, j’espère ne rien vous apprendre en disant que le risque zéro n’existe pas. Le problème est que nous avons, à tort, relâché notre vigilance, car certaines grandes sociétés abusent de notre confiance :

Bref, les exemples de manipulations sont nombreux. Est-ce que le monde est pourri ? Non, simplement la logique productiviste qui gouverne chaque aspect de la société dans laquelle nous vivons pousse certains à prendre des raccourcis douteux. Certes, il n’y a pas mort d’hommes, mais nous devrions être plus méfiants vis-à-vis des services que nous utilisons au quotidien, ainsi que des contenus que nous consommons tous les jours.

Code is Law

En trichant sur les émissions polluantes, VW s’est exposé à de fortes représailles financières, car ils devront sans doute rembourser une partie des primes écologiques dont ils ont bénéficié. En revanche, le fonctionnement de l’algorithme qui gère le fil de messages de Facebook échappe à tout contrôle. Les équipes de Facebook n’ont jamais cherché à cacher l’existence de cet algorithme (cf. Who Controls Your Facebook Feed), en revanche, qui est là pour vérifier que le non-affichage d’un message (ex : les fiançailles d’une vieille connaissance vs. le nième Ballon d’Or de Lionel Messi) ne représente pas un préjudice émotionnel pour les utilisateurs ? Vous pourriez me dire qu’il en va de même pour l’algorithme de Google, mais ces derniers fournissent des outils bien plus précis pour auditer son référencement et essayer de l’améliorer. Dans ces deux cas précis, ce sont les sociétés qui sont à l’origine et gèrent ces algorithmes qui imposent leurs règles (cf. l’article précurseur de Lawrence Lessig : Code Is Law, On Liberty in Cyberspace).

L’origine de ce “problème” est le suivant : ces services sont proposés gratuitement, les utilisateurs doivent donc se soumettre aux Conditions Générales d’Utilisation et non à des Conditions Générales de Vente grâce auxquelles ils auraient plus de droits. Souvenez-vous que “si c’est gratuit, c’est vous le produit“. Pour bien appréhender cette citation, laissez-moi vous donner un exemple : et si l’application de calculatrice livrée avec votre smartphone ne vous donnait que des résultats approximatifs ? Et si pour avoir des résultats précis, à plusieurs chiffres derrière la virgule, il fallait acheter la version payante ? Vous trouverez très certainement ça honteux, et pourtant, nous le vivons tous les jours, nous l’acceptons tous les jours avec ces innombrables services freemium.

Une ligne morale très très fine

De nombreux jeux mobiles gratuits proposent un niveau de difficulté élevé pour inciter les joueurs à acheter des boosters. Est-ce illégal ? Non. Est-ce immoral ? Non, à partir du moment où les joueurs sont prévenus, et c’est là où ça se complique…

Certains éditeurs de services pourraient être tentés de manipuler les résultats pour une bonne cause. Exemple : Google Maps pourrait artificiellement augmenter les temps de trajet en voiture et diminuer ceux des trajets à pied pour vous inciter à marcher. Dans l’absolu, ils oeuvrent pour une bonne cause (stimuler l’activité physique diminue les risques cardio-vasculaires), mais qui est là pour en juger ?

Loin de moi l’idée de jouer les paranoïaques ou les donneurs de leçons, car tout travail mérite salaire. Je constate simplement que la profusion d’applications mobiles, de contenus et de services en ligne gratuits génère un gigantesque zone grise où les utilisateurs n’ont d’autre choix que d’accepter des conditions qu’ils ne lisent pas (car elles sont trop longues ou rédigées dans un langage pseudo-juridique incompréhensible). Jusqu’à preuve du contraire, il n’y a pas d’arnaques avérées, simplement des pratiques qui se généralisent (applications mobiles, services hébergés dans le cloud…) et une dépendance qui s’accroit à mesure que les utilisateurs optent pour la facilité : des services gratuits avec des CGU vite acceptées. Les questions que l’on est en droit de se poser sont les suivantes :

  • Qui juge de la moralité de ces pratiques (notamment le modèle freemium) ? Devrait-il exister une autorité pour protéger les utilisateurs de façon pro-active contre les dérives possibles (ex : des jeux mobiles à la difficulté anormalement élevée pour stimuler l’achat de boosts) ? Je ne suis pas un adepte de la régulation à l’extrême, mais les utilisateurs sont-ils suffisamment mûrs pour s’auto-réguler ? Je vous rappelle qu’il y a des millions de mineurs qui ont accès à un smartphone ou une tablette.
  • Qui évalue le degré de maitrise des fournisseurs de service en ligne ? Nous partons du principe que les équipes de Facebook ou Google savent ce qu’elles font et qu’elles ont encore la maitrise de leurs algorithmes, mais est-ce le cas pour toutes les startups ? Devrait-il exister une autorité en charge de valider le code source de tel service ou algorithme ? Jusqu’à présent, les seuls gardiens sont les opérateurs de places de marché d’applications (Apple, Google, Microsoft…), mais qui juge de la pertinence de leurs critères ?

Certes, quand un éditeur franchit la limite de l’acceptable, son application est retirée de la liste, et après ? Prenons un autre exemple : la limite d’âge d’inscription sur Facebook est fixée à 13 ans, soit. En revanche, tout le mode sait que des dizaines de milliers de jeunes mentent sur leur âge pour se créer un compte et pouvoir discuter avec leurs potes et accéder à des jeux en ligne (ouvrir un compte Facebook est un rite de passage pour les pré-adolescents). Est-ce bien responsable de laisser faire ? Ne devrions-nous pas exiger de Facebook un contrôle plus rigoureux ? Notre législateur a un droit de regard sur les contenus audio-visuels (notamment à travers le CSA), mais quid de ce qui se passe sur les canaux numériques (ordinateurs, tablettes, smartphones…) ?

De la pertinence d’un audit public des code-sources et algorithmes

La question n’est pas simple, et elle a déjà été posée (cf. Faut-il un CSA des algorithmes ?). Puisque le débat sur le respect de la confidentialité n’intéresse plus personne et que la CNIL est larguée (heureusement que la Quadrature du Net est encore là), je m’interroge sur la façon dont la situation va évoluer.

Certains jouent le jeu, à l’image de Google avec My Account (Keeping your personal information private and safe—and putting you in control). Quoi que, force est de constater qu’en l’absence d’alternatives viables, ils jouent surtout à LEUR jeu. Partant de cet exemple, pourquoi les autres fournisseurs de services ne s’appliqueraient pas cette même discipline ? Les banques et opérateurs téléphoniques sont par exemple de véritables mines d’or pour les données personnelles. Quelles garanties apportent-ils quand à la sécurisation de ces données et au respect de la confidentialité ? Et quand bien même s’ils en apportaient, qui les auditeraient ?

Dans ce domaine, il y a un évident besoin de transparence : que sait ma banque de mes habitudes de consommation ? Que sait-elle des activités de ma société ? Quid du droit à l’oubli : ne puis-je revendiquer le droit d’effacer mon historique bancaire en cas de découverts chroniques ? Toutes ces questions ne se poseraient pas si ces fournisseurs de services n’étaient pas eux-mêmes dépendants de systèmes informatiques sur lesquels ils ont un contrôle très relatif (souvenez-vous des problèmes liés au passage à l’Euro et à l’an 2000). Formulé autrement : qui évalue la capacité de ma banque à maitriser son système d’information (du back-office aux applications mobiles) ? Il est ainsi de notoriété publique que les banques font appel à des armées de prestataires informatiques et doivent faire face à un très important turn over. Nous leur déléguons une confiance aveugle, mais avons-nous bien le choix ?

Ad/MarTech ? Big Data ? Objets connectés ? Machine Learning ?

J’ai abordé le cas des banques, mais il y a d’autres domaines qui peuvent potentiellement poser problème :

  • La publicité en ligne. Avec l’avènement de l’achat programmatique, les produits de ciblage publicitaire et de personnalisation sont de plus en plus complexes. Ils sont surtout la résultante d’un assemblage de nombreuses briques technologiques, formant un mille-feuille dont nous n’avons plus réellement le contrôle. Je suis ainsi persuadé que nous sommes au-devant d’un crack publicitaire lié à l’explosion de la bulle des adtech (il parait qu’il faut dire “martech” pour être branché…).
  • Les secteurs d’activité faisant un usage intensif des données. Tout le monde s’accorde à dire que les big data vont révolutionner les métiers de l’assurance, mais je n’entends que très peu de monde s’interroger sur la capacité des compagnies à garder le contrôle de ces systèmes. Nous pouvons ainsi aisément envisager un scénario où des algorithmes de calcul de risque mal calibrés augmenteraient au fur et à mesure l’exposition d’une compagnie jusqu’à un point de non-retour qu’elle dissimulerait pour ne pas provoquer un mouvement de panique.
  • Les objets connectés. Nous savions déjà que les objets connectés étaient un authentique casse-tête en matière de sécurisation (Top 5 Internet of Things Security Concerns), mais qui du contrôle et de la gouvernance des données ? Là encore, nous pourrions envisager un scénario où votre thermostat connecté voyant que vous êtes de sortie, grâce à la localisation de votre smartphone, abaisse la température de votre maison pour faire des économies d’énergie. Ou que votre bracelet connecté voyant que vous prenez du poids, via votre balance connectée, minimise le nombre de pas que vous faites dans la journée pour vous inciter à griller plus de calories.
  • Les systèmes auto-apprenants. Tout le monde fantasme sur la montée en puissance des chat bots et autres assistants numériques personnels (Facebook M, Google Now, Siri, Cortana…), mais quelles garanties avons-nous de l’impartialité de ces systèmes ? Qui nous dit que les opérateurs de ces services d’intermédiation ne vont pas privilégier tel ou tel fournisseur en fonction de la remise accordée ? Je ne doute pas que Facebook, Google, Apple et cie gardent aujourd’hui un contrôle précis sur les algorithmes qui les font tourner, mais qu’en sera-t-il dans 5 ans quand ils traiteront des milliards de demandes par mois ?

Encore une fois, le but de cet article n’est pas d’apporter des réponses ou des solutions, car je n’en ai pas. En revanche, il met en évidence le besoin de pédagogie pour expliquer le fonctionnement et les enjeux de ces services.

“Vigilance est mère de sûreté” (ou un truc dans le même genre)

Comme précisé juste avant, je n’ai pas la prétention de fournir des réponses aux nombreuses questions posées dans cet article. J’espère simplement vous avoir mis en garde. Les points importants à retenir sont les suivants :

  • Prenez conscience de votre dépendance. Nombre de personnes dans mon entourage s’inquiètent de l’obsession des jeunes pour les smartphones, mais qui s’inquiète pour leur obsession à eux ? La prise de conscience de notre dépendance aux outils numériques et services en ligne est une première étape cruciale, et elle est en rapport direct avec le point suivant.
  • Ne cédez pas à la facilité. Ce n’est pas parce qu’il y a une application mobile pour tout faire, qu’il faut tout faire faire à votre smartphone. Savoir déléguer est une qualité, mais tous les prestataires ne sont pas nécessairement sérieux. La montée en puissance de l’économie à la demande augmente mécaniquement notre exposition aux risques, utilisons-là avec précaution.
  • Restez vigilant. Je ne me risquerais pas à vous dire que les gens qui font du web sont malveillants (je laisse ça à France 2 qui en a visiblement fait son fonds de commerce), mais je vous incite à ne pas baisser votre vigilance et à appliquer un principe de sûreté pour minimiser la prise de risque (aussi bien pour le choix de l’endroit où vous stockez vos photos, que pour la vérification des informations auxquelles une nouvelle application mobile souhaite accéder).

Conclusion

Faisons-nous trop confiance aux machines ? Peut-être. Pouvons-nous nous passer d’elles ? J’en doute. Avons-nous raison de leur accorder une telle confiance ? Ça dépend, c’est au cas par cas.

Au final, je dois vous avouer ne pas être très optimiste pour la suite, dans la mesure où notre dépendance aux outils numériques et services en ligne croit plus vite que la capacité de notre système éducatif à former les informaticiens qui pourront créer, maintenir et faire évoluer ces services. Vous devez pensez que je suis pessimiste et pourtant… combien de personnes dans votre entourage sont encore incapables d’utiliser correctement les outils bureautiques ou de faire les mises à jour sur leur smartphone ? Le monde n’a pas besoin de plus de puissance et de rapidité, il a besoin de plus de simplicité et de transparence.

Published