Univers Free a pu échanger avec Renaud KERADEC, fondateur et CEO de nPerf, autour du baromètre des débits mobiles publiés par nPerf et des résultats obtenus par Free. Cela a également été l’occasion d’en apprendre davantage sur le fonctionnement de son outil de mesure et à propos de l’API Carte d’Identité voulue dans les box Internet par l’Arcep.

(Univers Freebox) L’Arcep réclame une API intégrée dans les box Internet pour améliorer l’information des abonnés concernant les débits dans l’Internet fixe. Quel est votre point de vue à ce sujet ?

L’ARCEP ne remet pas en cause la qualité des mesures effectuées par les sites de speed test (du moins pas celle de nPerf), mais souhaite que de meilleurs filtrages soient appliqués pour rendre les publications, basées sur ces mesures, plus précises. L’API « Carte d’identité » imposée par l’ARCEP ne vise pas à intégrer un test de débit dans les box comme on a pu le lire sur certains sites, mais simplement à qualifier avec précision la connexion :

– Type de connexion Internet : FTTH, ADSL, VDSL, 4G, mix DSL+4G, satellite, etc.
– Type de réseau local : Wifi, Ethernet, CPL, etc.
– Débit commercial souscrit/atteignable (maximums possibles  en réception et en envoi + débits de synchro pour le DSL).

L’API prévoit également un compteur d’octets qui permettra aux outils comme nPerf de savoir si la connexion est sollicitée par autre chose que le test de débit durant les quelques secondes du test. Aucune donnée personnelle n’est communiquée par cette API. Il n’y a même pas une géolocalisation approximative (au département, par exemple), qui nous aurait permis de faire des analyses locales.

Concrètement, les données qui vont remonter par l’API nous permettront de mieux filtrer les tests pour ne conserver que ceux qui sont faits dans de bonnes conditions, mais également de faire des comparatifs précis par technologie lors des publications.

(UF) Le gendarme des télécoms a également parlé d’un code de bonne conduite pour les outils de mesure des débits dans le fixe. nPerf fait d’ailleurs partie de ceux l’ayant adopté. Qu’est-ce que cela implique concrètement pour vous ?

Le code de bonne conduite est en cours de construction. À l’heure actuelle, il se contente d’imposer aux acteurs une certaine transparence sur les protocoles de tests utilisés. Chez nPerf, on a toujours fait preuve d’un maximum de transparence. Nous avions donc déjà de nombreux éléments qui étaient communiqués depuis des années, et c’est donc sans attendre que nous les avons complétés conformément à ces premières dispositions.

(UF) Parlons maintenant des débits dans le mobile. Free a désormais le feu vert pour proposer la 4G sur la bande des 700 MHz sur l’ensemble du territoire. Constatez-vous déjà une différence significative au niveau des débits mesurés ou de la couverture ?

Pour le moment, nous n’avons pas constaté d’amélioration notable. Le 700 MHz permet de couvrir plus largement, mais les débits ne sont pas aussi élevés qu’en 1800 MHz ou 2600 MHz. Néanmoins, cela devrait permettre à Free de basculer de nombreux abonnés actuellement en couverture 3G Orange sur son propre réseau 4G.

(UF) Dans votre dernier baromètre sur les débits mobiles, on remarque que Free arrive à la dernière place sur les débits montants en 4G, tout en prenant la seconde place pour les débits descendants en 4G. Comment cela peut-il s’expliquer ?

Il faudrait demander cela directement à Free.

(UF) Pour Free, les données incluent les mesures avec et sans itinérance, et cela impacte forcément les résultats. Pourquoi ne pas indiquer les deux ? Cela permettrait d’indiquer la qualité réelle du réseau propre de Free.

L’objectif du baromètre nPerf est de représenter le plus fidèlement possible l’expérience vécue par les utilisateurs de chaque opérateur. L’itinérance Orange fait encore partie de la vie des abonnés Free. Gageons que cela ne durera plus très longtemps.

(UF) Dans le podium général, pourquoi ne pas séparer les technologies ? Cela offrirait plus de clarté concernant les débits de chaque technologie.

Le podium général est par définition général. Il inclut donc toutes les technologies utilisées par les abonnés de chaque opérateur. Cependant, dans la publication complète, nous séparons les tests 4G d’un côté et les tests 2G/3G de l’autre pour affiner l’analyse.

(UF) Vous intégrez désormais le paramètre 5G. Quels changements visibles ou invisibles aux yeux de l’utilisateur cela a-t-il impliqués ou va-t-il impliquer dans nPerf ?

L’intégration de la 5G dans le système d’information nPerf n’a pas été un problème. Nous avons un conçu système évolutif. Le plus complexe est de récupérer les informations nécessaires sur les premiers terminaux 5G, car ceux-ci tournent sous Android P, tandis que les API 5G officielles seront intégrées à Android Q. Nous avons donc dû trouver des solutions palliatives pour identifier la 5G sur les terminaux actuels.

(UF) Le smartphone ne sert pas qu’à télécharger des applications, surfer sur Internet ou lire des vidéos en streaming. Il est aussi beaucoup utilisé pour les messageries instantanées ou les jeux en ligne. Pensez-vous ainsi que l’application pourrait intégrer, par la suite, d’autres paramètres de manière à refléter encore plus précisément la qualité de connexion d’un abonné mobile.

On retrouve actuellement la plupart des usages dans les tests nPerf. Les jeux en ligne nécessitent parfois (selon le type de jeu) une bonne latence, tandis que les messageries instantanées utilisent des Web services (similaires à de la navigation Web). Nous ne sommes évidemment pas fermés à l’ajout de nouveaux tests, mais il faut toujours trouver un équilibre entre la durée du test et l’intérêt de celui-ci. Si les tests sont trop longs, l’utilisateur en fera moins ou parfois plus du tout.

(UF) D’ailleurs, pourquoi intégrer Leboncoin et Amazon dans les sites permettant de tester la connexion ? Les publicités diffusées sur ces sites changent en effet constamment. Du coup, une mesure réalisée à un instant T ne réflète pas forcément la rapidité de manière générale sur ce site et ne permet pas de comparer deux tests réalisés à une date différente de manière fiable.

Les sites utilisés pour le test de navigation sont les plus fréquentés par les Français. Nous ne choisissons pas ces sites. Ils sont issus du classement Alexa pour chaque pays. Cela dans le but de correspondre aux usages les plus courants, et donc de refléter au mieux l’expérience utilisateur. Dans le temps, le contenu des sites peut évoluer, mais ceci est valable pour le Web en général, non ? La moyenne sur les 5 sites reste, quant à elle, relativement stable et permet une meilleure comparaison.

(UF) De manière générale, on peut remarquer des résultats différents d’un outil à un autre, aussi bien dans le mobile que dans le fixe. Comment expliquer cela ?

Les différences d’un test à l’autre peuvent s’expliquer par différents critères. Par ordre d’importance, il y a : le serveur utilisé, l’algorithme de test et le protocole de mesure. Il faut savoir une chose : aucun ne mesure la vitesse d’Internet, car cela est impossible. Mesurer Internet reviendrait à mesurer le débit depuis/vers des millions de serveurs et en faire une moyenne : ce n’est pas possible. Donc, chaque test mesure le débit et la latence vers/depuis un ou quelques serveurs qui sont hébergés à différents endroits (hébergeur, transitaire, opérateur, point d’échange, fournisseur de contenu…). Par exemple, Fast ne mesure les débits que depuis les serveurs Netflix. Ce n’est donc pas un test de débit Internet, mais un test de connexion avec le réseau Netflix (AS2906).

Partant de ce constat, chez nPerf, nous avons fait le choix de ne pas chercher à mesurer le débit d’Internet, puisque que ce n’est pas possible, mais plutôt le débit de la connexion à Internet de l’abonné. C’est-à-dire le débit qu’il y a entre le domicile (ou le smartphone) de l’abonné et le réseau central de son opérateur (backbone). Pour mesurer ce débit, il faut choisir un serveur hébergé chez l’opérateur lorsque c’est possible ou bien un serveur ayant la meilleure connectivité possible avec l’opérateur. L’algorithme qui choisit le meilleur serveur automatiquement chez nPerf tient compte de nombreux paramètres pour arriver à cela. Par exemple : le résultats des mesures précédentes pour les clients du même opérateur (débits et latence), la proximité géographique, la densité de serveurs à proximité, etc. On peut presque parler d’intelligence artificielle. Bien entendu, cela nécessite d’avoir de nombreux serveurs dans le monde. Chez nPerf, nous disposons de plus de 900 serveurs et ce chiffre augmente chaque semaine. Il n’y en avait que 400 il y a à peine un an.

À date, nPerf est le seul outil à tenir compte de tous ces critères. Les outils concurrents se contentent de faire une sélection aléatoire ou bien de choisir le serveur qui a la latence la plus faible, mais pas forcément un débit suffisant. La plus grosse partie de l’écart dans les résultats constatés vient en général de là.

Concernant l’algorithme et protocole, c’est bien entendu un élément clé également. L’utilisation du multithreading est indispensable pour les très hauts débits par exemple. L’optimisation de l’outil pour limiter la consommation CPU et gérer au mieux la latence sur le réseau est également importante. Un test de débit, ça peut paraître simple, mais c’est en réalité un outil très complexe pour arriver à une mesure fiable.

(UF) nPerf, c’est une équipe de 10 personnes basée à Lyon et peut-être certains souhaiteraient rejoindre l’aventure. Êtes-vous à la recherche de certains profils en ce moment ?

Nous avons pour le moment une équipe au complet. Néanmoins, nous sommes en permanence à la recherche de stagiaires étrangers (ou qui ont une langue natale différente du français) dans un registre plutôt marketing/communication pour développer des partenariats à l’étranger et aider à la croissance de la communauté nPerf dans le monde.