Vous êtes-vous déjà demandé ce que les gens à l'autre bout d'une session Hangouts regardent vraiment sur leurs écrans? Avec un peu d'aide de l'apprentissage automatique, vous pourrez peut-être jeter un coup d'œil sur leurs épaules, en vous basant sur une recherche publiée lors de la conférence CRYPTO 2018 à Santa Barbara la semaine dernière. Tout ce que vous devez faire est de traiter le son capté par leurs microphones.

Daniel Genkin de l’Université du Michigan, Mihir Pattani de l’Université de Pennsylvanie, Roei Schuster de Cornell Tech et l’Université de Tel Aviv, et Eran Tromer de l’Université de Tel Aviv et de l’Université Columbia ont étudié une nouvelle voie potentielle de surveillance à distance ": une attaque par canal secondaire qui peut révéler le contenu d'un écran distant, donnant accès à des informations potentiellement sensibles basées uniquement sur les" fuites acoustiques dépendantes du contenu des écrans LCD ".

La recherche, soutenue par l’Institut Check Point pour la sécurité de l’information de l’Université de Tel Aviv (dont Schuster et Tromer sont membres) et financée en partie par la Defense Advanced Research Projects Agency, a examiné ce qu’est une formule acoustique de Van Eck. Alors que le phreaking de Van Eck utilise les émissions de signaux radio qui fuient des connecteurs d’affichage, la recherche Synesthesia tire parti des «bobinages», des émissions audio des transformateurs et autres composants électroniques alimentant l’écran LCD d’un appareil.

Big dynamite audio

Ce n'est pas la première attaque acoustique à canal latéral jamais découverte. Genkin et Tromer, avec une autre équipe de chercheurs, dont Adi Shamir, l’un des co-inventeurs de l’algorithme cryptographique RSA, ont déjà montré comment utiliser le bruit généré par l’alimentation d’un ordinateur et d’autres composants pour récupérer les clés de chiffrement RSA. Et l'utilisation des canaux latéraux acoustiques par l'État-nation a été documentée, mais pas contre les écrans d'ordinateur. Dans l'ex-livre Spycatcher de l'ancien directeur adjoint du MI5, Peter Wright, Wright a raconté comment, pendant la crise de Suez, les services de renseignements britanniques utilisaient une prise de téléphone pour enregistrer l'audio d'un chiffreur d'une ambassade égyptienne. Et le bugging acoustique a également été montré pour révéler les frappes sur un clavier physique.

Quiconque se souvient d'avoir travaillé avec des moniteurs à tube cathodique connaît bien le phénomène de la bobine. Même si les écrans LCD consomment beaucoup moins d'énergie que les anciens modèles CRT, ils génèrent toujours le même type de bruit, mais dans une gamme de fréquences totalement différente.

En raison de la manière dont les écrans d'ordinateur affichent un affichage - envoyer des signaux à chaque pixel de chaque ligne avec des niveaux d'intensité variables pour chaque sous-pixel - la puissance envoyée à chaque pixel fluctue lorsque le moniteur passe par ses analyses de rafraîchissement. Les variations d'intensité de chaque pixel créent des fluctuations dans le son créé par l'alimentation de l'écran, les informations de fuite sur l'image étant actualisées et pouvant être traitées avec des algorithmes d'apprentissage automatique pour extraire les détails de l'affichage.

Cet audio peut être capturé et enregistré de plusieurs manières, comme le démontrent les chercheurs dans ce cas: via le microphone intégré d’un périphérique ou un microphone de webcam connecté pendant un chat Skype, Google Hangouts ou autre conversation audio en continu; via des enregistrements à partir d'un périphérique proche, tel qu'une page d'accueil Google ou Amazon Echo; sur un smartphone à proximité; ou avec un microphone parabolique à des distances allant jusqu’à 10 mètres. Même un microphone raisonnablement bon marché pourrait capter et enregistrer le son d'un écran, même s'il est juste au bord de l'audition humaine. Et il s'avère que l’audio peut être exploité avec un petit peu de machine à apprendre la magie noire.

Pour en savoir plus, veuillez lire l'article en entier : 
Synesthesia: Detecting Screen Content via Remote Acoustic Side Channels