TikTok and democracy : the cases of China and India

Big Tech, Géopolitique

Alexandra Fieux-Castagnet

August 2020

INTRODUCTION

TikTok is a video-sharing social networking application created and owned by the Chinese company ByteDance in 2016. It allows users from around the world to create videos lasting less than one minute to record themselves in music on the topic they like. TikTok is the version of the service created for all markets outside of China, and especially for iOS and Android applications platforms. The application dedicated to the Chinese market is known as Douyin and works on a separate server than that of TikTok in order to comply with the Chinese censorship of media. As a result, Chinese users are not allowed to address any topic they like. 

TikTok became famous in the US following the merger with the American application Musical.ly in 2018 with helped the application gain traction with US teens, 70% of the users being less than 25-year-olds, even though the application is now targeting young adults. TikTok’s popularity exploded last year with a total of 800 millions active users in 141 countries, India being the application’s first market with 120 millions users using TikTok in 15 different Indian languages. Douyin accounts for 150 million users. 

The COVID-19 pandemic was viewed as a real boost for the application since users were seeking to avoid the lockdown boredom. It entailed 65 millions new downloads solely in march 2020 and 2 billions of total new downloads for the whole lockdown period. TikTok is thus already more downloaded than the ‘traditional’ social media applications, namely, Instagram, Facebook or WhatsApp. TikTok was therefore used as a real tool to avoid separation and distanciation in 2020 and videos tagged with #Coronavirus have been viewed more than 64 billion times.

Nonetheless, if TikTok can be seen as a mere entertainment new platform generating new excitement amongst users launching challenges to each other worldwide, it is also generating excitement amongst the governments. In the wake of investigations, and following tensions escalating with China regarding frontiers issues, the Indian government has banned the application along with 58 other Chinese apps in June 2020, depriving TikTok of its first market. In the context of the US-China trade war, Mike Pompeo, the US Secretary of State, has declared the Trump administration was also looking at banning TikTok.

Is TikTok a genuine communication tool advocating for democracy and giving a voice of millions of unknown users? Or is it a mere threat to democracy in countries where some content videos are being censored by the app? One could argue that TikTok has become a geopolitical tool for countries to reaffirm their position in their trade or ideological wars, especially in China and India.

TikTok fights in favor of democracy

As we said in the introduction, TikTok is a worldwide application that reaches everyone. In this part, we will see that this app can allow anyone to express himself. Then we will see how TikTok became a political app and a soft geopolitical power for those who want to forbid it. Finally we will see how this app can be a new media for the young generation.  

TikTok, a tool allowing anyone to express himself

When you talk about TikTok one thing crucial to understand its growth is the development of 4G. Indeed, to use this app you only need a smartphone and an internet connection. As you can see in Appendix 1, India had approximately 80% of 4G coverage in 2018. So, even if you are in a rural place, you can have access to TikTok, like Israel Ansari. He is 19 years old and he comes from a small village in the north of India. His story illustrates the power of TikTok. A friend showed him TikTok during a wedding. So, he decided to buy a smartphone and try to express himself. After several videos where he was dancing on Bollywood song, he started to receive more than 30K likes. Now it’s his full-time job, paying more than he would never dream. This is how TikTok can create celebrity from scratch, last year, in India, there were 1.2 million of content creators for 120 million of monthly viewers.

Israel Ansari was not the only one who could be famous, TikTok is not the app of one cast. A lot of marginalized people use it, so you can find in TikTok Muslim comics, transexual performers, and rural grannies. TikTok, therefore, allows anyone to express themselves, even those who are not recognized as legitimate by the Indian government. In this sense, TikTok enforces freedom of expression and thus democracy. TikTok is also a way to reduce social borders and economic barriers. Small, poor villages are represented in the same way as megacities. And TikTok offers the few Indian celebrities like Israel Ansari a social lift.

Figure 1: Opensignal 4G coverage

TikTok goes political

Nowadays, the media have become increasingly involved in political life. We can cite events such as: the Arab spring through Facebook, the American presidential election through Facebook and the Cambridge Analytica scandal, or even suspicions of fake news pro Marine Le Pen broadcast by Russia. Each time the media has had a notable influence, TikTok is no exception to the rule. Through these short videos, many people can express their opinions or freedoms.

In the United States, many young people get involved in politics thanks to TikTok. This new « online politics » revolves around the same processes as « traditional politics »: political coalitions are formed, representatives are elected virtually and everyone can campaign for their candidate. In one month, the account of a party affiliated to the Republican Party received more than 200k followers.

TikTok also makes it possible to launch citizen policies on a large scale. Indeed, many challenges have been shared, especially concerning ecology. We can mention the #cleansnap, consisting in taking a photo/video of a place before and after cleaning it. This kind of challenge relayed several thousand times also represents a political and citizen act on behalf of the populations.

Finally, more recently in Egypt, many women are speaking out through their videos against sexual violence and restrictions of freedoms. Some influential women who show themselves dancing and singing on TikTok have been sent to prison. Thus, by logging on to TikTok and posting content, these women are also demonstrating political commitment. 

TikTok is therefore a channel of communication that remains free from those controlled by local governments. By its large audience, it allows opinions not always published on the classical communication channels to be heard and thus, TikTok is a tool to fight for democracy.

TikTok, a soft geopolitical power

Relations between India and China have rarely been so tense. The climax was reached during a military confrontation in the Himalayan range. India being militarily inferior to China, the latter has decided to retaliate on another field than the military one: the apps field. Thus, 59 Chinese applications have been banned from India under the cover of data protection and morals. The banning of applications such as TikTok becomes a power of retaliation for countries. The latest to date is the United States, which, according to its president, Donald Trump, wants to ban TikTok or have this application bought by an American group.

TikTok can also be a means of pressure for companies, such as Amazon, which for one afternoon forced its employees to delete TikTok if it was on the same phone than their professional mailboxes. Despite the fact that Amazon has acknowledged a mistake, large companies may be tempted to put pressure on China through this application. TikTok, thanks to its many users is an efficient way to pressure China, especially for states which cannot fight them through other ways, such as hard power, like India. In the specific case of India, the country was able to respond to a form of invasion of its territory. This allowed India to resist China and maintain sovereignty over its territory. Even if India’s policy is increasingly criticized, this response to China remains a reinforcement of democracy.

TikTok, a free access to information

Thanks to the global 4G coverage, it is very easy to watch videos on TikTok. This simplicity allows access to a diverse and varied flows of information. In a village in India, it is easier to have access to TikTok than to a news channel. Thus, this application becomes one of the only access to information especially for young people. Influencers have understood it like Sterling Caid Lewis who, from the top of his 19 years old and his 100 000 followers makes the following observation: « New cable news for young people ». Today, information is power. Making it accessible to a majority of the population allows for education, critical thinking and therefore population empowerment. We will see in the following section that the quality of information is however essential in order not to alienate the freedom of citizens.

TikTok, an anti-democratic app

TikTok is an application that reaches 800 million users worldwide, including 120 million Indian and 150 million Chinese. In these two countries where a large part of the population is undergoing the political regime in place and where democracy is being undermined, we have seen how a tool can link users to each other, allowing anyone with a smartphone and an Internet connection to express themselves and exchange. Could an application change the power of hands? 

Targeting so many people easily and quickly, in a way that is common to all, through information with impactful and appealing content, isn’t this the perfect weapon for effective propaganda? How can TikTok, which seems to first address the people and give them back some form of sovereignty by giving them a voice, turn against its users and threaten democracy? 

In this section we will discuss four areas that we think make TikTok an anti-democratic tool. First of all, TikTok is an application that is structurally built to influence, especially a young audience. Second, TikTok continuously delivers short (video of less than a minute) but impactful information. The moderation of this content is in the hands of TikTok. Do we want to let TikTok have the right to decide what we see? Moreover, TikTok is a gold mine of personal data (daily video, identity, contact information, religious affiliation, politics, …). What does TikTok do with this data? Finally, if TikTok is used daily by the people, TikTok is above all the weapon of governments as a means of pressure in a commercial war.  

TikTok, a strong way to influence others

As we have explained, TikTok is an application that allows you to share videos of less than one minute. Therefore, it also allows you to view videos from other users, available in the « For You » feed. The content of this feed is not focused on content posted by « friends ». Unlike Facebook or Instagram, whose content is largely that posted and shared by « friends », it is an artificial intelligence that determines what content the user will have in his feed. It is the algorithm built by TikTok that decides what it is judicious to show and which content will have the most impact. For instance, the BBC reported the case of Eilidh Bisset, bombarded with pro-eating disorders videos. It affected her mental health and even signaling those videos to TikTok, blocking accounts, it was impossible to suppress them from her feed. 

The risk is to be locked in the « profile » drawn up by the artificial intelligence (AI) and to restrict ourselves to the actions and reactions that this AI anticipates for us. This approach invites the user to look at content that will confirm his thought pattern and thus inhibit critical thinking. 

Moreover, in the context of a political campaign, a lobby, a boycott, focusing information according to the user’s profile in order to influence his behaviour without forcing him, takes a dramatic strategic turn. This is called the nudge, already widely used by Google Mail: an Al decides which email is important, which email to reply to and sends a reminder to the user, or Uber to influence its drivers to take more and more races. 

TikTok was also built by taking the most addictive features from previous social networks. Everything is done to make it hard to get bored with the application and to make sure that the time spent on the application is higher than the time spent on similar applications. 

TikTok has conducted a fierce marketing campaign, spending a billion dollars in 2018. TikTok has successfully placed ads in places such as Piccadilly Circus in London and Times Square in New York and has been able to count celebrities among its users. So many components that have enabled a very broad and fast take-up. TikTok also allows brands to have an account. It is therefore a place for targeted advertising according to our similar searches.

This is all the more worrying since TikTok targets young people. 70% of users are under 25 years old. They are therefore receptive, permeable users, in a period of learning about their ecosystem. These patterns are thus integrated durably in the users’ thinking mechanisms and participate in conditioning their vision of the world and their reasoning.

Recently, an Indian court banned the app on the grounds that it encourages sexual predators. Bangladesh and Indonesia had already banned it last year, accusing TikTok of promoting pornography. These are examples of the collateral effects of the elements we have been talking about. TikTok is also the scene of much mockery and criticism. These insults directed at a young, impressionable and application-obsessed audience can lead to extreme behaviors. In 2018, in southern India, a 24-year-old man killed himself by jumping in front of a train because he was mocked for videos in which he dressed like a woman. Many states are calling for a ban on TikTok, promoting bullying, hate-speech and child abuse.

TikTok, the threat of misinformation

The videos on TikTok are viewed by millions of people. As we saw in the previous sub-section, in addition to speaking to a large audience, they have a strong impact. 

However, TikTok has been accused of disclosing false information.

For example, in the case of the health crisis, Videos marked #coronavirus have been viewed more than 64bn times. Some of them spread misinformation. Faced with the crisis, TikTok responded by tagging all videos about covid-19 (#covid19) with a warning: « Learn the facts about COVID-19 ». This warning is accompanied by a link to videos of audited accounts such as those of the NHS, the Red Cross and the World Economic Forum.

While we understand the health impact that such widely disseminated misinformation can have, the use of fake news can also have a political impact. TikTok has been accused of interfering with elections in India and is being sued by the Bharatiya Janata Party. Indeed, the use of fake news is becoming commonplace during campaigns: in France some accuse Russia of disclosing false news in favour of Marine Le Pen. The user, by his vote, becomes a prey and no longer a voter. If TikTok gives the impression of facilitating expression and breaking down communication barriers, when it comes to a citizen exercising his right to express himself through the vote, TikTok and social networks become a formidable way to use him as someone you can influence. However, “we are not political, we do not accept political advertising and we do not have an agenda.” declared Wednesday in a blog post the boss of TikTok, Kevin Mayer. 

In the specific case of covid-19, TikTok refers to the health authorities to judge what to release or not to release. On the other hand, on other subjects, particularly on matters relating to China’s policy, TikTok is suspected of using censorship to prevent certain news from circulating. 

For example, very few videos about the protests in Hong Kong were published on the app. Similarly, the subject of the Uighurs is heavily censored. Feroza Aziz, using make-up tutos to denounce the trafficking of Uighurs in China, had her TikTok account temporarily banned. To avoid censorship, some Uighurs share videos of themselves with a photo of their missing family, without talking, with music evoking separation as a simple background.

In both cases, China’s policy is directly questioned. Who does TikTok refer to when deciding to censor or moderate these videos? The UN, or the Chinese government? Where does TikTok place the limit between freedom of expression and control of fake news? 

TikTok denied having deleted any video blaming Chinese government.

A geopolitical rivalry is emerging between a global Chinese social network (whose main target is the USA) and an American social network. During a public speech at Georgetown University in October, Zuckerberg said: « While our services like WhatsApp are used by protesters and activists everywhere due to strong encryption and privacy protections, on TikTok, the China-based app growing quickly around the world, mentions of these same protests are censored, even here in the US. » He added: « Is that the internet we want? ». We must bear in mind that Mark Zuckerberg was heard by members of the two U.S. Senate committees for not respecting privacy among other things.

TikTok, rises concerns about privacy

TikTok holds a lot of personal data such as identity, Facebook and Twitter account information (for sign-ins), but also the content that users share which can be their political opinions, religious beliefs, sexual orientation, … Data security and respect is now a right in many countries. But in the case of a user-centric free service like TikTok, data become a currency of exchange.

Many countries, especially the USA, have expressed doubts about the security of TikTok user data. This is one of the reasons why the US, in particular, is considering banning TikTok said Mike Pompeo, America’s secretary of state, on July 6th. On June the 30th, Donald Trump announced he would ban TikTok. 

TikTok, rather than another social network, is of more concern as it is the first Chinese social network application to go global. ByteDance, its owner, is a Chinese company that owns the equivalent of TikTok, Douyin, for China. For the past two years, a security law in China has required every Chinese company to participate in intelligence-gathering when the party asks them to. That is to say that the Chinese police can enter any office of a Chinese company and copy its data, under the pretext of cyber-security.

This mistrust is fueled by previous scandals. Data from Grindr, a dating site for homosexuals, has reportedly been used by the Chinese government to blackmail US politicians. The US military has removed dji drones from its bases, suspecting that they are sending information about critical infrastructure back to China’s government. 

Governments, especially the US government, are therefore investigating these privacy issues very closely. In February, TikTok was fined up to $5.7m (a record) in America for illegally collecting data on users under the age of 13. 

The US authorities are beginning to restrict not just Chinese companies’ investments, but also their products. Are these real concerns about privacy or other milestones in a commercial war? 

The USA is one of TikTok’s biggest markets. Indeed, if India and China have many users, TikTok depends on its image in the US. TikTok makes money from ads and from commissions on tips, which users offer through the pseudo-currency of TikTok’s “coins” to their favourite creators. Poor population in India often can’t afford this. If TikTok always denied sharing data with China and has insisted that data about non-Chinese users are held on non-Chinese servers, TikTok has also put in place measures to strengthen its credibility. TikTok launch a “Transparency Centre” in Los Angeles that allows outside experts to examine and verify TikTok’s content moderation. 

TikTok had hired an independent American law firm to review its content moderation practices and to audit its security practices. Furthermore, this law firm found that TikTok would have been unable to transmit user data to China during the period it surveyed. 

TikTok, a weapon in a trade war

Last but not least, we saw that TikTok was being used by the states as a weapon in a trade war. TikTok fuels the US-China war, and serves as a means of pressure for India against China. 

But what is the risk of a state banning TikTok? Not much. Indeed, TikTok creates few jobs and pays little or no tax in America or India. The main cost is therefore to be borne by the millions of users who use TikTok as a means of expression, exchange, entertainment, and sometimes even as a salary and to whom their government imposes this ban. 

For the moment, it is not clearly established that TikTok is condemnable for harassment, fake news, censorship or lack of privacy. However, some states, such as India, have already decided to ban TikTok. TikTok may be a Chinese propaganda tool, but its ban is also a weapon for governments to resist China’s emergence. 

Is TikTok really rising new concerns?

Social medias as a new component of soft power

There is an important paradox: on the one hand a social media or an app that goes worldwide seems to be transnational, something that does not defend any specific political idea. But on the other hand, internet is today the most powerful media to spread an ideology or political ideas. Considering Jospeh Nye’s definition, culture and political values are two components of soft power. Social media are channels of expression of those elements. For instance, even if Facebook is defending a non-interference position of its website, the firms promote ideas of liberalism and democracy. That is why countries like China and Russia decided to ban the app on their own soil.

When we are interested in the distribution of social media on world scale, we can see a clear evolution in a decade from 2008 to 2020. Firstly, the use of social media has spread across all continents. Although in 2008 some regions such as Africa, South America and Middle East were spared by social media, today few countries are outside the use of internet. That being said, it is interesting to focus on the most popular social media by region. In 1946, Winston Churchill was talking about an iron curtain in order to express the opposition between the capitalist world led by the United-States and the communist world represented by the USSR. Today we could talk about an internet wall between the Western World using mainly Facebook an American social media, and those which oppose it (e.g. Russia, China, Iran…) by using other social media such as VKontakte or Qzone.

That opposition underlines the weight of social media in the new global geopolitical balance. Nevertheless, only Facebook until very recently had managed to break national borders. TikTok put an end to that American hegemony by becoming the first Chinese app to go global. At the time of the trade war between the US and China, the issue of banning the Chinese app on the US soil is sensitive. That element leads to another paradox: recreating border to app that are by definition without borders.

Data sovereignty is at the very heart of the conflict between India and China

An app like Tiktok worries governments because the Chinese app receives millions of user data every day. That leads to the concept of data sovereignty which is defined as the idea that data are subject to the laws and governance structures within the nation it is collected. The concept of data sovereignty is closely linked with data security, cloud computing and technological sovereignty. Many of the current concerns that surround data sovereignty relate to enforcing privacy regulations and preventing data that is stored in a foreign country from being subpoenaed by the host country’s government.

The financial weight of the control of the data is very important. Many of the most valued tech companies have a business model that relies on the use of data. This data before being processed, used and above all resold, must be stored. This raises the question of the storage location and more mainly of the State where the data centers are located. Data centers, since they are vulnerable, have become key security and geostrategic challenges.

CONCLUSION

TikTok, because of its global impact, is a crucial geopolitical and strategic issue for many states. TikTok, a social network based on short videos is more than a showcase of egocentricity as some might reduce it. It is a means of expression for all types of people, on all topics up to political engagement. It is an access to information, a platform for discussion and debate. It is also, for brands, for celebrities, but also for people who initially only had a telephone and an internet connection, a means of getting paid. However, TikTok is a lot of ink and has not only fans. Very addictive and used by a very young audience, TikTok is accused of promoting harassment, hate speeches etc… TikTok is also suspected of spreading fake news without accurate moderation and unreasonably censoring some content, especially those concerning Chinese politics. Finally, because it is the first Chinese application to become global, there are many concerns about the security of personal data. However, these accusations are not new. This week, American elected representatives also heard the GAFA representatives on similar topics. When we know that Apple’s stock market valuation exceeds the one of the CAC40, we understand that the power of these data-centric companies raises some government concerns. TikTok is therefore a weapon, both for China and its rival, the USA. For China it is a weapon of soft power, as TikTok is widely used all over the world. For the USA it is a weapon in a trade war, already used by India which has banned the application. 

REFERENCES

Trump pushes a TikTok ban: Everything you need to know, CNET 19 July 2020 

The United States is ‘looking at’ banning TikTok and other Chinese social media apps, Pompeo says”, CNN 7 July 2020 

TikTok considers changes to distance app from Chinese roots”, The Wall Street Journal, 9 July 2020

The tech cold war is hotting up TikTok and the Sino-American tech split – The Economist – July 11th 2020

Why worry about TikTok? – The Economist – May 6th 2020

This Indian TikTok star wants you to know his name – The Economist – July 4th 2020

India has few good ways to punish China for its Himalayan land-grab – The Economist – Novembre 7th 2019

Foreign suspicion is hemming in China Inc’s global rise – The Economist – September 12th 2019

Mark Zuckerberg says TikTok is a threat to democracy, but didn’t say he spent 6 months trying to buy its predecessor – Business Insider – Novembre 13th 2020

The Political Pundits of TikTok – The NY Times – February 27th 2020

Sur TikTok, un tutoriel de beauté dénonce le sort de Ouïghours en Chine – rti.fr – November 28th 2019 


TikTok users fear app shutdown as security concerns grow – Washington Post – July 10th 2020


The threats against TikTok are beginning to add up – theverge.com – November 5th 2020


TikTok’s Hong Kong exit a ‘win-win’ business move – techxplore.com – July 9th 2020


Etude Open Signal : la France toujours mal classée au niveau mondial sur la 4G, même si elle progresse un peu – universfreebox.com – February 20th 2018


Sur TikTok, Instagram et Twitter, les 15-25 ans multiplient les challenges écolos – Madame Le Figaro – July 2th 2020

TikTok banned in India as tensions ramping up with China – LiveNewsTime – June 30th 2020


TikTok : il est temps d’entrer dans la danse… ou pas – influencia.net – July 15th 2020


TikTok statistiques : les chiffres TikTok en 2020 [Infographie] – oberlo.fr – June 25th 2020


Israil Ansari TikTok account: https://www.tiktok.com/@israil.ansari/video/6733045770867461381?source=h5_m

Donald Trump annonce son intention d’interdire TikTok aux Etats-Unis – Le Monde – August 3rd 2020

« It was all I would see » BBC News – July 31st 2020  

Mieux valorisé que tout le CAC40, Apple redevient la première capitalisation mondiale – Les Echos – August 3rd 2020

Egypt jails TikTok users over ‘indecent videos’ – BBC News – July 27th 2020

Une reconnaissance faciale éthique : un oxymore ?

Reconnaissance Faciale

Geneviève Fieux-Castagnet et Gérald Santucci

Avril 2020

Présentation générale

Comment une machine, fût-elle « intelligente », peut-elle reconnaître des visages ? Certes, tous les visages comportent les mêmes éléments : deux yeux, un nez, des lèvres, un front, des joues, des oreilles, des cheveux etc., mais chaque visage est différent et un visage change d’aspect avec l’âge de la personne, les émotions qu’elle ressent, les expressions qu’elle se donne ainsi que son orientation. 

La reconnaissance faciale, l’une des principales applications de l’intelligence artificielle, gagne du terrain chaque jour sans que nous nous en rendions bien compte. Ainsi, depuis 2018 les voyageurs qui prennent le train pour Londres depuis la gare du Nord, ou qui embarquent à Roissy-Charles-de-Gaulle, ont affaire à de nouveaux portiques de sécurité qui sont destinés à vérifier leur identité lors du passage de la frontière. 

Désormais nos visages déverrouillent nos téléphones portables, nous font accéder à notre banque en ligne, nous permettent de monter à bord des trains et des avions… 

Il va de soi que ce qui est en train de se passer est un enjeu important pour le respect de notre vie privée. A l’âge du « capitalisme de surveillance », pour reprendre la formule de la sociologue et universitaire américaine Shoshana ZUBOFF, la vie privée est-elle condamnée ? Peut-être, mais il conviendrait de souligner que la « vie privée » ne devrait pas être ce que « la société » (le gouvernement, les entreprises etc.) nous accorde mais ce que nous décidons nous-mêmes d’en faire. 

Au-delà de la vie privée, l’intelligence artificielle, et en particulier, la reconnaissance faciale, nous interroge sur l’éthique. Ce thème transversal figurera en filigrane tout au long de cet article

Technologie utilisée

La reconnaissance faciale est une technologie informatique qui permet de reconnaître automatiquement une personne sur la base de son visage. Pour cela, elle utilise des données biométriques[1]

La reconnaissance faciale se fait en trois temps : 

  1. La détection du visage, suivie de son alignement, afin de localiser le visage d’un individu sur une image et d’en délimiter les contours à l’intérieur d’un champ ;
  2. L’extraction des caractéristiques du visage et leur transformation informatique en modèle ou « gabarit » pouvant être utilisé pour la tâche de reconnaissance proprement dite ;
  3. La reconnaissance du visage en recherchant une correspondance entre le gabarit et un ou plusieurs autres gabarits contenus dans une base de données. 

Source : Youssef FENJIRO, gestionnaire de projets et expert en science des données

Dans le cas de la biométrie faciale, un capteur 2D ou 3D « saisit » un visage, puis le transforme en données numériques par l’opération d’un algorithme et le compare à une base de données. 

Grâce à ces systèmes automatisés, l’identification et la vérification de l’identité d’individus peuvent s’effectuer en seulement quelques secondes à partir des caractéristiques de leur visage : écartement des yeux, des arêtes du nez, des commissures des lèvres, des oreilles, du menton, etc., y compris au milieu d’une foule ou dans des environnements dynamiques et instables. 

Bien qu’il existe d’autres signatures biométriques (empreintes digitales, scan de l’iris, voix, numérisation des veines de la paume de la main, ou encore analyse du comportement), la reconnaissance faciale s’impose comme la plus efficace des références en matière de mesures biométriques : 

– elle est facile à déployer et à mettre en oeuvre ;
– il n’y a pas d’interaction physique requise par l’utilisateur final ;
– les processus de détection et de correspondance du visage (pour la vérification / identification) sont très rapides.

Principales fonctions de la reconnaissance faciale

La biométrie permet d’identifier et d’authentifier des  personnes sur la base d’un ensemble de données reconnaissables, vérifiables, uniques et spécifiques à celles-ci et également de catégoriser des personnes en fonction de caractéristiques. 

L’identification répond à la question : « qui êtes-vous ? ». La personne est identifiée parmi d’autres en comparant ses données personnelles aux données d’autres personnes qui sont contenues dans la même base de données ou éventuellement dans des bases de données reliées. 

Elle est utilisée dans certains pays pour assurer des fonctions de sécurité. La reconnaissance faciale est utilisée par les forces de l’ordre pour retrouver des criminels, des terroristes, des enfants perdus etc.

La Chine s’est placée aux avant-postes de la technologie de reconnaissance faciale et a installé des milliers de « caméras intelligentes » à travers le pays. Le gouvernement et les entreprises privées de surveillance se sont associés pour développer les systèmes de surveillance. Un cas d’usage typique de la reconnaissance faciale est la lutte contre les infractions mineures concernant les piétons marchant en dehors des clous à Shenzhen (jaywalking) : des caméras de surveillance intelligentes sont placées près des passages piétons afin de surveiller le trafic piéton. Si un passant traverse sans attendre le signal provenant des feux de signalisation, il est détecté par les caméras et les données faciales le concernant sont comparées avec celles qui figurent dans les dossiers détenus par les autorités ; en cas de correspondance, la photo de l’auteur de la contravention au règlement est  affichée  à la vue de tous sur un large écran près du passage piéton. En l’absence de législation concernant le respect de la vie privée, la Chine s’impose comme le leader mondial de la reconnaissance faciale. Elle a introduit un système de « crédit social » qui mesure la réputation des citoyens selon leur comportement et leur présence sociale. Le score obtenu par un individu définit ce qu’il est autorisé à faire et, en dessous d’un certain niveau, certains droits et avantages lui sont retirés (par exemple, la possibilité d’effectuer une réservation de voyage).

De son côté, l’Inde s’emploie à construire la base de données de reconnaissance faciale la plus importante au monde. Les autorités font valoir que dans un pays d’1,3 milliard d’habitants, cette technologie est indispensable pour aider les services de police dont les ressources sont limitées et qui sont en sous-effectif. Dans un autre domaine, la plupart des gares de chemin de fer prévoient d’utiliser d’ici la fin de 2020 un logiciel de reconnaissance faciale pour combattre la criminalité. Le système est d’ores et déjà expérimenté dans le pôle technologique de Bangalore où un demi-million de visages sont scannés chaque jour puis comparés aux visages stockés dans les bases de données de la police. La reconnaissance faciale devrait être utilisée aussi à bord des trains au moyen de caméras de vidéosurveillance installées dans un premier temps à l’intérieur de 1200 des 58000 compartiments de trains. En outre, des capteurs seront testés pour détecter certains sons tels que les cris ou éclats de voix émanant de disputes.

L’authentification, quant à elle, répond à la question : « Êtes-vous bien la personne que vous prétendez être ? ». La biométrie permet ici de certifier l’identité d’une personne en comparant les données qu’elle présente avec les données préenregistrées de la personne qu’elle déclare être. Prenons d’abord le cas de l’Eurostar. Lorsque nous utilisons cette compagnie pour nous rendre à Londres, il nous faut comme toujours présenter notre passeport et notre billet de train. Pourtant, tout a changé. Le billet de train, au lieu d’être imprimé sur un support physique, est désormais un e-billet téléchargé dans notre téléphone mobile et, surtout, le passeport n’est plus examiné par un agent de la sécurité au guichet, mais vérifié par une machine dont la caméra et l’écran d’ordinateur nous scrutent : il faut se présenter devant le sas libre, positionner son passeport sur le lecteur puis, quand le passeport est détecté et que la porte permettant d’entrer dans le sas s’ouvre, il faut se positionner sur le marquage au sol et regarder la caméra de sorte à permettre l’identification du visage. Si le visage est identifié, alors la porte de sortie du sas s’ouvre. En fin de compte, de quoi avons-nous besoin pour prendre l’Eurostar ? Un e-billet et un passeport, certes, mais aussi et surtout un visage.

Chez Aéroports de Paris (ADP), c’est l’entreprise Gemalto, acquise par Thales en avril 2019, qui a conçu avec le ministère de l’Intérieur le programme informatique connu sous le nom de « Parafe » (Passage automatisé rapide aux frontières extérieures). Thales souhaite que sa collaboration avec ADP s’élargisse pour couvrir l’ensemble des besoins depuis l’enregistrement pour un vol jusqu’au moment de l’embarquement, la technologie employée évitant ainsi d’avoir à redemander à chaque fois des éléments d’identité.

La catégorisation par la biométrie peut aussi être utilisée pour faire entrer des personnes dans des catégories en fonction de caractéristiques qui peuvent être le genre, l’âge, l’origine ethnique, afin de les profiler. L’analyse algorithmique des visages permet de détecter certaines maladies, comme la dépression, mais aussi, selon un nombre croissant de chercheurs, les émotions. Par exemple, le logiciel d’analyse des expressions du visage FaceReader collecte les données relatives aux émotions afin de déterminer si une personne est « heureuse », « triste », « en colère », « surprise », « effrayée », « dégoûtée » ou bien « neutre ». En fait, les « données émotionnelles » fournissent à ceux qui les récoltent des informations additionnelles objectives concernant l’impact, l’appréciation, l’attirance et la répulsion vis-à-vis d’une marchandise, d’un service, d’une application mobile, d’un site web, d’un message publicitaire, de la bande-annonce d’un film, etc.[2] Compte tenu des quantités considérables de données qui sont nécessaires pour entraîner une intelligence artificielle à détecter les émotions, de nombreux chercheurs restent sceptiques quant à l’avenir de la reconnaissance faciale dans ce domaine, surtout lorsqu’il apparaît que le sujet ne se trouve pas assis en face de la caméra, fixant l’objectif. Toutefois, les travaux de recherche se poursuivent, comme par exemple chez Fujitsu qui, en vertu d’un « processus de normalisation » lui permettant de convertir en une image frontale plusieurs images prises à partir d’un angle particulier, se vante d’être capable de détecter les émotions avec un taux d’exactitude de 81% (contre 60% chez la plupart de ses concurrents). La firme japonaise prévoit d’ores et déjà que son système de reconnaissance faciale va permettre d’améliorer la sécurité routière grâce à la détection des moindres changements de concentration du conducteur ou bien à un robot de repérer nos plus petits changements d’humeur. Ces perspectives semblent certes prometteuses, pour autant que leurs implications éthiques sont prises en compte sérieusement, mais les chercheurs ne doivent cependant pas perdre de vue le fait que les expressions du visage ont aussi une dimension culturelle, c’est-à-dire que leur signification diffère selon que le sujet vit en Asie, en Europe, en Afrique ou ailleurs.

Enjeux éthiques

Pour les cas d’usage portant sur l’authentification des personnes

Dans ce cas d’usage, le principal risque éthique est le faux négatif si la personne n’est pas reconnue, ce qui pourrait laisser croire qu’elle n’est pas en règle et porter ainsi atteinte à sa dignité. Or, l’on sait que les faux négatifs sont plus fréquents chez les personnes de couleur, ce qui peut générer une forme de discrimination. Certains programmes pour l’analyse faciale sont entachés de biais de nature sexiste ou raciale qui se traduisent par un faible taux d’erreur pour les hommes à peau clair, mais un taux élevé d’erreur pour les femmes à peau foncée[3].

La reconnaissance faciale pourrait être utilisée pour contrôler l’accès à des ordinateurs ou à des applications. La personne risque de ne guère avoir le choix que d’accepter de recourir à la reconnaissance faciale pour avoir accès aux services, même si, dans un premier temps, une alternative pourrait lui être proposée. 

La reconnaissance faciale pourrait aussi être utilisée pour accéder aux locaux des entreprises ou dans les lycées. Même si le système reposait sur le consentement des individus, comment penser que celui-ci soit réellement libre quand il existe un rapport de force inégalitaire ? Le recours à la reconnaissance faciale dans ces cas-là peut très vite donner l’impression aux personnes d’être épiées dans leurs comportements, dans leurs horaires, ou dans leur assiduité, ce qui peut générer un sentiment de surveillance, d’atteinte à la vie privée et aux libertés individuelles.

La collecte de données biométriques qui constituent un des attributs du caractère unique d’une personne peut être vécue comme une atteinte à la dignité. Plus le système se généralisera, plus il y aura un risque de sentiment de perte d’individualité ; le visage qui exprime les émotions et la sensibilité d’une personne prendra la dimension d’un simple outil parmi d’autres outils, générant ainsi un sentiment de « dépersonnification » et de déshumanisation. La matière première de cette technologie n’est rien moins que nos visages. Peut-on considérer que le visage d’un utilisateur constitue une « data » comme les autres ? 

De plus, un mauvais usage ou un détournement d’usage peut avoir des conséquences graves sur les droits et libertés des personnes : usurpation d’identité, diffusion d’images sur les réseaux sociaux, chantage, harcèlement etc. 

Comme le souligne la CNIL « les dispositifs de reconnaissance faciale sont particulièrement intrusifs et présentent des risques majeurs d’atteinte à la vie privée et aux libertés individuelles des personnes concernées. Ils sont par ailleurs de nature à créer un sentiment de surveillance renforcée »[4].

Tous ces cas d’usage d’authentification des personnes génèrent une accoutumance et une banalisation du recours à une technologie qui contient en elle des potentialités de dérive autoritaire dans un régime non démocratique où les contrepouvoirs seraient faibles. 

Pour les cas d’usage portant sur l’identification des personnes

Un cas d’usage peut être l’identification sur la voie publique de personnes recherchées, par confrontation en temps réel de tous les visages captés à la volée par des caméras de vidéo protection avec une base de données détenue par les forces de l’ordre. Les visages de tous les individus qui passent ou qui sont là au moment où l’on recherche un individu précis font l’objet d’une reconnaissance faciale. La technologie, étant sans contact, peut être alors considérée comme invasive. Pour qu’elle soit pleinement efficace en matière de sécurité et de suivi de délinquants, encore faut-il qu’elle soit largement déployée par de nombreuses caméras vidéos équipées du système d’intelligence artificielle (SIA) et que les bases de données soient les mieux fournies possibles. Son efficacité est donc proportionnelle à son déploiement, ce qui fait de cette technologie une porte ouverte à une société de surveillance de masse. 

Le seul fait de savoir que l’on peut faire l’objet de reconnaissance faciale dans un lieu public est susceptible d’être vécu comme une forme de surveillance et d’ingérence dans la sphère privée pouvant induire des modifications de comportements et une restriction spontanée dans sa liberté d’aller et venir, de se réunir ou de s’associer. Il s’ensuit un sentiment d’atteinte indirecte à la liberté d’expression et, par conséquent, à la vie privée et à la dignité de la personne[5]. Sommes-nous prêts, en tant que citoyens, à perdre totalement et définitivement notre anonymat dans l’espace public ? Étant donné la vitesse de déploiement des usages multiples de la reconnaissance faciale, que vaut encore un consentement ? Certaines personnes, inquiètes pour leur vie privée, utilisent des maquillages, vêtements et accessoires permettant de brouiller les logiciels de reconnaissance faciale. « En Russie, une artiste activiste adepte des performances antisystème a organisé une communauté virtuelle autour de ces techniques… avant d’être arrêtée »[6]

Par ailleurs, un logiciel de reconnaissance faciale dans le cadre d’enquêtes policières présente ici encore des risques de « faux négatifs » (la technologie ne parvient pas à faire correspondre un visage avec celui figurant sur une liste de surveillance, en conséquence de quoi des suspects ne sont pas détectés) et de « faux positifs » (la technologie aboutit à des erreurs d’identification).

S’ajoute à cela un risque non négligeable de cybersécurité et de captation malveillante de données qui peut conduire à des risques majeurs pour les individus, notamment lorsque les données sont croisées avec celles d’autres banques de données privées (par exemple celles des grandes entreprises technologiques de l’Internet, GAFAM ou BATX). Pouvons-nous faire confiance à tous ceux qui nous promettent la sécurité de la donnée ultra-sensible que constitue notre visage ? Qui serait en mesure de nous garantir la légalité des traitements effectués par les opérateurs publics ou privés ? Il faut envisager également le cas où le responsable du traitement lui-même glisse subrepticement d’un usage limité et sans risque vers un autre usage plus invasif et non autorisé.

En cas d’apprentissage machine, des biais pourraient s’introduire et stigmatiser une partie de la population.

Pour les cas d’usage portant sur la catégorisation des personnes et leur profilage

Ce cas d’usage peut permettre d’identifier des catégories de personnes selon leur origine ethnique. En Chine, la reconnaissance faciale a permis d’identifier les personnes d’origine ouïghour, de les suivre, de les contrôler et de les enfermer par centaines de milliers dans des camps d’internement. La reconnaissance faciale peut ainsi permettre d’exercer une action répressive sur une minorité. 

Un des risques de cette technologie est sa combinaison avec d’autres banques de données qui permettront l’identification des individus dans de très nombreux domaines permettant un profilage massif des individus portant une très fort atteinte aux libertés et droits fondamentaux[7]. Il existe déjà des applications qui permettent de retrouver le nom, les activités, les contacts de n’importe quelle personne à partir d’une photo en utilisant les milliards de données qui figurent sur internet et sur les réseaux sociaux[8]. La valeur des résultats des IA est fonction des questions qui leur sont soumises : quiconque cherche des corrélations entre un faciès et n’importe quel type de données en trouvera nécessairement. L’asymétrie d’information exorbitante qu’implique cette technologie accroît les possibilités d’influence et de coercition émanant des autorités, que celles-ci fussent politiques ou économiques. Un « Big Brother » (symbole du totalitarisme) ou un « Big Other » (symbole de l’« instrumentarianisme »), capable de reconnaître tous les individus et d’en obtenir instantanément le profil et les antécédents, surpasserait amplement les scénarios dystopiques imaginés jadis par B. F. SKINNER (Walden Two, 1948) et George ORWELL (1984, 1949).

La détection des émotions à des fins commerciales peut également être insidieuse : les rayonnages intelligents de supermarchés soulèvent des questions éthiques si les prix viennent à varier en fonction du consommateur qui se trouve devant, voire des questions juridiques quand la personnalisation d’un contenu se fait à l’insu de la personne. Quel que soit le cas d’usage, là encore il convient de bien informer les personnes pouvant être sujettes à des analyses automatisées. 

Sans préjuger des avancées scientifiques et technologiques qui vont continuer à perfectionner les usages de la reconnaissance faciale, il est légitime de s’interroger sur l’apport réel de ces systèmes pour améliorer, comme le prétendent les entreprises, la « satisfaction-client ». En effet, dans quelle mesure est-il techniquement faisable de déduire d’une émotion un degré de satisfaction-client ? Nos visages ne sont-ils pas animés en permanence de micromouvements qui ne reflètent pas forcément un état de satisfaction ou d’insatisfaction ? En outre, les émotions étant fugaces, voire éphémères, comment un système pourrait-il saisir l’instant parmi tant d’autres durant lequel l’émotion exprimée serait véritablement le reflet d’une satisfaction ou d’une insatisfaction durable ? De plus, des buts commerciaux justifient-ils une telle intrusion dans l’intimité d’une personne ?

Vers un encadrement des cas d’usage de la reconnaissance faciale

Le déploiement de la reconnaissance faciale s’est accéléré au cours des dernières années à un point tel qu’il est légitime de se demander si elle ne finira pas par s’imposer d’elle-même, avec ses biais sur lesquels il sera bien difficile de revenir, malgré les discriminations engendrées, et alors même que son efficacité diffère selon les conditions d’utilisation et les populations (sexe, ethnie, etc.). 

Le cadre juridique existant

Entre rejet en bloc de la reconnaissance faciale et usage débridé, il y a une voie à trouver dont la responsabilité incombe aux autorités publiques. D’ores et déjà existent en Europe des « repères juridiques » qui sont la Convention européenne des droits de l’homme, la Charte des droits fondamentaux de l’Union Européenne, le règlement général européen sur la protection des données et la directive Police-Justice.

La Convention Européenne des droits de l’homme et la charte des droits fondamentaux de l’Union européenne 

i. Droits protégés

La dignité, les libertés (respect de la vie privée, protection des données à caractère personnel, liberté de pensée, de conscience, de religion, liberté d’expression et d’information, liberté de réunion et d’association) constituent en vertu de la Convention européenne des droits de l’homme[9] et de la charte des droits fondamentaux de l’Union Européenne[10]des droits fondamentaux qui doivent s’appliquer de façon non discriminatoire. 

La protection des données personnelles et de la vie privée concerne par conséquent des droits protégés. La reconnaissance faciale utilisant des données personnelles et portant atteinte à la vie privée porte par essence atteinte à ces droits fondamentaux et ne peut être développée librement au sein de l’Union Européenne. Des mesures doivent être prises pour que la reconnaissance faciale respecte ces droits fondamentaux. 

ii. Protection de ces doits

Le principe général de ces textes est que seule une loi peut limiter l’exercice des droits et libertés précités[11].

Les limites apportées par la loi à ces droits et libertés doivent respecter le contenu essentiel de ces droits et libertés, être nécessaires, proportionnelles, et répondre à des objectifs d’intérêt général reconnus par l’Union Européenne ou au besoin de protection des droits et libertés d’autrui. La convention européenne des droits de l’homme cite les objectifs d’intérêt général qui peuvent être, dans une société démocratique, la sécurité nationale, la sûreté publique, le bien-être économique du pays, la défense de l’ordre et la prévention des infractions pénales, la protection de la santé ou de la morale.

Au regard de ces textes, la reconnaissance faciale ne devrait pas pouvoir se développer en dehors d’un cadre légal.

En France plus particulièrement se cumulent un cadre européen avec le RGPD et un cadre français plus strict, autorisé par le RGPD[12], avec la loi Informatique et Libertés.

Le règlement général européen sur la protection des données personnelles (RGPD)

i. Identification des personnes

La protection de L’article 9 du RGPD précité prévoit de façon claire le principe d’interdiction des traitements de données biométriques permettant d’identifier une personne de façon unique. Le principe est donc l’interdiction de la reconnaissance faciale mais uniquement en ce qui concerne l’identification des personnes. L’interdiction ne vise ni l’authentification des personnes ni leur classification.

Des exceptions sont prévues à cette interdiction : nous ne citerons que les principales : tout d’abord le consentement explicite des personnes visées, ce qui pose la question du consentement réellement libre et l’offre d’alternatives véritables à la reconnaissance faciale, et également quand une loi prévoit la possibilité de recourir à cette technologie en matière de santé publique ou quand il existe des motifs d’intérêt public essentiels.

La protection légale est donc importante en matière d’identification de personnes par reconnaissance faciale puisque si les personnes visées ne donnent pas leur consentement. Seule une loi pourra permettre d’y recourir. Cette loi devra néanmoins respecter les principes de la convention européenne des droits de l’homme précités[13]

Mais qu’en est-il de l’authentification des personnes et du profilage par reconnaissance faciale ? 

ii. Authentification des personnes

Dans les deux cas, une analyse d’impact est obligatoire. Cette analyse d’impact est en effet requise quand le traitement est susceptible d’engendrer un risque élevé pour les droits et libertés des personnes physiques.[14] Elle permet une analyse de l’impact des opérations de traitement envisagées sur la protection des données personnelles. Les autorités de contrôle établissent des listes des types d’opérations de traitement pour lesquelles une analyse d’impact est obligatoire. Dans certains l’autorité de contrôle est saisie pour avis préalable[15]. Les pouvoirs des autorités de contrôle sont larges : elles peuvent demander des informations complémentaires mais aussi mener des enquêtes exiger des mesures correctrices, pouvant aller jusqu’à l’interdiction du traitement et à la condamnation à des amendes en cas de violation de règles du RGPD[16].

iii. Profilage

Le profilage grâce à la reconnaissance faciale pour suivre par exemple le déplacement d’une personne et le prédire est interdit s’il est utilisé pour prendre une décision automatisée. En revanche, il sera possible si au bout de la chaîne il y a un être humain pour prendre la décision[17]. La loi peut cependant prévoir des exceptions à cette interdiction[18]

iv. Conditions à respecter

Le traitement devra respecter les principes de laicéité, loyauté et transparence, de limitation des finalités, de minimisation des données, d’exactitude, de limitation de la conservation, d’intégrité et de confidentialité et ces mêmes conditions devront être vérifiées chez les sous-traitants[19].

v. Droits d’information et d’accès

Le RGPD prévoit toute une série de droit d’information et d’accès aux données et de non-portabilité de celles-ci. Le recours à cette technologie doit faire l’objet d’une information aisément accessible, large, compréhensible et concise qui doit permettre de connaître l’identité du responsable du traitement, la finalité du traitement, sa base légale, les destinataires des données, leur durée de conservation etc. Le responsable du traitement doit également prévoir un droit d’accès, d’opposition, de limitation, de rectification, d’effacement des données biométriques par ceux qui en font l’objet[20] (ces droits pouvant être limités par la loi, notamment pour des raisons de sécurité publique). 

La directive « Police-Justice »

Le RGPD et la directive « Police-Justice »[21] composent tous deux le « paquet européen relatif à la protection des données à caractère personnel ». Ils présentent des champs d’application distincts qui se veulent complémentaires. 

La directive « Police-Justice » établit des règles relatives à la protection des personnes physiques à l’égard du traitement des données à caractère personnel par les autorités compétentes à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière ou d’exécution de sanctions pénales, y compris la protection contre les menaces pour la sécurité publique et la prévention de telles menaces.

L’identification des personnes à partir de données biométriques est autorisée en cas de nécessité absolue. Il faudra une loi pour le prévoir[22].

Elle prévoit également que le responsable du traitement doit établir une distinction claire entre les données personnelles de différentes catégories de personnes concernées (les personnes coupables, celles pour lesquelles il existe des motifs sérieux de croire qu’elles ont commis ou sont sur le point de commettre une infraction pénale, les victimes, les témoins). 

Un traitement juridique spécifique de la reconnaissance faciale

Les spécificités de la reconnaissance faciale et sa vitesse de déploiement dans les entreprises, les institutions et la société civile rendent nécessaires des interprétations plus fines des conditions qui s’imposent afin que soit développée une reconnaissance faciale éthique bénéficiant à tous sans créer de nouvelles inégalités, sans empiéter sur les libertés publiques et sans poser de nouveaux risques sur les sécurités individuelle et collective. 

A l’aube de la troisième décennie du vingt-et-unième siècle se profilent les premiers éléments de ce que pourrait être une cadre juridique spécifique pour la reconnaissance faciale, tout en tenant compte du fait que l’Europe se trouve confrontée en la matière à un triple défi : un défi d’innovation technologique et industrielle, un défi d’appropriation citoyenne et un défi de régulation juridique[23]

Les propositions de régulation de la Commission Européenne

La Commission européenne a présenté sa stratégie pour l’intelligence artificielle en affichant une approche éthique dont elle entend faire son marqueur et son atout, un peu à l’image de ce qu’il s’est passé avec le règlement général sur la protection des données (RGPD). D’ailleurs, Marghrete VESTAGER, vice-présidente exécutive de la Commission européenne en charge de « Une Europe adaptée à l’ère du numérique », a enfoncé le clou :

« Certains disent que les données se trouvent en Chine et l’argent aux États-Unis. Mais en Europe, nous avons un projet et beaucoup de choses sur lesquelles nous pouvons construire (…) Mon approche n’est pas de rendre l’Europe plus comme la Chine ou les États-Unis, mon plan est de rendre l’Europe plus comme elle-même. »

La Commission européenne est revenue sur l’intention qu’elle a eue pendant un moment d’imposer un ban temporaire sur les usages de la reconnaissance faciale.

Elle a publié le 17 février 2020 un Livre blanc consacré à l’intelligence artificielle[24] dans lequel elle soutient l’adoption d’un texte contraignant sur l’intelligence artificielle, notamment pour les systèmes d’intelligence artificielle (SIA) à haut risque[25]. La reconnaissance faciale pour l’identification des personnes est considérée par le Livre blanc comme un SIA à haut risque et devrait être par conséquent encadrée par la nouvelle règlementation envisagée par la Commission. Celle-ci qui devrait poser des règles contraignantes en matière : 

– de contrôle des données utilisées lors de l’entraînement et lors de l’utilisation du SIA ;
– de conservation des archives expliquant le choix des données et de l’algorithme ;
– d’information due à l’utilisateur, notamment sur la finalité du SIA, ses capacités et ses limites ;
– de sécurité et d’exactitude du SIA, notamment sur la reproductibilité de ses résultats et sa capacité à corriger ses erreurs ;
– d’action humaine et de contrôle humain, notamment par une validation ou un recours par l’humain des décisions prises par le SIA, selon les cas par la possibilité d’imposer des contraintes ou par un bouton d’arrêt. 

Le projet de Livre blanc sur l’intelligence artificielle de la Commission contient deux approches fondées sur le risque : l’une en vue de la détermination des débiteurs d’une obligation, l’autre en vue d’instituer un cadre réglementaire.

L’une des principales difficultés générées par l’intelligence artificielle est la traçabilité d’une erreur à l’origine d’un dommage, en raison notamment de la diversité des acteurs économiques qui sont impliqués dans le cycle de vie d’une intelligence artificielle. Afin de déterminer sur qui pèsera la responsabilité du fait d’une intelligence artificielle, la Commission propose une approche fondée sur la désignation de la personne la plus à même d’y répondre. Ainsi, le développeur serait le plus à même de répondre des risques générés lors de la phase de développement. En revanche, la responsabilité de l’utilisateur prévaudra lors de la phase d’utilisation.

Elle évoque également le recours à une évaluation préalable de conformité avec des procédures d’essai, d’inspection ou de certification et un contrôle ex post par les autorités compétentes.

Les positions de la CNIL

La CNIL (Commission nationale de l’information et des libertés), autorité française indépendante gardienne des droits fondamentaux en matière de données biométriques, rend des avis sur les projets de loi ou décrets souhaitant autoriser le recours à la reconnaissance faciale tant pour l’identification des personnes que pour leur authentification[26]

Elle établit et publie des règlements types en vue d’assurer la sécurité des systèmes de traitement de données à caractère personnel et de régir les traitements de données biométriques. Elle a notamment élaboré un règlement-type contraignant sur la biométrie sur les lieux de travail[27].

Sauf pour les traitements mis en œuvre pour le compte de l’État agissant dans l’exercice de ses prérogatives de puissance publique, elle peut prescrire des mesures, notamment techniques et organisationnelles, supplémentaires pour le traitement des données biométriques[28]

i. Les exigences de la CNIL en matière d’expérimentation de la reconnaissance faciale

La CNIL ne s’oppose pas au principe à l’utilisation de la reconnaissance faciale, néanmoins elle souligne plusieurs exigences pour en encadrer l’expérimentation, notamment en matière de respect de la vie privée des citoyens. 

Pour la CNIL, il importe que les expérimentations n’aient pas pour objet ou pour effet d’accoutumer les personnes à des techniques de surveillance intrusive. Dans l’attente d’un cadre juridique, elle veut éviter qu’une expérimentation ne nécessitant pas d’autorisation légale à ce jour permette une accoutumance par les citoyens aux usages non nécessaires ou non légitimes, voire le développement d’usages non souhaités en toute illégalité.

Un aspect méthodologique important pour la CNIL est que les traitements avec des données biométriques fassent l’objet d’une analyse d’impact[29] préalable qui devra fournir une description systématique des opérations de traitement envisagées et de ses finalités, procéder à une évaluation de la nécessité et de la proportionnalité des opérations de traitement au regard des finalités ainsi qu’à une évaluation des risques pour les droits et libertés des personnes concernées, et indiquer les mesures envisagées pour faire face à ces risques[30]. L’analyse d’impact devra être transmise à la CNIL en cas de risques résiduels élevés malgré les mesures envisagées par le responsable de traitement concerné, ce qui sera le cas en général de la reconnaissance faciale.

La CNIL est favorable à ce que l’expérimentation de la reconnaissance faciale fasse l’objet d’un cadre juridique et que ce cadre soit l’occasion de tracer des « lignes rouges » d’interdiction au-delà desquelles aucun usage, même expérimental, ne serait admis. Ces lignes rouges sont dans la continuité des exigences posées par les textes légaux précités, à savoir : légitimité des buts poursuivis, minimisation du recours à cette technologie qui doit être strictement nécessaire avec la démonstration de l’inadéquation d’autres moyens de sécurisation moins intrusifs, proportionnalité des usages. 

ii. Identification du caractère strictement nécessaire de la reconnaissance faciale par rapport à d’autres technologies possibles

Dans le cas d’usage d’utilisation de la reconnaissance faciale pour s’authentifier sur un lieu de travail, la CNIL exige que le système de badge ne soit pas suffisant, que cela ne réponde pas seulement à un besoin de confort, et que les locaux soient particulièrement sensibles[31]. Des solutions moins intrusives doivent être privilégiées. Elle a ainsi considéré comme illégal le système de reconnaissance faciale utilisé dans deux lycées de la Région Sud, des systèmes moins intrusifs tels que des badges pouvant être mis en place. 

C’est ainsi que la SNCF a fait le choix de ne pas recourir à un système de reconnaissance faciale dans ses gares pour identifier les propriétaires des bagages abandonnés ou les auteurs de flagrants délits mais plutôt d’utiliser un système de reconnaissance par les vêtements, ce qui est beaucoup moins intrusif puisqu’aucune donnée biométrique n’est utilisée pour identifier la personne. Ce système sera repris prochainement par la mairie de Nice et celle de Marseille. 

Selon la CNIL, cette démarche de recherche de solutions alternatives doit être systématisée afin d’éviter qu’une telle technologie hautement invasive, génératrice d’accoutumance, ne se répande alors qu’elle n’est pas indispensable. 

Il est intéressant de noter que plutôt que d’utiliser la reconnaissance faciale pour identifier les déplacements de personnes atteintes du Coronavirus, certains pays ont eu recours à d’autres technologies moins invasives, notamment des solutions de « suivi de contacts » (contact tracing), c’est-à-dire le fait de suivre à la trace les personnes potentiellement contaminées[32]

En France, la CNIL est d’accord pour que l’on mesure les déplacements des populations grâce aux données des opérateurs télécoms (c’est ainsi qu’il a été possible d’évaluer que 1,2 million de Franciliens avaient quitté leur région au début du confinement), mais elle n’est pas d’accord pour établir un suivi individualisé, sauf si celui-ci repose sur une démarche volontaire de la personne concernée. 

iii. La recherche d’un consentement réel

La CNIL a rappelé à plusieurs reprises que le consentement ne pouvait être libre que « si le traitement de données était strictement nécessaire à la fourniture du service demandé par la personne, ou si une alternative était effectivement offerte par le responsable du traitement à la personne concernée ». Cela implique dans le second cas que le citoyen, l’utilisateur ou le consommateur devrait pouvoir choisir entre recourir à un système avec reconnaissance faciale ou recourir à un autre système. 

C’est le cas dans le système automatisé de sas intelligents Parafe, les utilisateurs pouvant choisir de l’adopter ou de passer par le contrôle classique des frontières. Cette liberté devrait pouvoir s’exercer dans la durée et non pas seulement le temps que les personnes s’habituent à utiliser la reconnaissance faciale. Un retour en arrière devrait également être rendu possible. 

Cependant, comment peut-on être certain que le consentement de l’individu soit « réel » ? Celui qui donne son consentement ne peut-il pas être victime d’un manque d’information ou d’une « manipulation douce » (nudge) ? 

Les solutions alternatives proposées, comme par exemple pour le cas des sas intelligents dans les aéroports, ne sont-elles pas déséquilibrées dès lors que la solution basée sur la reconnaissance faciale est beaucoup plus efficace que toute autre (vitesse, facilité d’usage, etc.) ? 

Au fil des années, le temps d’attente au passage des postes frontières a eu tendance à s’accroître en raison du durcissement des contrôles effectués par les autorités et d’effectifs qui n’ont pas évolué. Comment peut-on croire que le « progrès » généré par le système de reconnaissance faciale Parafe, en termes de rapidité (10-15 secondes contre 30-45 secondes pour l’ancien système d’empreintes digitales) et de sécurité, pourrait être remis en cause par la grande majorité des utilisateurs ? Il faut se rendre à l’évidence : les solutions de reconnaissance faciale, appliquées aux sas intelligents dans les aéroports ou à d’autres procédures de contrôles de sûreté, s’imposeront facilement et irrémédiablement dès lors qu’elles se traduisent incontestablement par des gains de performances et des réductions de coûts. 

Des mesures techniques de sécurisation des données ou des algorithmes

La technologie de reconnaissance faciale, on l’a vu, déploie ses ramifications dans l’ensemble de l’économie et de la société civile. Les forces de police à travers le monde mettent en œuvre des programmes utilisant des caméras destinées à scanner les foules lors des matchs dans les stades de football, lors des festivals, ou encore lors des manifestations dans les rues, avec pour objectif d’identifier des personnes soupçonnées d’une infraction. De leur côté, les géants du numérique entrent dans le jeu sans vergogne : Facebook compte sur la reconnaissance faciale pour étiqueter nos photos automatiquement ; Snapchat l’utilise pour superposer des animations amusantes sur notre visage ; Apple s’en sert pour déverrouiller nos téléphones portables via FaceID ; Amazon emploie un système d’analyses d’images, Rekognition, qui permet, entre autres, la reconnaissance faciale en temps réel parmi des dizaines de millions de visages. 

Les régulateurs à travers le monde reconnaissent l’importance du respect de la vie privée et exigent que les « informations personnelles identifiables » (PII) soient protégées, d’où par exemple le règlement général européen sur la protection des données (RGPD, 2016), la loi votée par l’État américain de l’Illinois sur la protection des renseignements biométriques (Biometric Information Privacy Act, ou BIPA, 2008), ou encore la loi américaine sur la portabilité et la responsabilité en assurance santé (Health Insurance Portability and Accountability Act, ou HIPAA, 1996). En vertu du RGPD, les images faciales sont des données personnelles sensibles qui sont soumises à des exigences et des restrictions. Les entreprises sont donc incitées à utiliser des mesures techniques pour respecter les principes du RGPD, y compris la confidentialité par défaut, le droit à l’oubli ou encore la protection de la vie privée dès la conception. 

A côté de l’arsenal réglementaire, des mesures techniques permettant de limiter les atteintes à la vie privée, aux données personnelles et aux libertés publiques, commencent à se mettre en place. 

Le risque de vol ou de détournement d’usage sera limité si les données biométriques sont conservées par la personne elle-même. C’est le cas dans le système Parafe puisque les données biométriques sont contenues dans la puce intégrée au passeport biométrique, ce qui permet de limiter les risques de vol de données.

En outre, plus brève sera la durée de conservation des données, moins important sera le risque de vol ou de détournement d’usage : dans le système Parafe, les images recueillies sont effacées dès la comparaison avec l’image numérisée et stockée dans le passeport. 

Il faudra aussi procéder à la détection systématique des biais dans les banques de données et dans les algorithmes en cas d’apprentissage machine et corriger ceux-ci régulièrement de sorte à prévenir les traitements discriminatoires indus.

Il existe des possibilités de limiter les risques en matière de cyber sécurité : 

– l’utilisation d’ordinateurs dédiés accessibles uniquement dans des locaux sécurisés (badge obligatoire etc.) ;
– des réseaux vidéo cloisonnés (par VLAN etc.) ; 
– l’installation d’antivirus et autres protections sur les ordinateurs ; 
– des postes de travail dédiés, connectés à des réseaux sécurisés ; 
– le recours à du personnel dédié et formé ; 
– le strict contrôle des prestataires accédant aux données ; 
– la traçabilité et la journalisation des données ;
– l’archivage et la maintenance effectués en interne. 

Nous n’en sommes qu’au début de l’innovation dans les domaines de la sécurité et de la cyber sécurité concernant les algorithmes de reconnaissance faciale et les systèmes d’intelligence artificielle en général. Dans un délai rapproché, les entreprises devront non seulement respecter scrupuleusement les législations, plus ou moins sévères selon les pays et sans doute évolutives, mais également développer un arsenal de protections spécifiques combinant des mesures techniques, des mesures organisationnelles et des mesures de gestion. 

Reconnaissance faciale et vie démocratique

Le lancement de débats nationaux et européens

Un consensus semble exister, au moins en Europe, sur le point que les questionnements relatifs à l’analyse des visages, en particulier par l’utilisation de l’apprentissage profond, ne doivent pas rester uniquement dans les mains des ingénieurs et des entreprises. L’IA confère des pouvoirs inaccessibles jusque-là qui justifient que la reconnaissance faciale, porteuse de risques de surveillances massives, fasse l’objet d’un débat ouvert, inclusif, participatif. 

La Commission Européenne favorable à un débat européen

La Commission européenne a lancé le 19 février 2020 une consultation qui porte notamment sur les circonstances spécifiques permettant de justifier le recours à la reconnaissance faciale pour identifier les personnes dans des lieux publics ainsi que sur les garanties communes à mettre en place. Cette consultation prendra fin le 31 mai 2020.

La CNIL favorable à un débat national

La CNIL souhaite apporter sa contribution au débat sur la reconnaissance faciale avec plusieurs objectifs[33] :

– clarifier l’objet du débat pour tous les citoyens en présentant ce qu’est la reconnaissance faciale techniquement et à quoi elle sert ; 
– mettre en lumière les risques technologiques, éthiques, sociétaux, liés à cette technologie, en montrant notamment que la reconnaissance faciale peut devenir un outil particulièrement omniprésent et intrusif et que la violation de données ou tout mésusage peut engendrer des risques importants (blocage d’accès à un service, usurpation d’identité, etc.) ; l’évaluation des risques est donc indispensable pour déterminer ceux qui ne sont pas acceptables dans une société démocratique et ceux qui peuvent être assumés moyennant des garanties appropriées ; 
– rappeler les principes qui doivent encadrer les usages : placer le respect des personnes au cœur des dispositifs, par exemple en recueillant leur consentement et en leur garantissant le contrôle de leurs données ainsi que l’accès aux informations ; le respect de ces principes, conformes avec le RGPD, a déjà conduit la CNIL à admettre certains usages tout en encadrant leurs modalités pratiques (contrôles aux frontières dans les aéroports, contrôle de l’accès au carnaval de Nice) et d’en refuser d’autres (contrôle d’accès d’élèves dans des établissements scolaires[34]).

Le lancement d’un large débat public sur ce que peuvent être des circonstances exceptionnelles justifiant le recours à la biométrie sera très utile, mais à condition que ce débat ne soit pas limité à l’identification par reconnaissance faciale mais également destiné à réfléchir sur les questions liées à l’authentification et à la catégorisation par reconnaissance faciale. Il devra permettre à toutes les parties prenantes de la société civile de faire entendre leur voix. 

Des garanties démocratiques de contrepouvoir

Suite à ces débats démocratiques, il devrait être possible de lister les cas d’usage sans risques, les cas d’usage soumis à autorisation préalable et les cas d’usage interdits sauf circonstances exceptionnelles. 

Les cas d’usage soumis à autorisation préalable devront faire l’objet d’un examen par des comités éthiques indépendants au sein des États membres, composés des parties prenantes et présidés par exemple par des hauts magistrats du siège, ces comités travaillant en réseau entre eux. Ils pourront s’appuyer pour effectuer leur analyse sur les sept principes édictés par la Commission européenne en 2018 : 

– facteur humain et contrôle humain : les systèmes d’IA devraient être les vecteurs de sociétés équitables en se mettant au service de l’humain et des droits fondamentaux, sans restreindre ou dévoyer l’autonomie humaine ;
– robustesse et sécurité : une IA digne de confiance nécessite des algorithmes suffisamment sûrs, fiables et robustes pour gérer les erreurs ou les incohérences dans toutes les phases du cycle de vie des systèmes d’IA ;
– respect de la vie privée et gouvernance des données : il faut que les citoyens aient la maîtrise totale de leurs données personnelles et que les données les concernant ne soient pas utilisées contre eux à des fins préjudiciables ou discriminatoires ;
– transparence : la traçabilité des systèmes d’IA doit être assurée ;
– diversité, non-discrimination et équité : les systèmes d’IA devraient prendre en compte tout l’éventail des capacités, aptitudes et besoins humains, et leur accessibilité devrait être garantie ;
– bien-être sociétal et environnemental : les systèmes d’IA devraient être utilisés pour soutenir des évolutions sociales positives et renforcer la durabilité et la responsabilité écologique ;
– responsabilisation : il convient de mettre en place des mécanismes pour garantir la responsabilité à l’égard des systèmes d’IA et de leurs résultats, et de les soumettre à une obligation de rendre des comptes.

Les cas d’usage interdits ne pourront être développés que pour une période limitée dans le temps en raison de circonstances exceptionnelles d’intérêt général, de sécurité ou de santé publique qui devront être votées par les parlements, respecter le contenu essentiel des droits et libertés de la convention européenne des droits de l’homme, être nécessaires, proportionnelles et soumises au contrôle d’une autorité judiciaire. 

Des auditeurs publics devraient être dépêchés pour vérifier que les cas d’usage ne sont pas détournés et que les décisions prises dans le cadre des comités éthiques sont respectées. 

CONCLUSION

La technologie de reconnaissance faciale est entrée dans nos sociétés de façon assez subversive, sans réel contrôle démocratique, sans débats ouverts et préalables qui puissent faire circuler, au-delà du microcosme des parties prenantes bien informées, le savoir essentiel du point de vue du respect des droits fondamentaux de la personne. Elle s’est imposée en quelques années à la confluence des avancées technologiques dans le domaine de l’intelligence artificielle et de l’évolution rapide des besoins dans le vaste espace des domaines d’intérêt général (sûreté, mobilité et transports, santé, etc.). 

Il ne servirait à rien de feindre d’ignorer que, comme le montre l’histoire, lorsqu’une technologie devient disponible, elle finit par être utilisée. Toutefois, cela ne signifie pas que son utilisation doive être laissée au bon vouloir de n’importe qui, pour n’importe quel usage, et dans n’importe quelles conditions. 

Dans les pays démocratiques, un consensus se dessine en faveur de phases d’expérimentation dans divers cas d’usage, limitées dans le temps et dans leur champ d’application, afin d’éclairer des débats publics et de guider les prises de décision. 

En l’absence de telles expérimentations, l’on se retrouve le plus souvent dans des situations où l’utilisation de la reconnaissance faciale reste interdite par la loi alors même que des collectivités locales accordent des exceptions de plus en plus nombreuses en délivrant des autorisations à titre expérimental. 

Cet article a indiqué que nos sociétés se trouvaient confrontées à un triple défi : un défi d’innovation technologique et industrielle, un défi d’appropriation citoyenne et un défi de régulation juridique. Ces trois défis doivent être considérés en même temps sans que l’un d’eux ignore les deux autres ou en minimise l’importance. Par rapport à l’enjeu si important du respect de la vie privée, les stratégies technologiques des pays d’Asie au moment de l’éclatement de l’épidémie du coronavirus ont été dénoncées en Europe, moins aux États-Unis, en raison de leur incompatibilité avec nos « valeurs » et nos législations. 

Pour autant, la pandémie en cours ainsi que d’autres enjeux planétaires – le changement climatique, la désertification (un tiers du total des terres émergées), les mouvements migratoires, les changements démographiques, les pénuries de ressources (eau, sable, denrées alimentaires, etc.) – convergent pour nous amener à penser que nous assistons à un changement de civilisation. Nous assistons à une « accélération de l’histoire » qui nous force à revoir nos concepts, préjugés, stratégies, sous peine de mettre l’humanité en danger. Les libertés individuelles, et les droits fondamentaux qui les soutiennent, sont évidemment un héritage de l’histoire que l’humanité doit préserver. Mais ne serait-il pas temps de réaliser aussi à quel point la personne humaine, être singulier, constitue également un nœud de relations avec les autres et la planète, ce qui en fait le détenteur d’une part de responsabilité vis-à-vis non seulement des générations d’humains qui l’entourent mais aussi de l’espèce humaine, et par conséquent vis-à-vis des générations futures ? 

Il nous faut réfléchir dès maintenant aux grandes révolutions de demain, à commencer bien sûr par l’intelligence artificielle et son sous-domaine, la reconnaissance faciale, mais aussi les biotechnologies, la télémédecine, l’économie circulaire, tout comme nos prédécesseurs se préparèrent en leur temps à la machine à vapeur, au pétrole , à l’électricité, à l’informatique ou encore au téléphone. Nous devons faire face aux défis que nous lance l’ère numérique en construisant une éthique qui prenne en compte un horizon lointain. C’est-à-dire que nous devons travailler dans l’intérêt des générations futures – notre nouvelle boussole – en embrassant l’apport des nouvelles technologies, y compris la reconnaissance faciale dont le potentiel est considérable pour le bien-être de l’humanité, tout en intégrant à nos initiatives et à nos actions un cadre éthique, défini collectivement sur la base d’une information complète, exacte, analysée et commentée de façon ouverte et participative, qui permette à l’humain de conserver le contrôle des nouveaux systèmes numériques, à la fois par une conception des technologies intégrant en amont les exigences en matière de droits fondamentaux et par l’élaboration d’un cadre réglementaire approprié, forcément adaptable au fur et à mesure des grandes évolutions des sociétés. 

REFERENCES

[1]       Les données biométriques sont des données à caractère personnel résultant d’un traitement technique spécifique relatives aux caractéristiques physiques, physiologiques ou comportementales d’une personne physique, qui permettent ou confirment son identification unique, telles que les images faciales (définition du Règlement Général sur la Protection des Données personnelles (RGPD) 2016/679 du 27 mars 2016).

[2]       Bartkiene, E.; Steibliene, V.: Adomaitiene, V.; Juodeikiene, G.; Cernauskas, D.; Lele, V.; Klupsaite, D.; Zadeike, D.; Jarutiene, L. & Guiné, R.P.F. (2019), Factors Affecting Consumer Food Preferences: Food Taste and Depression-Based Evoked Emotional Expressions with the Use of Face Reading Technology, BioMed Research International, 4, 1-10. https://doi.org/10.1155/2019/2097415

[3]       NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software, 19/12/2019, https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software

[4]       Avis de la CNIL en date du 29 octobre 2019 sur une expérimentation de reconnaissance faciale dans deux lycées de la région PACA, https://www.cnil.fr/fr/experimentation-de-la-reconnaissance-faciale-dans-deux-lycees-la-cnil-precise-sa-position

[5]       « Facial recognition technology: fundamental rights considerations in the context of law enforcement », https://fra.europa.eu/en/publication/2019/facial-recognition

[6]       https://fr.news.yahoo.com/russie-collectif-d-artistes-développe-165023862.html

[7]       Au sens du RGPD, le profilage consiste en toute forme de traitement automatisé de données à caractère personnel consistant à utiliser ces données à caractère personnel pour évaluer certains aspects personnels relatifs à une personne physique, notamment pour analyser ou prédire des éléments concernant le rendement au travail, la situation économique, la santé, les préférences personnelles, les intérêts, la fiabilité, le comportement, la localisation ou les déplacements de cette personne physique.

[8]       Peut-on tromper la reconnaissance faciale? Les Echos 23 Mars 2020.

[9]       Convention Européenne des droits de l’homme et libertés fondamentales adoptée le 4 novembre 1950 et entrée en vigueur le 3 septembre 1953.

[10]     Charte des Droits fondamentaux de l’Union Européenne du 7 décembre 2000.

[11]     Nous n’entrerons pas dans le débat de savoir si certains des droits fondamentaux ne peuvent pas faire l’objet de limitations comme le laisse entendre l’article 15 alinéa 2 de la convention européenne des droits de l’homme selon lequel des limitations légales seraient possibles pour certains droits mais pas pour d’autres car l’article 52 de la charte des droits fondamentaux de l’Union Européenne ne procède à aucune distinction entre les droits et prévoit globalement la possibilité de les limiter par la loi. 

[12]     Article 9 du RGPD. Les États membres peuvent maintenir ou introduire des conditions supplémentaires, y compris des limitations, en ce qui concerne le traitement des données génétiques, des données biométriques ou des données concernant la santé.

[13]     Les limites légales doivent respecter le contenu essentiel des droits et libertés fondamentaux, être nécessaires, proportionnelles, et répondre à des objectifs d’intérêt général reconnus par l’UE ou au besoin de protection des droits et libertés d’autrui.

[14]     Article 35 du RGPD

[15]     Article 36 du RGPD

[16]     Article 58 du RGPD

[17]     Article 22 du RGPD

[18]     Article 22 et 23 du RGPD

[19]     Article 5 du RGPD

[20]     Article 12 et suivants du RGPD

[21]     Directive (UE) 2016/680 du Parlement européen et du Conseil du 27 avril 2016 relative à la protection des personnes physiques à l’égard du traitement des données à caractère personnel par les autorités compétentes à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière ou d’exécution de sanctions pénales, et à la libre circulation de ces données, et abrogeant la décision-cadre 2008/977/JAI du Conseil.

[22]     Article 10 de la directive 2016/680 du parlement européen et du conseil du 27 avril 2016

[23]     BAICHÈRE (Didier), député des Yvelines, et SÉJOURNÉ (Stéphane), député européen, Pour une reconnaissance faciale éthique, Le Monde, 24/10/2019, https://www.lemonde.fr/idees/article/2019/10/24/pour-une-reconnaissance-faciale-ethique_6016693_3232.html

[24]     Bruxelles, le 19/02/2020, COM(2020) 65 final, Livre Blanc « Intelligence artificielle – Une approche européenne axée sur l’excellence et la confiance ». 

[25]     Selon la Commission européenne, une application d’IA devrait généralement être considérée comme étant à haut risque en fonction de ce qui est en jeu, en examinant si des risques importants sont associés à la fois au secteur et à l’utilisation envisagée.

[26]     Article 32 de la loi no 78-17 du 6 janvier 1978 relative à l’informatique, aux fichiers et aux libertés : « Sont autorisés par décret en Conseil d’État, pris après avis motivé et publié de la Commission nationale de l’informatique et des libertés, les traitements de données à caractère personnel mis en œuvre pour le compte de l’État, agissant dans l’exercice de ses prérogatives de puissance publique, qui portent sur des données génétiques ou sur des données biométriques nécessaires à l’authentification ou au contrôle de l’identité des personnes ».

[27]     Les traitements conformes aux règlements types mentionnés au c du 2° du I de l’article 8 de la loi informatique et libertés mis en œuvre par les employeurs ou les administrations portent sur des données biométriques strictement nécessaires au contrôle de l’accès aux lieux de travail ainsi qu’aux appareils et aux applications utilisés dans le cadre des missions confiées aux salariés, aux agents, aux stagiaires ou aux prestataires. 

[28]     Article 8 b de la loi no 78-17 du 6 janvier 1978 relative à l’informatique, aux fichiers et aux libertés.

[29]     Délibération n° 2018-327 du 11 octobre 2018 portant adoption de la liste des types d’opérations de traitement pour lesquelles une analyse d’impact relative à la protection des données est requise.

[30]     Délibération n° 2018-326 du 11 octobre 2018 portant adoption de lignes directrices sur les analyses d’impact relatives à la protection des données (AIPD) prévues par le règlement général sur la protection des données (RGPD). 

[31]     Délibération n° 2019-001 du 10 janvier 2019 portant règlement type relatif à la mise en œuvre de dispositifs ayant pour finalité le contrôle d’accès par authentification biométrique aux locaux, aux appareils et aux applications informatiques sur les lieux de travail.

[32]     Au moment du déclenchement de l’épidémie, plusieurs pays asiatiques ont mis en place des applications mobiles pour suivre la propagation du Covid-19 ou limiter les déplacements des personnes contaminées. En Chine, Ant Financial, filiale d’Alibaba, a lancé le 11 février 2020 l’application Alipay Health Code : à partir de l’historique des déplacements de l’utilisateur et d’un questionnaire sur son état de santé, un algorithme évalue le risque qu’il ait été en contact avec d’autres porteurs du virus. Le résultat s’affiche sous la forme d’un QR Code qui peut avoir trois couleurs : vert, le risque est faible, et l’utilisateur peut se déplacer ; jaune, la personne doit rester confinée pendant sept jours ; rouge, elle doit observer quatorze jours de quarantaine. Dans les régions les plus touchées, le code est contrôlé à tout moment, dans la rue ou dans les transports. En Corée du Sud, le ministère de l’Intérieur a mis en place début mars une application de contrôle des personnes placées en quarantaine. Elle permet aux autorités d’être tenues au courant de l’évolution de leur état de santé, mais aussi de s’assurer qu’elles respectent le confinement. A Singapour, l’application TraceTogether utilise les antennes Bluetooth des smartphones au lieu du GPS pour enregistrer toute rencontre entre deux personnes dans un rayon d’environ 2 mètres. Hors d’Asie, Israël et l’Iran ont annoncé l’adoption de technologies similaires. Quant à la Pologne, elle oblige déjà, via une application, les personnes en quarantaine à envoyer des selfies géolocalisés. Ces technologies se sont révélées assez efficaces mais elles posent dans les démocraties occidentales de réels problèmes en matière de libertés publiques. Une analyse par le New York Times du code source d’Alipay Health Code a permis de montrer que le programme envoyait des données vers des serveurs de la police chinoise. En Corée, où l’application de traçage se double d’alertes envoyées à la population par SMS, plusieurs personnes ont pu être publiquement identifiées et, sans surprise, stigmatisées. 

[33]     CNIL, « Reconnaissance faciale : pour un débat à la hauteur des enjeux », 15/11/2019, https://www.cnil.fr/fr/reconnaissance-faciale-pour-un-debat-la-hauteur-des-enjeux

[34]     CNIL, « Expérimentation de la reconnaissance faciale dans deux lycées : la CNIL précise sa position », 29/10/2019, https://www.cnil.fr/fr/experimentation-de-la-reconnaissance-faciale-dans-deux-lycees-la-cnil-precise-sa-position

Les enjeux éthiques à l’ère du numérique : le cas des applications mobiles de suivi des contacts

Big Tech, Covid-19

Geneviève FIEUX-CASTAGNET et Gérald SANTUCCI

Octobre 2020

N.B. Les opinions exprimées dans cet article visent à susciter un débat ; elles n’engagent que leurs auteurs et ne reflètent pas nécessairement celles des organisations auxquelles ils appartiennent. 

Données personnelles, vie privée, éthique : de quoi parlons-nous ?

« L’éthique, à la différence de la loi, est avant tout une affaire interpersonnelle ; elle ne saurait faire l’objet de règles générales sans prendre le chemin de la tartufferie. En face de toute interdiction, posons-nous une seule question : à qui telle action nuit-elle directement ? A personne d’autre qu’à son auteur ? Alors, laissons faire, laissons vivre. Au besoin, indignons-nous : il est d’autant plus légitime de condamner moralement ce que l’on aura eu le courage de tolérer légalement. » 
Gaspard Koenig, philosophe et président du think tank GenerationLibre, Les Échos, 16/09/2020

« La force de la morale, c’est sa cohérence interne. C’est aussi sa faiblesse : à cause de sa systémisation, il y a le risque de mettre le réel entre parenthèses. Mais le risque de l’éthique n’est pas moindre : si elle n’est qu’une discussion indéfiniment ouverte sur le bien et le mal, elle finit par dissoudre ces notions dans le bavardage et de se faire, au final, la caisse d’enregistrement du pathos et de l’opinion. La morale a la dureté de la loi, mais l’éthique a la mollesse d’un dialogue infini. De nos jours, la morale est très connotée. On entend « moralisateur » derrière le mot « morale ». Un discours qui juge… »
Martin Steffens, « Éthique et morale, de quoi parle-t-on ? », Le Figaro, 28/09/2018

Un peu d’histoire…

Jamais auparavant dans l’histoire de l’humanité les questions de l’identification et de la surveillance des individus ne s’est posée avec autant d’acuité qu’aujourd’hui. 

L’Europe a donné le la en 1995 avec la directive sur la protection des données, complétée en 2002 par une autre directive concernant le traitement des données à caractère personnel et la protection de la vie privée dans le secteur des communications électroniques (e-privacy). 

Pour être plus complet, il convient de rappeler que c’est l’Allemagne qui a été le premier pays à porter son attention sur le respect de la vie privée (privacy). En fait, c’est la région de la Hesse qui, en 1970, a mis en place la première loi sur la protection des données[1], suivie bientôt par les autres Länder puis par le niveau fédéral[2]. En 1983, la cour constitutionnelle de l’Allemagne fédérale a établi que l’individu possède un droit constitutionnel à l’auto-détermination en matière d’information. Cette décision interdit le traitement des données personnelles sauf en cas d’autorisation statutaire spécifique ou de consentement de la personne concernée. En 1990, une nouvelle loi fédérale sur la protection des données a incorporé ces exigences constitutionnelles. 

Avant le milieu du dix-huitième siècle, la question de la protection des données personnelles ne s’est quasiment jamais posée. Puis durant deux siècles, en raison de l’industrialisation et des cartes perforées, elle est devenue progressivement un thème de réflexion, quoique fort limité. Après 1945, ce thème s’est imposé dans le débat public avec l’arrivée des grands ordinateurs (à partir de 1945), des miniordinateurs (1975), des ordinateurs personnels (années 1980) puis des réseaux informatiques (années 1990). Cette accélération des changements dus aux technologies numériques s’est poursuivie avec l’augmentation continue de la puissance des systèmes informatiques, l’accroissement des largeurs de bande de transmission et des capacités de stockage des données, la réduction permanente de la taille des composants jusqu’à leur disparition du champ de vision, l’émergence de nouveaux concepts (biométrie, reconnaissance de la parole, géolocalisation, intelligence artificielle, blockchain, etc.) et l’apparition du traitement des données omniprésent (informatique diffuse, réseaux ubiquitaires, internet des objets, systèmes cyber-physiques, etc.). 

Le « droit au respect de la vie privée » a été posé pour la première fois aux États-Unis par les juristes de Boston Samuel WARREN et Louis BRANDEIS[3] :

« Le fait que chacun doit avoir une protection complète tant de sa personne que de ses biens est un principe aussi vieux que la loi commune ; mais il a semblé nécessaire de le redéfinir périodiquement pour renouveler sa nature exacte et l’étendue d’une telle protection. Les changements politiques, sociaux et économiques entraînent la reconnaissance de nouveaux droits et la loi commune, dans son éternelle jeunesse, s’étoffe pour satisfaire les nouvelles demandes de la société (…) Plus tard s’est imposée une reconnaissance de la nature spirituelle de l’homme, de ses sentiments et de son intelligence. Peu à peu le champ de ces droits juridiques s’est étendu et aujourd’hui le droit à la vie signifie le droit à la jouissance de la vie, le droit d’être laissé tranquille. » 

Ce « droit d’être laissé tranquille » constitue la première brèche juridique dans le vaste débat ultérieur sur le respect de la vie privée. Il ne s’agit à l’époque que d’un droit essentiellement physique, c’est-à-dire un droit à maintenir une certaine distance par rapport aux autres. Il s’inscrit dans l’idée américaine de la « poursuite du bonheur » qui figure dans la Déclaration d’indépendance du 4 juillet 1776 : « Nous tenons pour évidentes par elles-mêmes les vérités suivantes : tous les hommes sont créés égaux ; ils sont dotés par le Créateur de certains droits inaliénables ; parmi ces droits se trouvent la vie, la liberté et la recherche du bonheur. Les gouvernements sont établis parmi les hommes pour garantir ces droits, et leur juste pouvoir émane du consentement des gouvernés (…) ». L’avènement de l’informatique et l’explosion du numérique qui s’ensuivit ont évidemment bouleversé la conception du respect de la vie privée, provoquant des débats aussi passionnants qu’interminables et jusqu’à aujourd’hui inaboutis sur les données personnelles, la vie privée et l’éthique. 

AnnéePaysTitre
1972Allemagne (Région de la Hesse)Loi sur la protection des données
1974États-UnisLoi fédérale sur la protection des renseignements personnels
1977Allemagne fédéraleLoi sur la protection des données
1980OCDELignes directrices sur la protection de la vie privée
1981Conseil de l’EuropeConvention 108 pour la protection des données à caractère personnel 
1995Union EuropéenneDirective 95/46/CE sur la protection des données
2000Union EuropéenneProtection des données à caractère personnel dans la Charte des droits fondamentaux de l’Union Européenne (Article 8)
2002Union EuropéenneDirective sur la vie privée et les communications électroniques (e-privacy)
2005 (actualisation en 2015)APEC (Coopération économique Asie-Pacifique)Cadre de protection de la vie privée
2016Union EuropéenneRèglement général (UE) 2016/679 sur la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE 
Evolution à travers le monde des règles de protection des données

Au tournant du 21ème siècle de nouveaux enjeux liés aux technologies numériques et à la « transformation » qu’elles entraînent sont apparus qui ont posé d’une façon nouvelle les questions de la protection des données personnelles, du respect de la vie privée et aussi de l’éthique. 

Parmi ces technologies figurent en tête l’internet des objets, l’intelligence ambiante, la RFID (identification par radiofréquence) et la NFC (communication en champ proche), l’informatique affective, l’informatique en nuage, la bioélectronique, la neuroélectronique, l’intelligence artificielle, la symbiose homme-machine. 

Prenons quelques exemples. 

L’Internet des Objets (IdO), un concept ayant vu le jour en 1999, renvoie à l’idée d’objets qui « bavardent » entre eux et avec les humains. Les systèmes numériques se déploient partout (notion d’ubiquité) et ils sont invisibles en raison de la taille de plus en plus petite des microprocesseurs, des marqueurs RFID (identification par radiofréquence) et des autres dispositifs intégrés aux objets de tous les jours. Les menaces pour l’individu sont principalement :

  • la somme des petites traces d’information qu’il laisse derrière lui du fait de ses activités quotidiennes (data shadows),
  • le profilage comportemental, et 
  • la manipulation. 

L’internet des objets ne désigne pas seulement le réseau informatique qui connecte des objets, il renvoie également au concept d’objet qui, comme l’a montré l’auteur de science-fiction Bruce Sterling[4], s’est métamorphosé au fil du temps. D’abord un artefact (i.e. un outil rudimentaire lié aux civilisations de chasse et d’agriculture), puis une machine (i.e. un objet complexe reposant sur une source d’énergie artificielle) et enfin un produit (i.e. un objet manufacturé et reproduit en un grand nombre d’exemplaires identiques), l’objet dans l’ère numérique peut être aussi un gizmo (i.e. un objet complexe, comme par exemple un logiciel, qu’il est plus difficile de simplifier que d’augmenter, qui requiert un apprentissage de la part de ses utilisateurs et qui s’appuie sur d’autres objets pour exister) ou un spime (i.e. un objet traçable, identifiable, localisable, muni de dispositifs numériques, par exemple des puces RFID, et existant en réseau). Si l’on se projette plus loin dans un futur indéterminé (autour de 2060, selon Sterling), avec notamment la convergence Nano-Bio-Info-Cogno (NBIC), l’objet deviendrait un biot, c’est-à-dire une entité qui serait à la fois un objet et un humain !

Les nanotechnologies opèrent à une échelle comprise entre 1 et 100 nanomètres (nm) et permettent de créer et utiliser des structures, composants et systèmes qui, du fait de leur petite taille, présentent des propriétés et fonctionnalités nouvelles que l’on cherche à transposer à l’échelle macroscopique afin d’en tirer parti. Ces technologies sont invisibles à l’œil nu, même en s’aidant d’une loupe, et elles permettent de capter des informations comme la température, la tension, la pression. 

Ces avancées technologiques renvoient à l’image de la « poussière numérique », c’est-à-dire des particules à l’échelle moléculaire capables de tracer et suivre les individus, sans qu’ils en aient conscience, grâce à diverses mesures indépendantes dont les données sont transmises et reçues à travers les réseaux numériques. 

Plus récemment, l’intelligence artificielle et la 5G sont venues compléter les technologies numériques déjà en déploiement. 

Les données à caractère personnel

La notion de « données à caractère personnel » n’est pas aussi facile à caractériser qu’on pourrait le croire. Dans la directive 95/46/CE, sa définition est ainsi libellée : 

« toute information concernant une personne physique identifiée ou identifiable (personne concernée) ; est réputée identifiable une personne qui peut être identifiée, directement ou indirectement, notamment par référence à un numéro d’identification ou à un ou plusieurs éléments spécifiques, propres à son identité́ physique, physiologique, psychique, économique, culturelle ou sociale ». 

Le règlement général 2016/679 sur la protection des données a mis à jour cette définition en introduisant la notion d’« identifiant » qui complète la notion précédente de « numéro d’identification » et en ajoutant l’identité « génétique » aux éléments spécifiques susceptibles de permettre d’identifier une personne physique : 

« toute information se rapportant à une personne physique identifiée ou identifiable (ci-après dénommée « personne concernée »); est réputée être une « personne physique identifiable » une personne physique qui peut être identifiée, directement ou indirectement, notamment par référence à un identifiant, tel qu’un nom, un numéro d’identification, des données de localisation, un identifiant en ligne, ou à un ou plusieurs éléments spécifiques propres à son identité́ physique, physiologique, génétique, psychique, économique, culturelle ou sociale. »

Dans un avis de 2007, le groupe de travail « Article 29 » sur la protection des données avait passé en revue et analysé les éléments constitutifs de cette définition[5] :

  • « toute information »
  • « concernant »
  • « une personne physique »
  • « identifiée ou identifiable » 

Cet avis déjà ancien est toujours d’actualité pour préciser la définition de « données personnelles » dans le règlement de 2016. 

Le constat général est que l’intention du législateur européen était d’adopter une notion large de données à caractère personnel afin d’assurer la protection des libertés et des droits fondamentaux des personnes physiques, notamment de la vie privée, à l’égard du traitement des données à caractère personnel. Un consensus s’est dégagé pour dire que le champ d’application des règles de protection des données ne devait pas être trop étendu mais en même temps qu’il fallait éviter de restreindre indûment l’interprétation du concept de données à caractère personnel. Les autorités de protection des données, telle la CNIL en France, « jouent un rôle essentiel pour parvenir à un équilibre approprié dans le champ d’application de la directive ». 

Le respect de la vie privée

Si la notion de respect de la vie privée – les Anglo-saxons emploient le terme privacy – est ancienne[6], elle n’a pas fait l’objet jusqu’ici d’un large consensus sur son interprétation. Le respect de la vie privée est reconnu comme un droit humain fondamental dans la Déclaration universelle des droits de l’homme (article 12), le Pacte international relatif aux droits civils et politiques (articles 14 et 17) et dans beaucoup d’autres conventions internationales et régionales concernant les droits humains. Il conforte notamment les valeurs de dignité humaine, de liberté d’association et de liberté de parole. La nomination par le Conseil des droits de l’homme en juillet 2015 du premier Rapporteur spécial sur le droit à la vie privée[7] reflète l’importance croissante de ce droit dans les politiques planétaires concernant le numérique.

La sophistication croissante des technologies de l’information et des communications, avec notamment la possibilité offerte de collecter, analyser et diffuser des données à caractère personnel, s’est traduite par un besoin de législation dans de nombreux pays. Au cours des trente dernières années, le niveau des informations générées par chaque individu a atteint des sommets en raison des avancées en matière de santé, télécommunications, systèmes de transports et transferts financiers. Les ordinateurs, reliés à des réseaux à large bande, génèrent des dossiers sur chaque personne physique sans qu’il soit nécessaire de disposer d’un système informatique central unique. 

Il n’est pas aisé de distinguer les notions de « respect de la vie privée » et de « protection des données à caractère personnel ». Selon les situations, l’une peut être perçue comme englobant l’autre. Les juristes s’accordent toutefois pour dire que la « protection des données » renvoie au mécanisme juridique destiné à assurer le « respect de la vie privée ». Le terme anglo-saxon privacy désigne le droit de tout citoyen de contrôler ses informations personnelles et de décider de l’usage qu’il en fera (c’est-à-dire de les révéler ou pas). Les spécialistes de ces questions considèrent le plus souvent que le terme privacy peut se rapporter aux éléments suivants[8] :

  1. les données personnelles
  2. les communications personnelles
  3. la personne physique
  4. le comportement de la personne
  5. la localisation et le lieu
  6. la pensée et les sentiments
  7. l’association et les groupes

Aux États-Unis, le concept de privacy prévaut tandis que dans l’Union Européenne c’est celui de « protection des données à caractère personnel » qui s’impose. Il convient de noter que le règlement général sur la protection des données ne fournit pas de définition de la « vie privée », pas plus que l’ancienne directive de 1995. Ainsi, par exemple, aux États-Unis on parlera d’analyse d’impact sur la vie privée (Privacy Impact Assessment – PIA – selon la traduction anglaise) tandis qu’en Europe on préfèrera utiliser la locution analyse d’impact sur la protection des données (Data Protection Impact Assessment – DPAI) qui est l’une des notions les plus importantes du règlement général européen sur la protection des données. Les conceptions américaine et européenne s’opposent en ce que l’Europe privilégie un cadre législatif global tandis que les États-Unis développent des règlements concernant le respect de la vie privée pour chaque secteur de l’économie, comme par exemple pour les services financiers (le Gramm-Leach-Bliley Act), la vie privée des enfants sur Internet (le Children’s Online Privacy Protection Act) ou encore le domaine médical (le Health Insurance Portability and Accountability Act). 

Une autre différence importante entre les deux régions du monde porte sur l’autorité chargée de faire appliquer les règles : en Europe il s’agit des pouvoirs publics tandis qu’aux États-Unis ce sont les entreprises et les individus qui décident eux-mêmes, ce qui place ces derniers dans une position de faiblesse puisque la plupart du temps ils sont peu ou mal informés des conséquences des options offertes par le secteur privé en matière de respect de la vie privée. En 2016, la Commission européenne et les États-Unis s’étaient accordés sur un cadre juridique pour les transferts transatlantiques de données : le « bouclier vie privée UE-États-Unis » visant à protéger les droits fondamentaux des citoyens de l’Union lorsque leurs données sont transférées vers les États-Unis et à apporter une sécurité juridique aux entreprises[9]. Mais le 16 juillet 2020, la Cour de Justice de l’Union Européenne (CJUE) jugea que ce cadre ne protégeait pas suffisamment les données européennes et risquait donc d’entraîner des violations des droits des citoyens, conformément au règlement général sur la protection des données (RGPD). La CJUE estima que la législation américaine sur l’accès aux données personnelles transférées depuis l’UE et l’utilisation de celles-ci par les autorités publiques du pays « n’est pas limitée de manière à satisfaire des exigences essentiellement équivalentes à celles requises par le droit communautaire ». 

L’arrêt de la CJUE est évidemment une mauvaise nouvelle pour les entreprises, qui préfèrent toujours disposer de mécanismes fiables et stables pour envoyer des données de l’Union Européenne vers les États-Unis. Il crée un obstacle au commerce électronique entre l’Union Européenne et les États-Unis, à un moment où les relations commerciales mondiales sont de plus en plus tendues. En revanche, il constitue une victoire pour les partisans de la protection de la vie privée qui avaient fait valoir à juste titre que le bouclier de protection ne couvrait pas suffisamment les données européennes.

L’éthique

L’éthique a surgi dans le débat public et sur l’agenda politique des autorités publiques à travers le monde lorsque l’Internet des Objets et l’intelligence artificielle se sont déployés dans quasiment tous les recoins de l’économie et de la société. L’éthique soulève une question plus large que celle de protection des données personnelles ou celle de respect de la vie privée, même si elle englobe ces dernières. 

Valeurs et vie privée

Le mot n’est pas nouveau : le grec Aristote en a précisé les contours dans son « Éthique à Nicomaque »[10] avant que de nombreux auteurs, de Spinoza à Wittgenstein, n’apportent leur pierre à l’édifice. Si l’on laisse de côté l’univers aristotélicien et ses « vertus » (par exemple, le courage, la tempérance, la générosité, la grandeur d’âme, l’orgueil, l’ambition saine, la douceur, la véracité, l’humour, la gentillesse, la justesse), la conception d’un système éthique à l’âge des machines devrait être fondée sur des valeurs positives. Mais il est difficile de s’entendre sur ce qu’est la valeur ! Des philosophes comme Épicure et Jeremy Bentham ne reconnaissent qu’une seule valeur : le bonheur humain. Mais la plupart des autres philosophes et psychologues pensent qu’il existe un grand nombre de « valeurs intrinsèques » telles que la connaissance, la beauté, la santé, la vérité, le pouvoir ou encore l’harmonie, auxquelles il faudrait ajouter des « valeurs extrinsèques », c’est-à-dire instrumentales, qui soutiennent l’atteinte des valeurs intrinsèques. La plus importante de ces valeurs extrinsèques est naturellement le respect de la vie privée. 

Pour autant, comme l’ont montré Karl Popper, Martin Heidegger et d’autres philosophes et épistémologistes, la valeur n’existe pas « en soi » si l’homme n’agit pas sur elle. Ainsi, par exemple, pour les transhumanistes, les humains peuvent être perçus comme des systèmes biologiques sous-optimaux en comparaison des machines dotées d’intelligence artificielle ! Ils placent leur idéal dans des machines considérées comme supérieures par rapport aux humains, ce qui, n’en doutons pas, manipulé par certains esprits malins, pourrait avoir des conséquences mortifères pour les sociétés humaines.

En s’appuyant sur les travaux du psychologue Abraham Maslow, l’universitaire Sarah Spiekermann a regroupé les dix-huit valeurs intrinsèques du premier autour de sept seulement[11] : 

  • deux conditions préalables : le savoir (véritable opinion, compréhension), la liberté (indépendance, libre choix) ;
  • cinq besoins de base : les besoins physiologiques (santé et force, vie prospère, activité), les besoins de sûreté (paix, sûreté, sécurité), les besoins d’appartenance et d’amour (véritable amitié, coopération, amour), les besoins d’estime (pouvoir, accomplissement, respect de soi-même, réputation, honneur, reconnaissance sociale), le besoin de réalisation de soi. 

Le respect de la vie privée est une valeur extrinsèque qui joue un rôle essentiel dans toutes ces valeurs intrinsèques. Le lien entre « valeurs » et « respect de la vie privée » est ainsi établi. C’est pourquoi il importe d’assurer la protection des valeurs mentionnées ci-avant dans les environnements informatiques actuels et futurs, notamment en ce qui concerne l’intelligence artificielle. 

Daniel Solove, un professeur de droit américain à la George Washington University Law School, a proposé en 2006 une intéressante taxonomie du respect de la vie privée en montrant que la plupart des problèmes provenaient des informations générées sur les personnes. 

La collecte d’informations soulève deux risques par rapport au respect de la vie privée :

  • la surveillance, qui consiste à épier, écouter ou enregistrer de façon clandestine les diverses activités d’une personne ; 
  • l’interrogation, qui consiste à exercer des pressions sur une personne pleinement consciente afin de l’amener à divulguer des informations sur elle. 

Le traitement des informations soulève d’autres risques : 

  • l’agrégation de divers éléments d’information au sujet d’une personne ; 
  • l’identification d’une personne à partir de diverses informations reliées à elle ;
  • l’insécurité, qui résulte de la négligence en ce qui concerne la protection d’informations stockées, ce qui peut conduire à de possibles fuites ou à des accès non autorisés ;
  • l’usage secondaire d’informations stockées qui, sans le consentement d’une personne, sont détournées de leur objet initial. 
La figure de l’homme du 21ème siècle entre « la machine intelligente » et « l’homme augmenté »

En se référant plus ou moins explicitement à ces valeurs – intrinsèques et extrinsèques – les débats sur l’éthique sont aujourd’hui étroitement liés à deux grandes révolutions qui se déploient parallèlement à une allure de plus en plus vive.

Premièrement, la machine intelligente, c’est-à-dire essentiellement les robots et les systèmes autonomes, auxquels il convient d’ajouter les objets connectés (ou encore l’Internet des objets). Elle est portée par une double révolution, celle de l’intelligence artificielle qui permet à l’homme de créer une « intelligence non-biologique » supérieure à l’intelligence humaine et celle des nanotechnologies qui lui permet de manipuler la matière aux niveaux moléculaire et atomique. Les machines du futur seront ainsi dotées de capacités sans précédent : elles pourront réunir les ressources bien au-delà de ce dont l’homme est capable ; elles possèderont des mémoires superpuissantes ; et elles pourront fonctionner vingt-quatre heures sur vingt-quatre, de façon connectée à travers le monde, en combinant les meilleures compétences sans jamais quitter le niveau de performances maximum. Se pose ici la question centrale du rapport de l’humain à la machine. De quelle façon l’humain pourrait-il garder la maîtrise de ce que fera la machine ? 

La réponse se trouve peut-être dans l’« humain augmenté », seconde grande révolution de notre époque. L’humain augmenté, c’est celui dont les différentes dimensions, notamment physiques et cognitives, se trouvent « améliorées » par les nouvelles technologies évoluant à la confluence des nanotechnologies, des biotechnologies, des technologies de l’information et des sciences cognitives (NBIC). L’idée n’est pas nouvelle, mais elle fut présentée de manière détaillée et cohérente en 2002 dans un rapport visionnaire de la National Science Foundation (NSF) et du département du Commerce (DOC) américains. L’homme augmenté serait le seul capable de concurrencer les capacités grandissantes des machines et d’une future intelligence artificielle générale. La convergence NBIC se trouve aujourd’hui enrichie par une autre révolution, celle de la génétique qui permet à l’homme de reprogrammer sa propre biologie. Ainsi, l’homme-machine, post-humain, ou encore trans-humain, est celui qui, en détenant les codes de sa propre fabrication, sera capable d’en modifier la structure, de la doter de superpouvoirs qui l’affranchissent des limites physiques, biologiques et cognitives auxquelles l’humanité demeure soumise jusqu’à présent. L’humain augmenté laisse entrevoir la réalisation du rêve d’une extrême longévité, d’une force, une résistance et une intelligence accrues, d’une liberté du corps retrouvée. L’esquisse d’une telle amélioration des performances a fait l’objet en France d’une forte reconnaissance dans les médias lorsqu’en 2019 un jeune tétraplégique réussit à contrôler son exosquelette grâce à des électrodes implantées dans son crâne[12]. Cette révolution comporte des promesses indéniables, mais elle soulève également des questions fondamentales pour « l’avenir du futur » de l’humain[13]. L’humain augmenté devra-t-il à un moment donné s’en remettre à d’autres acteurs afin que son « augmentation » soit activée, modifiée ou maintenue en état de fonctionnement ? Dans ce cas, ces acteurs pourront-ils prendre connaissance des données personnelles des individus, voire piloter ceux-ci à distance ? Quels risques y auraient-ils que les humains augmentés passent sous le contrôle de personnes malveillantes ? Quel pourrait être l’impact de cet humain augmenté sur la société elle-même, par exemple comment évolueront les relations humaines, en termes d’interactions affectives et de solidarités, et les relations sociales, en termes d’accès non discriminatoire au travail ? 

Se pose également la question de savoir comment s’exercera la cohabitation entre, d’une part, l’humain augmenté, doté de capacités extraordinaires mais aussi incité par la réglementation ou par des « manipulations douces » (nudge) à régler ses comportements sur des normes et des codes, et, d’autre part, les machines intelligentes, vouées peut-être bientôt à posséder leur propre « conscience ». Nous pourrions avoir d’un côté des sujets transformés en quasi-objets en raison de leur obligation de se conformer à des comportements jugés « normaux » et, de l’autre, des objets transformés en quasi-sujets grâce à des intelligences artificielles autonomes et auto-apprenantes capables de prendre des décisions sans contrôle humain. Il serait très intéressant que les scientifiques et les philosophes se penchent sur ces questions, les premiers pour comprendre les transformations profondes que ces évolutions vont entraîner sur le cerveau et le comportement biologique de l’humain, les seconds pour réfléchir aux contours de ses nouvelles relations au monde qui l’entoure.

Les auteurs du vingtième siècle avaient entrepris de caractériser les figures humaines de l’Histoire, passant en revue le Saint, le Héros, le Chevalier, le Sage, et enfin l’honnête homme du dix-septième siècle. Paraphrasant Saint-Augustin, le philosophe français Emmanuel Mounier s’était demandé, non sans cynisme, si le vingtième siècle n’avait pas accouché du médiocre satisfait. Fi de tout cela. N’est-ce pas dorénavant l’homme hyperconnecté qui devient la nouvelle figure autour de laquelle la société est en train de se réorganiser ? 

Les psychologues nous alertent cependant sur le fait que les sociabilités virtuelles n’ont qu’une portée relative : les « amis virtuels » sont bien éloignés du modèle de Montaigne et La Boétie, les échanges sur les forums n’effacent pas vraiment l’impression d’être étranger aux autres, le sentiment de solitude ou d’isolement ne disparaît pas, au contraire ! S’ensuit de nouvelles pathologies telles que la fatigue chronique, l’addiction digitale, la perte de concentration, le burnout. Par conséquent, la prolifération des interactions sociales constitue au mieux un palliatif au sentiment d’abandon et de perte de contrôle de leurs existences de la majorité des êtres humains. En outre, cet humain hyperconnecté n’est-il pas devenu avant tout un consommateur augmenté, profilé grâce aux traces qu’il laisse sur les sites web et sur les réseaux sociaux, lesquelles permettent de l’inciter à consommer plus ? Le risque est également qu’il perde le contrôle de son esprit critique, enfermé dans une bulle informationnelle qui le rend vulnérable à des formes de manipulation intellectuelle et politique. Jusqu’où doit-on accepter de laisser les technologies conçues et mises en œuvre par un nombre restreint de sociétés technologiques géantes (« big tech »), de plus en plus dominatrices, pour le moment basées aux États-Unis et en Chine, lire dans nos pensées, décrypter nos émotions, deviner nos besoins et nos désirs, décider de la façon dont le contenu de nos pensées sera protégé ? 

Les principes éthiques en intelligence artificielle

En faisant un peu d’humour l’on pourrait dire que définir des principes éthiques pour l’intelligence artificielle est chose aisée : quasiment tous les pays et tous les types d’organisations ne l’ont-ils pas fait ? Plus que pour d’autres technologies numériques disruptives, comme l’internet des objets ou la 5G, les valeurs et les principes susceptibles de guider le développement et le déploiement de l’intelligence artificielle dans l’économie et la société mobilisent l’intérêt, l’engagement et la participation de tous les acteurs de tous les continents. Les livres, articles, rapports, « déclarations » et autres documents écrits ne manquent pas en la matière, et l’océan des contributions, outre qu’il souligne l’attractivité du sujet, et en filigrane les inquiétudes qu’il génère, n’a cessé de s’agrandir depuis l’année 2017.

Afin de resserrer le cadre d’analyse, nous avons choisi d’évoquer ici sept sources d’informations dont la dernière, celle de la Commission européenne, sera détaillée dans la section suivante : 

  1. Les 23 principes d’Asilomar pour un développement éthique de l’intelligence artificielle[14]
  2. La Déclaration de Montréal pour un développement responsable de l’intelligence artificielle[15]
  3. Les principes généraux définis dans l’initiative globale de l’IEEE[16]
  4. Les cinq principes composant le « code IA » de la Chambre des Lords britannique[17]
  5. Les travaux du Partenariat sur l’intelligence artificielle, un organisme multipartite comprenant des universitaires, des chercheurs, des organisations de la société civile et des entreprises qui contribuent au développement et à l’utilisation de l’intelligence artificielle[18]
  6. Le cadre éthique fourni par AI4People[19], qui s’appuie sur les quatre principes fondamentaux de la bioéthique (bienfaisance, non-malfaisance, autonomie et respect de l’autonomie, justice) et en ajoute un nouveau : l’explicabilité, qui comprend l’intelligibilité et la responsabilité. 

La bonne nouvelle est que si l’on passe au crible les différents principes fournis dans les documents précédents – une cinquantaine au total – l’on constate une forte cohérence entre eux et par conséquent il est possible de les regrouper en quelques grandes catégories. C’est ce que la Commission européenne a su faire faire, et c’est pourquoi nous nous appuierons largement sur les résultats de ses travaux. 

Précisons déjà que les valeurs et principes éthiques concernant l’intelligence artificielle (nous aurions pu aussi évoquer l’internet des objets ou la 5G) offrent une base robuste pour examiner plus loin le cas particulier des applications mobiles pour la recherche de contacts dans le contexte de la pandémie de la Covid-19, tout en gardant à l’esprit que chaque cas particulier soulève des interrogations spécifiques qu’il faut savoir reconnaître et prendre en compte. 

L’Europe en pointe des réflexions sur l’éthique

L’Union Européenne assume un rôle de leadership planétaire dans la réflexion sur une « intelligence artificielle digne de confiance »[20]. En avril 2019, le groupe d’experts de haut niveau (AI HLEG) que la Commission européenne avait mis en place en juin de l’année précédente publia ses lignes directrices sur l’éthique en matière d’intelligence artificielle. Selon les experts européens, l’aboutissement à une intelligence artificielle digne de confiance requiert sept principes :

Le 17 juillet 2020, le AI HLEG a présenté la liste finale d’évaluation destinée à favoriser une intelligence artificielle digne de confiance (ALTAI)[21]. Cette liste d’évaluation accessible et dynamique doit permettre aux développeurs et aux déployeurs dans les entreprises et autres organisations d’autoévaluer la fiabilité de leurs systèmes d’intelligence artificielle (IA) en cours de développement. 

Les travaux du AI HLEG, qui s’inscrivent dans une stratégie globale sur l’intelligence artificielle[22], seront bientôt complétés par de nouveaux projets de recherche et d’innovation (R&I), à savoir ceux qui seront développés dans le programme Horizon Europe 2021-2027[23]

Il faut souligner l’engagement de l’Union Européenne, aiguillonnée par la Commission européenne, sur le thème de l’éthique, non seulement en ce qui concerne l’intelligence artificielle, mais également pour d’autres sujets, tels que la recherche biomédicale, les sciences de la nature et les humanités. La Charte des droits fondamentaux de l’Union Européenne et la Convention européenne sur les droits humains constituent les principaux repères de la Commission européenne. Il s’ensuit que les questions abordées le plus fréquemment sont les suivantes : l’implication des enfants, des patients et des personnes vulnérables ; l’utilisation des cellules souches embryonnaires humaines ; le respect de la vie privée et la protection des données à caractère personnel ; la mauvaise utilisation ou l’utilisation malveillante ; l’impact sur l’environnement. 

En affirmant sa détermination sur l’éthique, l’Union Européenne poursuit la démarche qui avait abouti en 2016 au règlement général sur la protection des données (RGPD). A ce sujet, il convient de relever que le comité européen de la protection des données (CEPD) a publié le 19 mars 2020 une déclaration dans laquelle il affirme que « même dans ces temps exceptionnels, le responsable du traitement des données (« data controller ») et le sous-traitant des données (« data processor ») doivent assurer la protection des données personnelles de la personne concernée (« data subject »). »[24]Cette protection constitue, en effet, une dimension fondamentale du respect de la vie privée des individus et, partant, d’une conduite éthique dans toute application numérique de recherche des contacts. 

Ethique et algorithmes : peuvent-ils converger ?

Les « valeurs » qui définissent l’éthique et les sept « principes » qu’en a tirés la Commission européenne en ce qui concerne « une intelligence artificielle digne de confiance » peuvent se heurter aux algorithmes qui, quels qu’ils soient, sont neutres par rapport à eux. Il va falloir encore attendre quelques années avant de savoir si l’intelligence artificielle peut être développée d’une façon éthique. Pour le moment, il faut garder à l’esprit que les algorithmes d’intelligence artificielle sont amoraux, comme c’est le cas par exemple lorsqu’ils commettent des discriminations raciales. Par conséquent, le développement d’une intelligence artificielle éthique ne doit pas être l’affaire seulement des juristes et des régulateurs, mais aussi celle des scientifiques[25]. Ces derniers savent bien que l’intelligence artificielle est une « boîte noire » : l’ordinateur est capable de distinguer un chat d’un chien, mais nul ne sait précisément comment il est parvenu à la bonne conclusion ! Pour obtenir une intelligence artificielle éthique, il est indispensable de comprendre pourquoi les algorithmes font des erreurs ; c’est ainsi que s’est constitué récemment un nouveau domaine de la recherche en intelligence artificielle, la « quantification de l’incertitude », dont le but est d’aider à développer une façon claire et exacte de communiquer la marge d’erreur d’un algorithme. 

Cependant, tous les défis éthiques ne pourront pas être relevés avec des solutions seulement techniques. Comme nous l’avons vu lorsque nous avons évoqué plus haut le sujet des « valeurs », les dilemmes éthiques, par nature, sont subjectifs et, par conséquent, requièrent des individus qu’ils résolvent entre eux leurs priorités conflictuelles. L’exemple bien connu est celui de la voiture autonome qui, dans l’hypothèse d’un accident inévitable en ville, devrait « choisir » entre faire une embardée pour épargner la vie de ses trois passagers, parmi lesquels se trouve un enfant, ou causer la mort de quatre piétons âgés. Selon leurs cultures, les individus qui sont interrogés sur ce dilemme répondent différemment : en Chine et au Japon, pays où les cultures attachent un poids plus grand à la collectivité, la probabilité de sacrifier les piétons est moins forte qu’ailleurs où les cultures accordent plus d’importance à l’individu. Ce cas poussé à son extrémité soulève une question à laquelle les mathématiques et les avancées techniques ne peuvent pas répondre : si j’achète une voiture autonome qui a été programmée en France et que je la conduise en Asie, à quelle éthique devrait-elle se soumettre ? 

La conclusion qu’il faut tirer de cette analyse est que le développement d’une intelligence artificielle digne de confiance requiert l’engagement et la participation de tous les acteurs : experts de toutes disciplines, spécialistes des sciences sociales, éthicistes. C’est pourquoi la Commission européenne devra veiller à ce qu’au cours des prochaines années le AI HLEG poursuive ses travaux de conserve avec les scientifiques, ingénieurs et autres participants dans les futurs projets de R&I Horizon Europe. 

Le traçage des contacts dans le cas de la Covid-19 : les enjeux éthiques entre l’urgence sanitaire et une mosaïque de solutions

Une épidémie de pneumonies d’allure virale d’étiologie inconnue a émergé dans la ville de Wuhan (province de Hubei, Chine) en décembre 2019. Le 9 janvier 2020, la découverte d’un nouveau coronavirus (appelé 2019-nCoV, puis SARS-CoV-2) a été annoncée officiellement par les autorités sanitaires chinoises et l’Organisation mondiale de la santé (OMS). Ce coronavirus est l’agent responsable de la nouvelle maladie infectieuse respiratoire appelée Covid-19 (pour CoronaVIrus Disease). Le SARS-Cov-2 se transmet d’individu à individu par voie aérienne de façon à former une chaîne de contaminations : une personne infectée transmet le virus à un autre individu qui contamine à son tour un autre individu, etc. La lutte contre la diffusion du coronavirus concerne donc l’identification et la rupture des chaînes de contaminations. 

Afin de soutenir cette rupture, des solutions numériques de recherche des personnes infectées et d’identification des individus avec lesquels elles ont été en contact rapproché et prolongé ont été développées dès les premières semaines de diffusion du nouveau coronavirus. D’abord utilisées en Asie, notamment à Singapour (Trace Together) et en Chine (Close Contact Detector), les solutions de recherche de contacts ont ensuite été développées dans les pays occidentaux où elles ont généré des débats souvent houleux concernant leur efficacité et le respect de la vie privée des individus (non-respect du secret médical ou de la vie privée des personnes, limitation des libertés individuelles). 

A peu près tout le monde est d’accord pour dire que l’outil numérique doit être intégré à un système plus large. Pour que l’épidémie s’éteigne, il ne suffit pas que les individus utilisent une application sur leur téléphone portable ; il faut aussi faire intervenir des personnes sur le terrain afin de mener le travail d’investigation (contact tracers). 

Les solutions numériques de recherche de contacts : une mise en place difficile

« Une nouvelle application de traçage Covid est lancée en Angleterre et au Pays de Galles » (source : Financial Times, 24/09/2020), « Comment Jean Castex a tué StopCovid en une phrase » (source : Le Figaro 25/07/2020). Neuf mois après la découverte du coronavirus, sept mois après le moment où il ne fit plus aucun doute que le nouveau virus entraînerait une pandémie, les deux titres de la presse précédents montrent à quel point les pouvoirs publics ont eu du mal à mettre en place des applications de traçage des contacts indépendantes. Le Royaume-Uni et la France furent les deux principaux pays à rejeter l’offre initiale d’assistance technique d’Apple et Google tandis que les deux sociétés « big tech » collaboraient au même moment avec les autorités médicales de plusieurs autres pays européens, notamment l’Allemagne et l’Italie, en vue d’introduire une technologie de traçage des contacts dans leurs réseaux mobiles. 

La chronologie des événements au Royaume-Uni dévoile des leçons intéressantes :

  • 31 janvier : confirmation des deux premiers cas de coronavirus ; le service national de santé (National Health Service ou NHS) annonce qu’il va traquer tous les contacts de ces patients ;
  • 29 février : 23 cas sont confirmés et plus de 10.000 personnes ont été testées en un mois ;
  • 12 mars : la phase d’« endiguement » de l’épidémie est remplacée par une phase de « retardement » : désormais, les efforts ne portent plus sur la recherche des contacts des patients connus mais se concentrent sur la réduction de la pointe des infections pour faire en sorte que les patients les plus malades puissent recevoir les soins dont ils ont besoin (stratégie dite de l’aplatissement de la courbe) ;
  • 23 mars : le Premier Ministre ordonne aux Britanniques de rester chez eux et demande à la police d’imposer cette décision de confinement national ;
  • 12 avril : le gouvernement annonce qu’il va développer une application de suivi des contacts ;
  • 17 avril : le Royaume-Uni annonce qu’il va reconstruire des équipes de « chercheurs de contacts » dans le cadre d’une nouvelle stratégie de test et de traçage ;
  • 5 mai : le NHS lance une application de recherche des contacts qui s’inscrit dans la stratégie « Tester, Suivre et Tracer » visant à traquer et isoler le virus afin de l’empêcher de se reproduire ; l’application utilise les signaux Bluetooth pour dresser une cartographie des contacts entre les utilisateurs et alerter ceux qui se sont trouvés proches d’une personne infectée ;
  • 8 mai : en réponse aux critiques sévères qui ont suivi la première annonce, émanant notamment des défenseurs du respect de la vie privée, préoccupés du fait que les données anonymisées seront stockées dans une base de données centrale, le NHS annonce qu’il travaille déjà à l’élaboration d’une seconde version de l’application incorporant la technologie fournie par Google et Apple ;
  • 28 mai : suite à la décision annoncée le 17 avril, la recherche manuelle des contacts reprend grâce au recrutement et à la formation de 25.000 personnes vouées à cette mission ;
  • 18 juin : le Royaume-Uni fait volte-face en abandonnant la technologie développée par ses services sanitaires au profit de celle d’Apple et Google ; lors de la phase pilote menée sur l’Île de Wight, l’application centralisée n’avait reconnu que 4% des téléphones mobiles d’Apple et 75% des appareils Android de Google ;
  • 13 août : des essais sont annoncés concernant une nouvelle application fondée sur un modèle décentralisé ;
  • 24 septembre : le NHS lance la nouvelle application – appelée NHS Covid-19 – qui rencontre aussitôt un succès estimable (un million de téléchargements le premier jour). 
Financial Times, 01/05/2020

En conclusion, il aura fallu cinq mois au Royaume-Uni pour combler l’écart entre la décision de rechercher les contacts à l’aide d’une technologie numérique (avril) et le lancement effectif de l’application (septembre). Dans un contexte tendu où les pouvoirs publics ont dû faire front à une menace sanitaire survenue brutalement, d’origine incertaine, au déroulement imprévisible, il fallut mettre en place un arsenal de mesures d’urgence parmi lesquelles, en l’absence de traitements et d’un vaccin, la recherche de contacts apparaissait comme indispensable. Cette recherche devait s’effectuer de façon classique avec des équipes formées de manière appropriée, mais aussi grâce au développement d’applications numériques basées sur les technologies performantes et omniprésentes dont l’humanité dispose à notre époque. 

La France s’est trouvée dans une situation similaire à celle du Royaume-Uni, mais il semble que l’objectif d’indépendance technologique vis-à-vis des GAFA, en l’occurrence de Google et d’Apple, a pris au moins autant d’importance aux yeux des autorités que celui de respect de la vie privée. Le cas de ce pays et de son application TousAntiCovid sera examiné en détail plus loin. Retenons simplement qu’à la fin du mois de septembre 2020 l’application française, lancée quatre mois plus tôt, le 2 juin, n’avait été téléchargée qu’environ 3 millions de fois, tandis que l’application allemande, lancée le 16 juin, l’avait été 18 millions de fois et l’application britannique 12,4 millions de fois en seulement quatre jours [26]

Au-delà des péripéties techniques, réglementaires et sociétales de l’année 2020, nul doute que si la pandémie perdure la nécessité de recourir à la technologie pour rechercher les contacts de personnes contaminées ou qui ont été identifiées comme ayant croisé des personnes contaminées sera plus grande que jamais. Moins d’un an après le début de la pandémie, le développement des applications de recherche de contacts se poursuit à travers le monde mais toutefois de façon inégale. Dans la plupart des pays, notamment en Europe, les débats s’enflamment autour de l’équilibre à trouver entre le respect de la vie privée et l’efficacité. En conséquence, le déploiement des applications est freiné, voire dans certains pays comme le Royaume-Uni stoppé puis repris sous d’autres formes. De leur côté, les États-Unis ont adopté une approche décousue dans la mesure où les états sont autorisés à construire leurs propres applications. Quoi qu’il en soit de la stratégie suivie par les différents pays, ce qui est sûr est qu’il faudra atteindre des niveaux élevés d’adoption des applications numériques de recherche de contacts pour que l’effort en vaille la peine en termes d’efficacité. 

Le respect de la vie privée constitue un défi majeur pour l’avenir des solutions numériques de suivi des contacts. Un système utilisé par des dizaines de millions d’individus qui manipulent des données aussi sensibles qu’un historique de contact, voire des données médicales, nécessite un très haut niveau de sécurité. En Allemagne, le Chaos Computer Club (CCC), association d’experts en informatique qui conseille depuis trente ans le gouvernement fédéral sur les questions de vie privée, a contribué utilement au débat sur l’éthique en fournissant une liste de dix critères restrictifs pour que ce type de solutions puissent tirer parti du potentiel épidémiologique du suivi de contacts sans pour autant constituer une menace en matière de vie privée[27]

Il est intéressant en passant de comparer les critères éthiques des experts de la Commission européenne (AI HLEG) et ceux du CCC. Les premiers sont plus larges puisqu’ils s’appliquent à l’intelligence artificielle, d’où des notions comme « facteur humain » ou « bien-être sociétal », mais ils correspondent dans une large mesure, avec un langage un peu différent, à ceux du CCC, même si ces derniers placent le curseur sur des points spécifiques tels que le « but épidémiologique », la « géolocalisation » ou encore la « non-observabilité des communications ». Cela montre bien qu’au-delà des « valeurs », les principes éthiques doivent être modulés en fonction des exigences de chaque domaine particulier, en fonction de sa taille et de ses spécificités.

La recherche de contacts par voie numérique : approche centralisée ou approche décentralisée ?

Le développement de solutions numériques de recherche des contacts soulève un ensemble de questions fondamentales avant même de s’intéresser aux enjeux éthiques : 

  • Qui a commandité l’application et qui l’a développée ?
  • Quelles sont ses fonctionnalités ?
  • Quand a-t-elle été lancée ?
  • Quelles technologies utilise-t-elle ?
  • Où est-elle disponible et sur quelles plates-formes ?
  • Quel niveau de pénétration a-t-elle réalisé au bout d’une journée/semaine ou d’un mois ?

Cet article ne développera pas ces différents points. Toutefois, il faut souligner l’importance du choix de la technologie de base destinée à rechercher et identifier les contacts : 

Dans le monde, et notamment en Europe, la plupart des pays ont choisi les « poignées de main » Bluetooth à courte portée entre les appareils mobiles comme le meilleur moyen d’enregistrer un contact potentiel, même s’il ne fournit pas de données de localisation. 

La technologie Bluetooth, invoquée dans toutes les applications de suivi de contacts, n’a pas été conçue pour mesurer une distance, mais seulement pour transmettre des données. Or, l’intensité du signal reçu d’un émetteur dépend de la distance. Les chercheurs doivent prendre en compte les différents modèles de téléphones, dont les capacités en matière de Bluetooth varient, mais aussi les innombrables situations de la vie quotidienne qui induisent une cascade de facteurs parasites et inconnus a priori, comme la puissance de transmission (que le consortium Apple-Google s’efforce de préciser) ainsi que l’atténuation du signal dans sa propagation dans le milieu (par exemple selon que l’appareil soit à l’air libre, dans un environnement densément peuplé ou non, dans un sac à dos, dans une poche de vêtement). Par conséquent, la capacité de la technologie Bluetooth à atteindre le niveau de précision nécessaire reste la grande inconnue de l’équation. Il n’est pas certain que les paramètres de proximité des applications de suivi des contacts qui sont déployées dans de nombreux pays correspondent toujours aux conditions de contamination telles qu’elles sont comprises aujourd’hui. Des études ont montré, en effet, que le virus pouvait être transmis par effet aérosol, donc par voie aérienne[29]. La proximité doit certainement jouer un rôle majeur dans la transmission, mais également d’autres paramètres, tels que la nature de l’espace dans lequel on se trouve (intérieur ou extérieur), les conditions d’aération, la charge virale des aérosols.

Si la technologie Bluetooth est privilégiée par la grande majorité des pays, en revanche ces derniers ne sont pas d’accord sur l’opportunité de consigner les contacts sur des appareils individuels (approche dite « décentralisée ») ou sur un serveur central (approche dite « centralisée »). La question sensible est en effet de savoir où se prend la décision de déclencher l’envoi des notifications aux contacts d’une personne qui vient d’être diagnostiquée positive au Covid-19. Est-ce sur un serveur contrôlé par une autorité sanitaire de confiance ou bien sur le téléphone lui-même ?[30]

L’approche centralisée est théoriquement plus efficace que sa concurrente ; elle permet en effet aux équipes de recherche de contacts existantes de travailler directement sur les téléphones et de retrouver facilement pour les avertir les individus qui peuvent être à risque. Dans le cadre de l’approche décentralisée, les utilisateurs peuvent donner leur consentement pour partager leur numéro de téléphone ou les détails de leurs symptômes, ce qui permet alors aux autorités sanitaires de prendre contact avec eux et de donner des conseils sur la meilleure marche à suivre en cas de risque avéré. Ce consentement est cependant donné dans l’application et ne fait pas partie de l’architecture centrale du système. 


Les modèles centralisé et décentralisé de suivi des contacts
Source: BBC News, Coronavirus: The great contact-tracing apps mystery, 21/07/2020

L’Union Européenne a montré qu’elle était en pointe sur les enjeux éthiques des technologies numériques, notamment l’intelligence artificielle. Toutefois, la question de la sécurité de l’échange d’informations entre les applications nationales de traçage des contacts reposant sur une architecture décentralisée s’est posée avec acuité. Rappelons qu’au départ les États membres s’étaient lancés dans des initiatives purement nationales dont la plupart, après valse-hésitation, convergèrent vers l’approche décentralisée proposée par l’alliance Google/Apple. Dès lors se posa la question de l’interopérabilité entre les différentes applications nationales. Comme l’indiqua Thierry Breton, commissaire au marché intérieur, « De nombreux États membres ont mis en œuvre des applications nationales de traçage des contacts et d’alerte. Il est temps à présent de faire en sorte que ces applications puissent communiquer entre elles. Les déplacements et les échanges personnels sont au cœur du projet européen et du marché unique. » Dès le 14 septembre 2020, la Commission européenne put annoncer la mise en place d’un service-passerelle d’interopérabilité permettant de connecter les applications nationales à travers l’Union Européenne et, par conséquent, de contribuer à briser la chaîne des infections dues au coronavirus et à sauver des vies. Un mois plus tard, le 19 octobre, ce service-passerelle a commencé à fonctionner, permettant à trois premières applications nationales, celles de l’Allemagne, de l’Italie et de l’Irlande, d’être reliées au système[31]

L’interopérabilité en Europe : comment ça fonctionne ?

L’entrée en service de la passerelle d’interopérabilité met en évidence un certain isolement de la France dans l’Union Européenne. Un pays – la Suède – a certes décidé de ne pas développer d’application de suivi des contacts, d’autres l’envisagent mais ne se sont pas encore lancés, mais le fait important est que la plupart des pays ont mis en place une application en optant, après parfois quelques atermoiements, pour une approche décentralisée soutenue par Google et Apple. 

Comment prendre en compte les enjeux éthiques dans les applications de suivi des contacts ?

Dès le début de la pandémie furent développées des solutions de tracking des individus afin de contrôler le respect des confinements et des quarantaines décidés par les gouvernements. Il s’agissait d’une démarche logique, nécessaire, et assez simple à mettre en place à la condition que les équipes de « traceurs » existassent pour exécuter le travail. Puis assez rapidement l’idée germa parmi de nombreux gouvernements de compléter les solutions de tracking par des solutions de tracing des individus, cette fois pour identifier et rompre les chaînes de transmission de la Covid-19. C’est ainsi que des solutions et applications mobiles furent lancées à travers le monde, tout d’abord en Asie puis après quelques semaines en Europe et ailleurs. 

Nous avons vu que les gouvernements pouvaient adopter des protocoles techniques différents (Google/Apple, DP3T etc.) ainsi que des technologies différentes pour la collecte des données (Bluetooth, géolocalisation).

Si le choix de la technologie s’est porté largement sur Bluetooth, c’est parce qu’en dépit des incertitudes concernant le niveau de précision des transmissions, les garanties en termes de respect de la vie privée sont les meilleures. 

Dans la première partie, nous avons montré que l’éthique portait sur des valeurs et que ces valeurs pouvaient être respectées en suivant un certain nombre de principes, parmi lesquels ceux préconisés par le groupe d’experts de la Commission européenne (AI HLEG) font la quasi-unanimité. Ces principes doivent être ensuite transformés en des questions à la fois simples et claires afin qu’ils puissent être appliqués dans des cas particuliers, comme celui du suivi des contacts. Ces questions doivent au minimum être les suivantes :

  • Le téléchargement et l’utilisation de l’application sont-ils volontaires (opt-in) ou bien obligatoire ? 
  • Existe-t-il des limites à l’utilisation des données ? 
  • Les données sont-elles destinées à être détruites au bout d’un certain temps ?
  • La collecte de données est-elle minimisée ?
  • La stratégie sous-jacente est-elle transparente ?
  • Les enfants, les personnes âgées et les personnes handicapées peuvent-elles avoir accès à l’application ? Si oui, comment, et comment leurs données sont-elles traitées ?

Les deux points fondamentaux lorsqu’on s’intéresse au respect de la vie privée dans le cas des applications mobiles destinées à la recherche des contacts sont, d’une part, l’identité des utilisateurs (les connexions via Bluetooth permettent de mettre en œuvre une approche fondée sur l’anonymisation ou la pseudonymisation, tandis que celles par géolocalisation ne respectent pas la vie privée) et, d’autre part, la structure et le stockage des données (modèle centralisé ou décentralisé). 

Il n’est pas surprenant que la façon de traiter le respect de la vie privée diffère grandement entre les pays. A Singapour, l’application « Trace Together » utilise la technologie Bluetooth pour repérer et identifier les personnes qui ont été en contact étroit et prolongé avec d’autres utilisateurs de smartphone testés positivement au Covid-19 ou à haut risque d’être porteurs du virus ; elle alerte alors ces personnes. En cas de suspicion d’une interaction entre un cas confirmé et un individu, le téléchargement de ces données vers un serveur devient obligatoire. 

En Chine, où la place accordée à l’individu dans la société est soumise à l’intérêt de la collectivité, la recherche des contacts se fait via la plate-forme « Close Contact Detector » qui a été développée par China Electronics Technology Group Corporation (CETC), propriété de l’État chinois. Cette plate-forme dont l’objet est de signaler aux personnes qu’elles ont été en contact étroite avec des individus infectés a été intégrée à des applications populaires préexistantes, comme Alipay, Wechat et QQ. Elle peut être utilisée par les autorités, les entreprises, les écoles, des employés d’espaces publics ou des représentants de quartiers résidentiels. Les utilisateurs de la plate-forme peuvent y accéder en scannant un code QR et s’inscrire avec un numéro de téléphone en fournissant leur nom et leur numéro d’identification national. Chaque compte associé à un numéro de téléphone peut demander des renseignements sur trois personnes au maximum. 

En Allemagne, l’application « Corona-Warn-App » commandée par le gouvernement à SAP et T-Systems, développée par Google et Apple, et inspirée par les travaux du consortium européen DP3T, analyse les signaux Bluetooth émis par les téléphones mobiles afin de détecter les utilisateurs ayant été en contact rapprochés les uns avec les autres. Les individus qui ont été en contact avec une personne infectée sont alors prévenus. Les identités des utilisateurs ne sont pas divulguées, les données sont cryptées et supprimées au bout de quatorze jours. 

Au Royaume-Uni, où comme nous l’avons vu la mise en œuvre de l’application NHS Covid-19 a suscité de vifs débats, certains n’hésitent pas aujourd’hui à proclamer que le point d’équilibre entre respect de la vie privée et efficacité privilégie de façon excessive le premier aux dépens de la seconde : l’application permet en effet d’obtenir des détails sur le nombre de tests positifs qui ont été enregistrés et sur le nombre d’alertes qui ont été envoyées aux utilisateurs afin qu’ils s’isolent, mais en revanche elle n’apprend rien sur l’identité de ceux qui ont été testés positivement ni de ceux qui ont été à la source de leur contamination[32]. En d’autres termes, les choix effectués par le gouvernement se sont révélés être plus conservateurs que ceux concernant l’API Apple-Google. Par exemple, les utilisateurs auraient pu se voir demander lorsqu’ils téléchargent l’application s’ils consentaient à fournir un numéro de téléphone afin qu’ils puissent être contactés au moment de leur isolement. Au lieu de cela, ils reçoivent seulement une alerte dont ils peuvent suivre les instructions ou pas. 

On le voit, le débat n’est pas clos, ni au Royaume-Uni ni ailleurs dans le monde occidental où les comparaisons que certains tentent de faire parfois avec des pays asiatiques comme le Viêt-Nam ou Taïwan ne sont pas forcément pertinentes.

La question du « contrôle » est évidemment essentielle. Certains gouvernements, comme en France, ont voulu garder le contrôle des données et, par conséquent, ont adopté un modèle centralisé. Mais la plupart, après des débuts erratiques, comme en Allemagne ou au Royaume-Uni, se sont résignés à s’en remettre à Google et Apple. Il est assez curieux de noter que les deux firmes américaines de l’Internet sont en fin de compte perçues comme offrant une solution plus fiable et garantissant davantage la sécurité et le respect de la vie privée grâce à l’anonymisation et à une architecture décentralisée. L’intérêt de Google et d’Apple est évident : plutôt que de se trouver en concurrence avec des gouvernements, ces sociétés préfèrent intelligemment offrir à chaque pays la possibilité d’accéder à leurs interfaces de programmation d’application (API), quitte ensuite pour les pays intéressés de configurer ces interfaces à leur guise, notamment en ce qui concerne les questions de respect de la vie privée. C’est ainsi que le 10 avril 2020 les deux firmes américaines annoncèrent qu’elles travaillaient ensemble au développement d’une application mobile en utilisant les signaux Bluetooth d’un smartphone ; aucune donnée de localisation par GPS ni d’informations personnelles ne seraient enregistrées. « Le respect de la vie privée, la transparence et le consentement sont pour nous de la plus haute importance et nous nous engageons à construire cette fonctionnalité en consultation avec les parties prenantes intéressées », firent savoir Google et Apple dans une déclaration commune. 

Les applications mobiles de recherche de contact sont censées établir un compromis, propre à chaque pays en fonction de son histoire, de sa culture et de ses préférences du moment, entre le niveau d’efficacité à attendre pour contrôler la propagation de l’épidémie et le risque potentiel de remise en cause du respect de la vie privée. Des défenseurs des droits fondamentaux craignent que l’outil serve certes dans un premier temps à traquer les contacts des patients nouvellement infectés mais qu’il évolue ensuite vers une situation où il se transformerait en un véritable « passeport d’immunité » devant être présenté systématiquement pour pouvoir utiliser un transport public ou assister à un match de football. En France surtout, le débat demeure intense entre les partisans d’une approche « moderne » pour endiguer l’épidémie de la Covid-19 et les opposants à une telle démarche, qui refusent de souscrire à une approche purement « techniciste » pouvant remettre en cause les droits fondamentaux des individus[33] : « Si les nouvelles technologies sont désormais indispensables à toute politique publique, placer au centre d’une stratégie d’État une application dont l’efficacité est plus que douteuse, et surtout inversement proportionnelle aux risques éthiques, politiques et sanitaires qu’elle comporte, serait catastrophique pour l’évolution de notre société. Les moments d’exception que nous vivons ne doivent pas pousser à composer avec une réponse techniciste, aussi trompeuse que dangereuse, ni nous faire renier nos exigences démocratiques. Ils doivent, au contraire, nous inciter à réaffirmer la part de solidarité et de confiance dont une société a besoin pour continuer de s’inventer sans cesse, en stimulant l’imaginaire social qui la nourrit. » 

La solution française : « TousAntiCovid »

La France a développé une application pour aider à la lutte contre le virus Covid-19. Cette application qui s’appelait jusqu’au 22 octobre 2020 StopCovid France, s’appelle désormais TousAntiCovid. La France a fait le choix de ne pas recourir à la géolocalisation, c’est-à-dire au « tracking » qui s’apparente à un suivi des déplacements via les GPS des smartphones et les antennes-relais. TousAntiCovid utilise le « tracing ». Il s’agit de garder en mémoire les contacts entre les personnes via la technologie Bluetooth. Cette technologie est considérée comme efficace et moins intrusive que la géolocalisation. C’est la position du Comité européen à la protection des données selon lequel « l’utilisation des applications de recherche des contacts ne devrait pas reposer sur la recherche de mouvements individuels mais plutôt sur des informations de proximité concernant les utilisateurs. Les applications de recherche de contacts ne nécessitent pas de suivre la localisation des utilisateurs individuels. Les données de proximité devraient plutôt être utilisées » (voir les lignes directrices 04/2020 sur l’utilisation des données de localisation et des outils de recherche des contacts dans le contexte de l’épidémie de Covid-19)[34]. C’est également la position de la Commission européenne qui privilégie les mesures les moins intrusives mais efficaces, notamment l’utilisation de données de proximité, et le fait d’éviter de traiter des données sur la localisation ou les mouvements des personnes (voir la Recommandation (UE) 2020/518 de la Commission du 8 avril 2020 concernant une boîte à outils commune de l’Union en vue de l’utilisation des technologies et des données pour lutter contre la crise de la Covid -19 et sortir de cette crise, notamment en ce qui concerne les applications mobiles et l’utilisation de données de mobilité anonymisées[35]).

Pour procéder à l’analyse éthique de l’application française, nous nous appuierons sur les principes éthiques des experts de la Commission européenne (HLEG)[36] rappelés plus haut. Ces principes sont partagés par la France qui a contribué à leur élaboration et qui nous semblent être à ce jour les plus pertinents pour vérifier si l’application TousAntiCovid est respectueuse des libertés fondamentales et des droits humains dans l’État démocratique qu’est la France. 

Comment l’application TousAntiCovid fonctionne-t-elle ?

Comme pour toutes les applications de suivi des contacts, l’application permet aux personnes qui la téléchargent d’être prévenues si elles ont été à proximité, dans un passé proche, de personnes diagnostiquées positives au Covid-19 et disposant de la même application, cette proximité induisant un risque de transmission du virus.

En pratique, une fois installée et les fonctionnalités activées, l’application émet des messages Bluetooth spécifiques et en reçoit qui proviennent d’autres smartphones sur lesquels l’application TousAntiCovid a été installée et activée.

 Le dispositif se décompose en une application mobile mise à la disposition sur des équipements mobiles (téléphone mobiles et tablettes) et un serveur central qui assure le stockage et la transmission d’un certain nombre de données. Si un utilisateur a été déclaré positif au Covid-19, il va pouvoir déclarer cet état directement dans l’application non avec son nom mais grâce à un code, le QR code fourni par le laboratoire ou le médecin. L’utilisation de ce code par l’utilisateur lui permet d’envoyer son historique de contacts au serveur central qui traite alors chacun des contacts présents dans l’historique, afin d’en estimer le risque de contamination au virus SARS-CoV-2.

L’application contacte une fois par jour le serveur afin de vérifier le statut d’exposition de l’utilisateur. Les utilisateurs ayant été en contact (à moins d’un mètre pendant au moins 15 minutes) avec la personne diagnostiquée ou dépistée positive sont prévenus par le serveur qu’ils ont été exposés à un risque de contamination au virus SARS-CoV-2 au cours des quinze derniers jours.

Respect de la vie privée et gouvernance des données

Quelle est la finalité du traitement ? Existe-t-il des limites à l’utilisation des données ?

Le but de l’application a été initialement de faciliter la sortie du confinement et de ralentir la propagation du virus. D’après l’article 1 du décret, n° 2020-650 du 29 mai 2020 relatif au traitement de données dénommé « StopCovid France » nouvellement dénommé TousAntiCovid »[37], le traitement a pour finalité : a) l’information d’une personne utilisatrice de l’application du fait qu’elle s’est trouvée à proximité avec un utilisateur de la même application ultérieurement diagnostiquée positif à la Covid-19, de sorte qu’il existe un risque qu’elle soit contaminée à son tour ; b) la sensibilisation sur les symptômes de la maladie, les gestes barrière, l’orientation des contacts à risque vers des acteurs de santé compétents, l’utilisation de données statistiques anonymes au niveau national. La CNIL a préconisé dans son avis du 25 mai que la prise de contact entre l’utilisateur et le professionnel de santé soit recommandée mais laissée à la discrétion de l’utilisateur[38] pour préserver sa liberté individuelle, ce qui a été suivi.

Les opérations suivantes sont expressément exclues des finalités : le recensement des personnes infectées, l’identification des zones dans lesquelles ces personnes se sont déplacées, les prises de contact avec la personne alertée ou encore la surveillance du respect des mesures de confinement ou de toute autre recommandation sanitaire. Le traitement ne doit pas non plus permettre de réaliser le suivi des interactions sociales des personnes. 

Ces restrictions dans les finalités écartent en principe le risque que l’application TousAntiCovid ne soit utilisée comme un outil de surveillance de la population ou de coercition, et ce sauf détournement de finalité ou piratage.

Ceci est conforme à la règlementation applicable rappelée dans la recommandation de la Commission européenne selon laquelle : « En ce qui concerne le principe de limitation de la finalité, les finalités doivent être suffisamment précises pour exclure tout traitement ultérieur à des fins non liées à la gestion de la crise sanitaire Covid-19 (par exemple, à des fins commerciales ou répressives) ».

Quelles sont les données traitées et utilisées ? La collecte de données est-elle minimisée ?

Le décret précité liste les catégories de données traitées : la clef d’authentification partagée entre l’application et le serveur central, un identifiant unique associé à chaque application téléchargée généré de façon aléatoire par le serveur central et qui n’est connu que de ce serveur où il est stocké, les codes-pays, les pseudonymes aléatoires et temporaires générés par le serveur, l’historique de proximité, les périodes d’exposition des utilisateurs à des personnes diagnostiquées ou dépistées positives stockées sur le serveur, l’historique de proximité des contacts à risque, le statut « contacts à risque de contamination », la date des dernières interrogations du serveur. 

Il n’y a pas de collecte de noms, de numéros de téléphone, ou d’adresses électroniques.

Les données transmises ne le sont que si l’utilisateur de l’application le décide, et ce même s’il est contaminé par le virus de la Covid-19. Il n’a donc aucune obligation de transmission de données et cette transmission n’a aucun caractère automatique. 

 S’il le décide, l’utilisateur pourra donc transmettre l’historique de proximité des contacts à risque de contamination par le virus de la Covid-19, la date de début des symptômes, et le code QR. Dans un premier temps, l’intégralité de l’historique des contacts de l’utilisateur était envoyée au serveur, si celui-ci décidait d’envoyer ses contacts à risque. Suite à une mise en demeure de la CNIL en date du 20 juillet 2020[39], le système a été modifié et désormais il existe un pré-filtrage de l’historique des contacts de l’utilisateur au niveau du téléphone. Il est donc impossible que l’intégralité de l’historique des contacts de l’utilisateur remonte vers le serveur central, sans pré-filtrage au niveau du téléphone. Seuls les contacts les plus susceptibles d’avoir été exposés au virus sont transmis au serveur central. Le principe de minimisation de la collecte des données est donc respecté.

Cette minimisation de la collecte et de l’utilisation des données est conforme au principe de minimisation du RGPD[40] et rappelé dans les lignes directrices du Comité européen à la protection des données précitées selon lesquelles « dans le contexte d’une application de recherche de contacts, il convient d’accorder une attention particulière au principe de minimisation des données ainsi qu’aux principes de protection des données dès la conception et de protection des données par défaut : i) les applications de recherche de contacts ne nécessitent pas le traçage de la localisation des différents utilisateurs. Il convient plutôt d’utiliser des données de proximité́ ; ii) les applications de recherche de contacts pouvant fonctionner sans identification directe des personnes, il convient de mettre en place des mesures appropriées pour empêcher la ré-identification ; iii) les informations collectées devraient être stockées dans l’équipement terminal de l’utilisateur et seules les informations utiles devraient être collectées en cas d’absolue nécessité. »[41]

Les données sont-elles anonymisées ?

Les données transmises via TousAntiCovid sont très sensibles puisqu’il s’agit de données de santé et qu’elles permettent de créer des historiques des contacts à moins d’un mètre des personnes « croisées » plus de 15 minutes. En l’absence de mesures robustes rendant très difficile la ré-identification des utilisateurs, l’application permettrait de savoir si tel individu a eu le virus, notamment aux personnes avec lesquelles il a été en contact et qui ont téléchargé l’application, et de connaître l’identité de ces personnes, ce qui serait une forte entrave à la vie privée et aux libertés individuelles.

C’est la raison pour laquelle la Commission européenne, dans sa recommandation précitée, indique qu’il convient de respecter l’utilisation de données anonymisées, de mettre en place des garanties afin d’empêcher la désanonymisation et d’éviter la ré-identification des personnes, notamment par le chiffrement. Elle évoque « la mise en place de garanties quant à un niveau suffisant de sécurité des données de l’infrastructure informatique, et une évaluation des risques de ré-identification en cas de mise en corrélation des données anonymisées avec d’autres données ». 

Le Comité européen à la protection des données apporte des précisions utiles sur la distinction entre l’anonymisation et la pseudo-anonymisation : pour que l’anonymisation totale soit réelle, il faut qu’elle remplisse trois critères : il ne faut pas que l’on puisse identifier un individu à partir d’un groupe ; il ne faut pas pouvoir relier deux fichiers concernant le même individu ; il ne faut pas pouvoir déduire avec une probabilité significative des informations non connues d’un individu. Le Comité ajoute que seuls des groupes de données (data sets) peuvent être anonymisés, et non une donnée isolée, et par conséquent le fait de crypter une donnée seule ne permet pas son anonymisation mais seulement sa pseudo-anonymisation. 

Cette distinction entre l’anonymisation et la pseudo-anonymisation a été rappelée par la CNIL dans un article de synthèse publié sur son site le 19 mai 2020[42], selon lequel « l’anonymisation est un traitement qui consiste à utiliser un ensemble de techniques de manière à rendre impossible, en pratique, toute identification de la personne par quelque moyen que ce soit et de manière irréversible » alors que « la pseudo-anonymisation consiste à remplacer les données directement identifiantes d’un jeu de données (nom, prénom, etc.) par des données indirectement identifiantes ( alias, numéro séquentiel etc.). La pseudo-anonymisation permet donc de remonter à l’identité de la personne concernée, c’est la raison pour laquelle l’utilisation de données pseudo-anonymisées doit respecter la règlementation sur les données personnelles alors que le recours à des données anonymisées est totalement libre. 

L’application TousAntiCovid ne garantit pas l’anonymisation des données mais seulement leur pseudo-anonymisation. C’est la raison pour laquelle TousAntiCovid doit respecter le RGPD et la loi informatique et libertés modifiée. Ceci a été rappelé par la CNIL dans son avis du 24 avril 2020[43] selon lequel « il demeure un lien entre les pseudonymes et les applications téléchargées, chaque application étant elle-même installée sur un terminal, qui correspond généralement à une personne physique déterminée ». Le fait que l’application soit téléchargée sur un téléphone mobile doté d’un IMEI (international Mobile Equipment Identity)[44] donne la possibilité de remonter à l’identité de l’utilisateur.

Dans ses lignes directrices, le Comité européen à la protection des données recommande certaines mesures pour les applications de suivi de contacts : des identifiants pseudonymes doivent être échangés entre les mobiles des utilisateurs d’équipement (ordinateurs, tablettes, montres connectées, etc.) ; les identificateurs doivent être générés à l’aide de procédés cryptographiques de pointe ; les identificateurs doivent être renouvelés régulièrement afin de réduire le risque de suivi physique et les attaques de liens ; l’application ne doit pas transmettre aux utilisateurs des informations qui leur permettraient de déduire l’identité ou le diagnostic des autres ; le serveur central ne doit ni identifier les utilisateurs ni déduire des informations à leur sujet.

Qu’en est-il de la pseudo-anonymisation des données personnelles dans TousAntiCovid ? Ces mesures sont-elles respectées ?

Comme il a déjà été mentionné, le téléchargement de l’application ne requiert pas la fourniture de données directement identifiantes telles que le nom, le numéro de téléphone, l’adresse électronique. Le décret précité indique que « les données permettant l’identification du téléphone mobile, de son détenteur ou de son utilisateur ne peuvent être collectées ni enregistrées dans le cadre du traitement ». Le téléchargement sur le téléphone mobile n’enregistre pas le nom mais un pseudonyme permanent. Le décret mentionne effectivement qu’un identifiant unique associé à chaque application téléchargée par un utilisateur, est généré de façon aléatoire par le serveur central et n’est connu que de ce serveur où il est stocké. 

Le décret indique qu’il existe une clé d’authentification partagée entre l’application et le serveur central, générée par ce serveur lors du téléchargement de l’application, qui sert à authentifier les messages de l’application. 

L’application fait état de ce que les données échangées entre deux téléphones via Bluetooth sont des pseudo-identifiants renouvelés automatiquement toutes les 15 minutes. Ils sont donc temporaires. C’est par exemple une suite de numéros, de lettres ou de signes, qui ne permet pas par elle-même d’identifier une personne. Si l’on croise une personne qui a TousAntiCovid, les téléphones échangent entre eux les deux pseudonymes. Chacun enregistre l’autre dans son historique de personnes croisées de façon cryptée. Les personnes croisées ne connaissent pas en principe l’identité de la personne infectée qui a fait l’alerte. 

Cependant nous pouvons relever la prudence de la rédaction dans l’application. Le « par elle-même » qui indique en creux qu’il y a bien une possibilité d’identifier la personne avec un croisement d’autres données. 

Si l’utilisateur de l’application a été diagnostiqué positif au virus, il n’enverra pas au serveur son nom mais le code QR qui est aléatoire et qui ne permet donc pas d’identifier la personne concernée[45]

En conclusion, il semble que de nombreuses précautions aient été prises pour éviter la ré-identification des personnes et que les recommandations du Comité européen à la protection des données aient été entendues sur ce point. Des contrôles devraient être régulièrement effectués pour s’en assurer. 

A qui sont transmises ces données ?

Les données stockées sur le téléphone portable ne sont partagées par l’application avec le serveur géré par le Ministère des Solidarités et de la Santé et son sous-traitant INRIA que si l’utilisateur a été diagnostiqué comme un cas Covid-19 et avec son accord. La transmission n’est donc pas automatique : l’utilisateur n’est pas obligé de déclarer qu’il est positif au nouveau coronavirus et il ne transmettra au serveur l’historique limité de ses contacts que s’il le souhaite. 

Lorsque les données sont partagées avec le serveur, l’application spécifie que cela permet aux applications des autres utilisateurs d’interroger celui-ci afin de savoir si elles ont été à proximité de l’application concernée. Si c’est le cas, les utilisateurs seront alertés qu’ils ont été exposés à un risque de contamination. 

Le fait que des données aussi sensibles soient centralisées sur un serveur d’État a fait l’objet de nombreux commentaires, certains craignant un détournement d’usage, comme la mise en place d’une surveillance de la population ou un piratage. 

Les données sont-elles destinées à être détruites au bout d’un certain temps ?

L’application mentionne que les données, donc notamment tous les pseudonymes et les échanges de pseudonymes, sont conservées pendant quatorze jours et automatiquement effacées sur le téléphone et le serveur. Cette durée de conservation des données correspond aux recommandations sanitaires et permet de ne conserver les données que pendant une durée limitée.

En outre, l’utilisateur peut à tout moment demander la suppression de ses données de son smartphone et de la base centrale du serveur avant la désinstallation de l’application.

Robustesse et sécurité

Selon les travaux du HLEG précités, la robustesse d’un système s’apprécie à l’aune de quatre critères : la sécurité (lutte contre la criminalité), la sûreté (lutte contre les accidents), la précision ainsi que la fiabilité.

Quelle est la technologie utilisée ? Est-elle précise et fiable ?

La technologie utilisée est le Bluetooth et non la géolocalisation. Le Bluetooth n’étant efficace que sur de très faibles distances, ne sont enregistrés que les contacts de très grande proximité (un mètre). Dans la FAQ du site de l’application, il est indiqué que « le développement d’une telle application est techniquement compliqué » et que « les travaux des équipes pilotées par INRIA ont levé la plupart des barrières technologiques. En particulier, la question du calibrage du Bluetooth et de sa capacité à permettre l’estimation des distances entre deux téléphones a été largement levée, en coopération avec l’Allemagne qui a fait des tests sur le sujet ». Cette question de la fiabilité et de la précision du système est essentielle pour s’assurer qu’il n’y aura pas d’erreur dans les alertes effectuées, au risque de voir des alertes erronées engendrer un préjudice physique (absence d’alerte d’un contact avec une personne déclarée positive au virus) ou un préjudice psychologique (alerte effectuée alors qu’aucune personne croisée n’est contaminée par le virus). Des contrôles sur ces points doivent être régulièrement effectués.

Après avis de la CNIL, il n’est plus envisagé d’introduire intentionnellement de faux positifs dans les notifications transmises aux personnes, afin de limiter les risques de ré-identification dans certains types d’attaques.

La CNIL avait soulevé dans son avis du 25 mai précité que l’absence de prise en compte du contexte des contacts (médecins, personnes protégées par des parois séparatrices etc.) était susceptible de générer des faux positifs et qu’il faudrait à l’avenir prévoir un bouton qui permette de désactiver momentanément l’application ; ceci a été fait. En outre, la deuxième version de l’application prévoit que celle-ci n’est plus activée une bonne fois pour toute ; l’utilisateur doit l’activer quand il se trouve dans un lieu très fréquenté, dans un centre commercial, dans son entreprise, dans un restaurant etc.

Les système est-il sûr ? Des mesures efficaces ont-elle été prises pour prévenir et lutter contre les cyber-attaques (sécurité) et les accidents ou incidents (sûreté) ?

Le gouvernement a fait le choix de recourir à l’architecture centralisée, c’est-à-dire que seuls les historiques de proximité sont échangés entre l’utilisateur et le serveur au motif que « l’architecture centralisée offre davantage de garanties et de sécurité. Elle permet d’éviter qu’un serveur ne collecte la liste des personnes testées positives au coronavirus (même de façon anonyme) et que cette liste ne circule ou ne soit stockée sur un serveur ou sur des téléphones ». Il n’y a donc pas de création de fichier des personnes contaminées mais simplement une liste de contacts, pour lesquels toutes les données sont pseudo-anonymisées.

La CNIL a insisté dans son avis du 24 avril sur la nécessité de prendre des mesures de sécurité de très haut niveau pour pallier le risque de détournement de finalités des données qui sont sur le serveur central. Elle a indiqué que l’algorithme de cryptographie 3 DES ne devrait plus être utilisé, ce qui a été suivi. 

Là encore, elle est en alignement avec les recommandations de la Commission européenne précitées selon lesquelles « des techniques cryptographiques de pointe doivent être mises en œuvre pour sécuriser les données stockées dans les serveurs et les applications, les échanges entre les applications et le serveur distant ». 

Concernant la fiabilité et la sécurité attachée à l’informatique de l’application, le contenu de l’application TousAntiCovid indique que la publication du code source permet de confronter l’application à la communauté scientifique pour identifier les possibles failles.

Le fait que l’agence nationale de la sécurité des systèmes d’information (l’ANSSI) soit membre de l’équipe TousAntiCovid est un gage de prise au sérieux de ces problématiques. 

L’application mentionne que « les données de géolocalisation ne sont ni enregistrées ni échangées ». La formulation ici encore semble prudente. Est-ce à dire qu’il serait finalement possible de reconstituer les déplacements ?

La méthode d’authentification par captcha (qui permet de vérifier lors de l’activation initiale de l’application que cette dernière est utilisée par un être humain) qui reposait sur la technologie reCaptcha de la société Google, utilisée au début, est désormais remplacée par la technologie captcha développée par la société Orange. Il n’est donc plus fait appel au web service reCaptcha de Google depuis l’application TousAntiCovid. 

Cela constitue une avancée puisque l’utilisation de la technologie d’Orange est limitée à des fins de sécurité, ce qui n’était pas le cas de la technologie reCaptcha qui reposait « sur la collecte d’informations matérielles et logicielles (telles que les données sur les appareils et les applications), ces données étant transmises à Google pour analyse »[46]. Il en résultait que les informations fournies par la société Google aux développeurs n’avait pas pour seule finalité la sécurisation de l’application mais permettaient également des opérations d’analyse de la part de cette société. La CNIL avait indiqué que le recours à ce service de Google était susceptible d’entraîner la collecte de données personnelles non prévues dans le décret, et également des transferts de données hors de l’Union Européenne. Ces deux risques sont en principe maintenant écartés.

Quel sera le contrôle des algorithmes, des données et de l’application en général, notamment en termes de fiabilité, de sécurité et de sûreté ?

Dans les lignes directrices précitées le Comité européen à la protection indique que « afin de garantir leur équité, leur responsabilité et, plus largement, leur respect de la loi, les algorithmes doivent être vérifiables et doivent être régulièrement examinés par des experts indépendants ». Le contrôle régulier des algorithmes et des systèmes de sécurité de l’application est un point déterminant pour vérifier qu’ils fonctionnent bien selon les finalités souhaitées et que le système n’est pas en train d’être biaisé ou piraté. Ceci doit être fait par des experts indépendants. 

De même il faudra vérifier que les données n’ont pas été altérées ou piratées.

Des audits de sécurité sont prévus par l’ANSSI tout au long du développement de l’application et réalisés par des tiers. Ces audits devraient se poursuivre ensuite tout au long de l’utilisation de l’application.

La CNIL est favorable à une évaluation de l’application après expérimentation. Un comité spécialisé de liaison et de contrôle évaluera donc l’application afin de vérifier si l’État fait ce qu’il dit.

Le décret précité prévoit que le responsable de traitement rende un rapport public sur le fonctionnement de TousAntiCovid dans les trente jours suivant le terme de la mise en œuvre de l’application, et au plus tard le 30 janvier 2021. 

Facteur humain et contrôle humain

Le téléchargement et l’utilisation de l’application sont-ils volontaires (opt-in) ou bien obligatoires ?

Le Comité européen à la protection a déjà pris position sur le fait que l’utilisation des demandes de recherche de contacts devrait être volontaire (lignes directrices précitées).

Le système TousAntiCovid est fondé sur le volontariat des utilisateurs. L’application est installée librement et gratuitement par les utilisateurs, qui ont en outre la faculté d’activer ou non la fonctionnalité de l’application permettant de constituer l’historique de proximité. Il est également possible de ne pas communiquer sur le fait que l’on a eu le virus et de ne pas transmettre au serveur l’historique de proximité. L’application peut être désinstallée à tout moment. La liberté individuelle est respectée à chaque étape du processus. L’utilisateur qui télécharge l’application ne se trouve pas engagé dans un processus obligatoire dont il perdrait le contrôle. Il reste totalement maître de sa démarche de déclarer ou non sa maladie. 

De plus, la CNIL, dans son avis du 24 avril 2020, a souligné que le volontariat ne doit pas uniquement se traduire par le choix de l’utilisateur de télécharger puis de mettre en œuvre l’application mais que cela signifiait que l’accès aux tests, aux soins, à la sortie du confinement, à l’utilisation des transports, au retour au travail ne devait pas être conditionné par le téléchargement et l’utilisation de l’application. Aucun accès à un quelconque lieu ou service ne doit y être conditionné. Cela constituerait pour la CNIL une discrimination. Ainsi, l’installation de l’application ne donne accès à aucun droit ou aucun avantage spécifique. Cette information est fournie dans le contenu de l’application.

La CNIL se conforme en cela à la position du Comité européen à la protection des données selon laquelle « les personnes qui décident de ne pas pouvoir utiliser ces applications ne devraient subir aucun désavantage. » (lignes directrices précitées). Il n’y a à ce jour aucune raison de penser que l’application devrait devenir obligatoire directement ou indirectement par une restriction des services qu’engendrerait l’absence de téléchargement. Ceci serait contraire à l’avis de la CNIL. A ce jour, les avis de la CNIL concernant TousAntiCovid ont toujours été suivis, (ce qui a d’ailleurs permis à la CNIL de lever sa mise en demeure, le 3 septembre 2020) et il est certain qu’elle veillera à ce que ce point soit respecté. Le site TousAntiCovid indique à ce sujet qu’il s’agit d’un « enjeu de liberté publique ».

Transparence

Selon les lignes directrices du HLEG précitées, la transparence se décompose en trois éléments : la traçabilité[47], l’explicabilité[48] et la communication sur les limites du système.

Quelle est la transparence attachée à TousAntiCovid ?

Le code source mis en œuvre dans le cadre de TousAntiCovid est rendu public et est accessible à partir des sites internet du Gouvernement (https://www.gouvernement.fr/info-coronavirus/tousanticovid), du Ministère des Solidarités et de la Santé (https://solidarites-sante.gouv.fr/soins-et-maladies/maladies/maladies-infectieuses/coronavirus/tousanticovid), du Ministère de l’Économie, des Finances et de la Relance (https://www.economie.gouv.fr/tousanticovid), et de l’application elle-même. La CNIL a salué le libre accès aux protocoles utilisés ainsi qu’au code source. Nous n’avons pas trouvé sur le site de l’application d’information pour les non avertis sur le fait de savoir si les algorithmes utilisés étaient supervisés ou non supervisés. Il serait utile de savoir qui est l’humain aux manettes et à quel moment il y a intervention humaine ou avec quels outils[49]. Il serait également intéressant pour les utilisateurs de comprendre, grâce à des explications simples, comment fonctionnent les algorithmes de l’application. 

Une autre piste d’amélioration serait d’expliquer clairement à l’utilisateur non averti que l’application ne permet pas l’anonymisation des données mais seulement une pseudo-anonymisation, et qu’il est donc possible de remonter à l’identité de l’utilisateur, même si de nombreuses précautions sont prises pour minimiser le risque de ré-identification.

Suite aux recommandations de la CNIL en date du 25 mai, les droits à l’effacement et d’opposition des utilisateurs prévus par le RGPD ont été instaurés pour être en conformité avec l’obligation légale.

Les personnes concernées sont informées des principales caractéristiques du traitement et de leurs droits, conformément aux dispositions des articles 13 et 14 du règlement (UE) du 27 avril 2016 précité, au moment de l’installation de l’application TousAntiCovid. Elles sont en outre prévenues qu’en cas de partage de leur historique de proximité sur le serveur central, les personnes identifiées comme leurs contacts à risque de contamination seront informées qu’elles auront été à proximité d’au moins un autre utilisateur diagnostiqué ou dépisté positif au virus de la Covid-19 au cours des quinze derniers jours ainsi que de la possibilité limitée d’identification indirecte susceptible d’en résulter lorsque ces personnes ont eu un très faible nombre de contacts pendant cette période.

L’application fournit un lien vers le site du Ministère de l’Économie, des Finances et de la Relance où se trouve un portail TousAntiCovid sur lequel il est possible de trouver une abondante documentation, notamment un guide pratique, très simple et pédagogique, sur l’application, un mode d’emploi détaillé, un guide pour accompagner les aidants, les débats parlementaires ainsi que les différents avis des commissions d’experts. Il est possible de poser directement des questions sur l’application et une liste de réponses sont alors transmises par le biais d’une FAQ avant toute réponse personnalisée. Un lien est créé vers un test en ligne gratuit pour savoir s’il est probable que l’on soit infecté par le virus ou non et s’il faut se faire dépister, avec bien entendu les réserves d’usage sur la fiabilité du test. Depuis la nouvelle version de l’application sortie le 22 octobre, il est également possible d’obtenir des données sur la situation épidémiologique, d’avoir accès à une carte de centres de dépistage, des conseils sur la Covid-19, et un accès facilité à l’attestation dérogatoire de déplacement pour les zones concernées par le couvre-feu. Cet effort de transparence et d’information très substantiel est à saluer.

De nombreuses mesures ont été adoptées pour assurer la traçabilité des données et rendre l’application intelligible mais il existe peu de communication sur les limites de l’application et ses risques d’erreurs. Des efforts pédagogiques pourraient être faits sur ce dernier point. 

Bien-être sociétal et environnemental

Protection de la santé publique et de l’intérêt général

L’application contribue à la lutte contre la pandémie de la Covid-19 et sert donc ainsi l’intérêt général de santé publique.

Conformément à l’avis de la CNIL, le gouvernement français a décidé de fonder le traitement TousAntiCovid sur la base légale de la mission d’intérêt public de lutte contre l’épidémie de Covid-19, et non pas sur la base légale du consentement. C’est la raison pour laquelle le gouvernement a pris le décret n° 2020-650 du 29 mai 2020 relatif au traitement de données dénommé « StopCovid » conformément à l’article 9-2-1 du règlement général sur la protection des données (RGPD).

Souveraineté nationale

Comme il est indiqué sur l’application, TousAntiCovid a été créée sous la supervision du Ministère des Solidarités et de la Santé et du Secrétariat d’État chargé du Numérique. L’équipe qui a développé TousAntiCovid est composée de INRIA, ANSSI, Capgemini, Dassault systèmes, Inserm, Lunabee Studio, Ministère des Solidarités et de la Santé, Orange, Santé publique France (i.e. l’agence nationale de santé publique) et Withings. 

Le système français se veut délibérément indépendant des entreprises les plus puissantes de l’Internet (GAFA). Ceci permet de limiter grandement les risques de transfert et de croisement de données qui, comme expliqué plus haut, permettent la ré-identification des individus. C’est donc un choix de protection renforcée des données personnelles. Le contenu de l’application TousAntiCovid fait état du fait que « les solutions proposées par Apple et Google reposent sur la transmission dans tous les smartphones de pseudonymes pour les personnes diagnostiquées positives. Cela revient à dire qu’un diagnostic médical, même sous une forme encryptée circule dans toutes les applications. Les risques de faille sont importants et des modèles d’attaques informatiques sont déjà disponibles sur le web ».

C’est également un moyen d’asseoir la souveraineté nationale et de développer l’excellence nationale. C’est bien ainsi que le présente le gouvernement sur son site : « la protection de la santé des Français est une mission qui relève exclusivement de l’État et non d’acteurs privés internationaux… C’est une question de souveraineté sanitaire et technologique ».

Cependant cette souveraineté nationale ne doit pas être un frein à l’interopérabilité des solutions adoptées au sein de l’Union Européenne. Il est indispensable et requis par la recommandation 2020/518 de la Commission européenne précitée que cette application s’inscrive dans une approche européenne et qu’elle soit coordonnée au niveau de l’Union Européenne. Dans son avis du 25 mai 2020, la CNIL a pris acte que « des évolutions de l’application et du protocole de suivi des contacts, notamment afin de permettre une interopérabilité à l’échelle de l’Union Européenne, sont susceptibles d’être développées à moyen terme ». Malheureusement, étant basée sur la même infrastructure que StopCovid, l’application TousAntiCovid présente toujours l’inconvénient de ne pas être interopérable avec les autres applications disponibles dans les pays voisins. 

Processus démocratique

De nombreux organismes ont été consultés pour la mise en place de TousAntiCovid :

  • la CNIL a rendu deux avis, une mise en demeure et une décision ; 
  • le Conseil national du numérique (CNNum), le Conseil scientifique, l’Académie Nationale de Médecine, le Centre européen de prévention et de contrôle des maladies, le Comité National Pilote d’Ethique du Numérique, le Conseil National de l’Ordre des Médecins, la Commission nationale consultative des droits de l’homme, la Commission Supérieure du Numérique et des Postes ont émis des avis et des recommandations.

Des débats démocratiques ont eu lieu au sein de l’Assemblée Nationale le 28 mai 2020 et au sein du Sénat le 27 mai, qui ont voté en faveur de l’application. Un décret a ensuite été pris pour autoriser la création de l’application.

Diversité, non discrimination et équité

Le téléchargement de l’application est gratuit

La gratuité et la simplicité de l’application la rend accessible à toute personne munie d’un téléphone mobile ou d’une tablette.

Les enfants, les personnes âgées et les personnes handicapées peuvent-elles avoir accès à l’application ?

L’application est accessible aux mineurs. Dans son avis du 25 mai 2020, la CNIL a invité le ministère à intégrer des développements spécifiques à la fois pour les mineurs eux-mêmes mais aussi pour leurs parents. L’application invite les mineurs de moins de 15 ans à discuter avec leurs parents ou leurs responsables légaux de l’opportunité d’installer l’application.

 Concernant les personnes âgées, celles-ci sont plus éloignées du monde numérique et il a été impératif de mettre en place à leur attention des systèmes parallèles et efficaces pour qu’elles soient efficacement alertées sur le fait d’avoir été en contact avec une personne infectée, de sorte à ce que l’existence même de l’application n’engendre pas une discrimination à leur encontre en termes de prise en charge et de soins. Nous avons déjà souligné qu’il est possible de télécharger de l’application un guide complet, pédagogique et simple, pour accompagner les aidants à la prise en main de l’application.

Par ailleurs l’application est très simple d’usage et en principe accessible aux personnes handicapées. 

Responsabilisation

Qui est le responsable du traitement ?

Le responsable du traitement est le ministère en charge de la politique sanitaire qui en donne la sous-traitance à INRIA. 

La CNIL a salué le fait que le fournisseur de service informatique en nuage hébergeant l’infrastructure de l’application en qualité de sous-traitant possède des centres de données en France et que les données personnelles ne sont pas transférées en dehors de l’Union Européenne.

Quels sont les recours ?

L’application prévoit la possibilité de saisir la CNIL si l’on juge que le traitement de ses données ne respecte pas la règlementation en vigueur sur les données personnelles.

Elle prévoit également la possibilité de poser des questions.

Mais nous n’avons pas identifié de mécanisme permettant aux utilisateurs de signaler des problèmes liés aux biais, à la discrimination ou aux mauvaises performances de l’application.

La CNIL gardienne du respect de la règlementation sur les données personnelles

Le dispositif doit donc remplir les conditions prévues par la Convention européenne de sauvegarde des droits de l’homme et des libertés fondamentales, la Charte des droits fondamentaux de l’union européenne et les garanties spécifiques du RGPD. Il doit ainsi être nécessaire, proportionné à l’objectif poursuivi et ne pas faire disparaître le respect de la vie privée et des données personnelles. 

Ceci explique que la CNIL se réserve la possibilité d’évaluer régulièrement l’efficacité du dispositif qui permettra de dire s’il reste nécessaire dans le temps. Des doutes sur cette efficacité ont largement été émis dans la presse en raison de son faible téléchargement par rapport à la population globale. Ce que répond le site TousAntiCovid sur ce point, c’est que l’application est utile dès les premiers téléchargements car elle permet de gagner du temps et de précieuses heures en alertant les personnes ayant été en contact avec une personne malade, ce qui accélère la prise de mesures sanitaires. Une autre limite soulevée réside dans le fait que les personnes âgées, qui sont très à risque, ont probablement peu le réflexe de télécharger l’application. Le contrôle d’efficacité de la CNIL sera donc précieux pour voir s’il est utile de maintenir l’application dans le temps. 

A la fin du mois d’octobre, TousAntiCovid affichait plus de 6 millions de téléchargements, soit mieux en sept jours que StopCovid en quatre mois d’existence. Ce chiffre comprend néanmoins environ 1,2 million de personnes qui avaient déjà adopté StopCovid. 

 La CNIL insiste sur le fait que pour être utile et nécessaire, l’application doit s’intégrer à un plan d’ensemble de lutte contre l’épidémie, qui inclut « la mobilisation du personnel de santé et d’enquêteurs sanitaires, la disponibilité de masques de tests, l’organisation de dépistages, les mesures de soutien, les informations et le service délivrés aux personnes ayant reçu l’alerte, la capacité à les isoler dans des lieux adéquats etc. » (Avis du 24 avril précité). En d’autres termes, l’application devrait être présentée comme un outil supplémentaire pour faire face à la Covid-19, en aucun cas comme un dispositif qui remplacerait le masque, les gestes barrière et la distanciation sociale qui sont des moyens à la portée de chacun, low tech et très efficaces pour limiter les contaminations. 

Pour respecter le principe de proportionnalité, il est prévu que TousAntiCovid disparaisse six mois après la fin de l’état d’urgence sanitaire.

La CNIL a validé dans son avis du 25 mai 2020 que l’application ne prévoit ni droit d’accès aux données, ni droit de rectification et de limitation, car les données sont pseudo-anonymisées et que l’exercice de ces droits nécessiterait une identification de la personne concernée, ce qui affaiblirait la sécurité de l’ensemble de l’application. Par contre, elle a considéré que le droit à opposition matérialisé par la possibilité pour l’utilisateur de cesser à tout moment d’utiliser l’application et le droit à effacement étaient applicables au dispositif, ce qui a été finalement intégré. 

La CNIL a bien entendu rappeler la nécessité de procéder à une analyse d’impact, ce qui a été fait.

Pour conclure sur l’application française, son bilan éthique apparaît positif car la plupart des critères posés par les experts de la Commission européenne (HLEG) ou du Chaos Computer Club précités sont bien remplis. Cette application représente une alternative véritablement éthique au recours à des technologies beaucoup plus intrusives telles que la reconnaissance faciale ou la géolocalisation qui portent atteinte aux libertés individuelles et à la vie privée.

Les critères les plus difficiles à évaluer par les éthiciens, et pourtant déterminants, sont la robustesse de l’application et sa sécurité ainsi que son efficacité. Il faudra encore attendre l’avis de la CNIL et l’évaluation des experts techniques de l’informatique et de la santé publique pour savoir ce qu’il en est réellement. 

Une piste d’amélioration identifiable aujourd’hui est, comme nous avons déjà eu l’occasion de l’évoquer, l’interopérabilité de l’application TousAntiCovid avec les autres applications européennes pour faciliter les échanges intra-européens et la libre circulation des personnes et des services, piliers de l’Union Européenne. 

CONCLUSION

Nous avons exposé les différences et les interrelations entre les concepts de « respect de la vie privée », « protection des données personnelles » et « éthique » en montrant que dans la littérature ces concepts étaient souvent mélangés avec pour résultat une certaine confusion. Il importe de rétablir la nature, la portée et les enjeux de ces trois concepts qui, bien que complémentaires, renvoient à des histoires et des objectifs de politique publique différents. 

Nous avons ensuite choisi d’appliquer ces concepts, et notamment celui de l’éthique qui s’est positionné récemment au cœur des enjeux humains de l’intelligence artificielle, au cas particulier, mais très important, du suivi des contacts dans le contexte de la pandémie relative au nouveau coronavirus. Nous avons souligné que les technologies numériques jouaient un rôle essentiel aujourd’hui dans la capacité que peuvent avoir les nations à limiter les risques de transmission de la Covid-19 et donc de contamination. Si les pays asiatiques ont été des leaders incontestables dans la conception et la mise en place d’applications de suivi des contacts, avec des succès qu’il faut reconnaître, liés notamment à la discipline plus grande des populations par rapport à celles du monde occidental, mais aussi et surtout à la bonne intégration de ces applications dans l’arsenal général des stratégies publiques de réponse à la pandémie (tester, tracer, isoler), il faut convenir que les pays européens, plus que les États-Unis, ont su sans tarder trouver des réponses pertinentes malgré, ici et là, des hésitations et des changements de stratégie. Nous avons montré que les principales difficultés consistaient, d’une part, à positionner le curseur entre « efficacité » et « respect de la vie privée » (choix surtout politique) et, d’autre part, à choisir entre approche centralisée et approche décentralisée (choix surtout technique). 

Si l’Union Européenne a semblé tarder à prendre toute la mesure de la gravité de la pandémie à son début, elle s’est en revanche montré efficace en ce qui concerne la conception et le déploiement d’une application commune : une infrastructure permettant de connecter entre elles plusieurs applications européennes de traçage contre la propagation de la Covid-19 a été déployée dès octobre 2020.

La France, quant à elle, a fait preuve de stabilité dans sa démarche, maintenant au cours de la période son choix initial d’une approche centralisée basée sur la technologie Bluetooth. Mais ce choix ne lui a pas permis de rejoindre le groupe de pays européens capables de rendre leurs systèmes interopérables. C’est pourquoi nous avons poursuivi notre recherche en nous intéressant au cas singulier de la France. 

Le bilan éthique de l’application française apparaît positif. Cette application représente une alternative éthique au recours à des technologies beaucoup plus intrusives telles que la reconnaissance faciale ou la géolocalisation qui portent atteinte aux libertés individuelles et à la vie privée.

ANNEXE : QUELQUES EXEMPLES D’APPLICATIONS MOBILES

PaysNom de l’application (Développeur)Date de lancementProtocole / Mode de collecte des donnéesSite web
AllemagneCorona-Warn-App(SAP, Deutsche Telekom)16/06/2020Google / AppleBluetoothhttps://www.coronawarn.app/en/
AutricheStopp Corona(Croix-Rouge, Accenture)25/03/2020Google / AppleBluetoothhttps://www.stopp-corona.at
BelgiqueCoronalert(Autorités belges)30/09/2020Bluetoothhttps://coronalert.be/fr/
Danemarksmittestop18/06/2020Google / AppleBluetoothhttps://smittestop.dk
EspagneRadar Covid(Secrétaire d’État à la numérisation et à l’intelligence artificielle)15/09/2020Google / AppleBluetoothhttps://www.abc.es/tecnologia/moviles/aplicaciones/abci-radar-covid-todo-tienes-saber-sobre-aplicacion-rastreo-coronavirus-gomera-202006301129_noticia.html
FranceStopCovid(Inria)02/06/2020RoBERTBluetoothhttps://www.economie.gouv.fr/stopcovid
HongrieVirusRadar(Nextsense)13/05/2020Google / AppleBluetoothhttps://virusradar.hu
ItalieImmuni01/06/2020Google / AppleBluetoothhttps://www.immuni.italia.it/faq.html
NorvègeSmittestopp(Conception locale)16/04/2020 (application suspendue le 15/06)GPS, Bluetoothhttps://www.helsenorge.no/coronavirus/smittestopp
Pays-BasCoronaMelder Application18/08/2020Google / AppleBluetoothhttps://github.com/minvws/nl-covid19-notification-app-android
PologneProteGO Safe20/04/2020, revised 09/06/2020Google / AppleBluetoothhttps://www.gov.pl/web/protegosafe
PortugalSTAYAWAY COVID01/09/2020Google / AppleBluetoothhttps://stayawaycovid.pt/landing-page/
Royaume-UniNHS Covid-19 App24/09/2020Google / AppleBluetooth, code QRhttps://www.covid19.nhs.uk
SuèdeLa Suède ne prévoit pas pour le moment d’introduire une application.
SuisseSwiss Covid(Écoles polytechniques fédérales de Lausanne et Zurich)25/06/2020Google / AppleBluetoothhttps://www.bag.admin.ch/bag/en/home/krankheiten/ausbrueche-epidemien-pandemien/aktuelle-ausbrueche-epidemien/novel-cov/swisscovid-app-und-contact-tracing.html
Afrique du SudCovid Alert SA App01/09/2020Google / AppleBluetoothhttps://sacoronavirus.co.za/covidalert/
AustralieCOVIDSafe App13/05/2020Bluetoothhttps://www.health.gov.au/resources/apps-and-tools/covidsafe-app
Nouvelle-ZélandeNZ COVID Tracer App(Rush Digital)20/05/2020Bluetoothhttps://www.health.govt.nz/our-work/diseases-and-conditions/covid-19-novel-coronavirus/covid-19-resources-and-tools/nz-covid-tracer-app
Arabie SaouditeTabaud(Saudi Data and Artificial Intelligence Authority (SDAIA))14/06/2020Google / AppleBluetoothhttps://tabaud.sdaia.gov.sa/IndexEn
IsraëlHaMagenHamagen 2.029/03/202027/07/2020GPSGPS, Bluetoothhttps://govextra.gov.il/ministry-of-health/hamagen-app/download-en/
ChineClose Contact Detector(National Health Commission, CETC)10/02/2020Code QR, apps mobiles (Alipay, WeChat)http://en.nhc.gov.cn/2020-02/10/c_76416.htm
JaponCOCOA(Microsoft Corp.)19/06/2020Google / AppleBluetoothhttps://play.google.com/store/apps/details?id=jp.go.mhlw.covid19radar
MalaisieMyTrace03/07/2020Google / AppleBluetoothhttps://www.mosti.gov.my/web/en/mytrace/
SingapourTraceTogetherMinistère de la Santé (MOH), GovTech20/03/2020BlueTraceBluetoothhttps://www.tracetogether.gov.sg
CanadaCOVID Alert31/07/2020Google / AppleBluetoothhttps://www.canada.ca/en/public-health/services/diseases/coronavirus-disease-covid-19/covid-alert.html
États-UnisDe nombreux états, mais pas tous, ont lancé ou développent actuellement une application utilisant le protocole Google/Apple et collectant les données via Bluetooth.

REFERENCES

[1]     Datenschutzgesetz [Data Protection Act], Oct. 7, 1970, HESSISCHES GESETZ-UND VERORDNUNGSBLATT I.

[2]       Gesetz zum Missbrauch personenbezogener Daten bei der Datenverarbeitung [Act Concerning the Abuse of Data in Data Processing], Jan. 27, 1977, BGBL I at 201.

[3]       WARREN (Samuel D.) et BRANDEIS (Louis D.), « The Right to Privacy », Harvard Law Review, Vol. IV, December 15, 1890 No. 5.

[4]       STERLING, Bruce, Shaping Things, The MIT Press, octobre 2005. 

[5]       Groupe de travail « Article 29 » sur la protection des données, Avis 4/2007 sur le concept de données à caractère personnel, 20 juin 2007.

[6]     On peut faire remonter la notion de droit au respect de la vie privée jusqu’au quatorzième siècle, notamment en Angleterre. Cf. BANISAR, David, and DAVIES, Simon, « Privacy and Human Rights : An International Survey of Privacy Laws and Practice”, The John Marshall journal of computer & information law, 1999, https://www.gilc.nl/privacy/survey/

[7]       https://www.ohchr.org/FR/Issues/Privacy/SR/Pages/SRPrivacyIndex.aspx

[8]       WRIGHT, David, and DE HERT, Paul (Eds.), Privacy Impact Assessments, Springer, Dordrecht, 2012.

[9]       Le « bouclier vie privée UE-États-Unis » (EU-US Privacy Shield) tient compte des exigences énoncées par la Cour de justice de l’Union Européenne dans son arrêt du 6 octobre 2015, qui a déclaré invalide l’ancien régime de la sphère de sécurité (Safe Harbour, 2000)     
https://ec.europa.eu/commission/presscorner/detail/fr/IP_16_216

[10]     « La vertu est une disposition acquise de la volonté, consistant dans un juste milieu relatif à nous, lequel est déterminé par la droite règle et tel que le déterminerait un homme prudent. »

[11]     SPIEKERMANN, Sarah, Ethical IT Innovation: A Value-Based System Design Approach, CRC Press, Taylor & Francis Group, 2016, chapitre 4, pp.39-45.

[12]    « Un patient tétraplégique a réussi à marcher grâce à un exosquelette connecté à son cerveau », Le Monde, 4 June 2019

[13]     Geneviève Fieux-Castagnet and Kamel Bentchikou, Les exosquelettes connectés et leurs enjeux éthiques, PromEthosIA, 12 December 2019, https://promethosia.com/intelligence-artificielle-un-defi-de-civilisation-un-devoir-de-generation/

[14]     Future of Life Institute, “Asilomar AI principles”, Conference Asilomar, January 2017, https://futureoflife.org/ai-principles/

[15]     Montreal University, “The Montreal Declaration for a Responsible Development of Artificial Intelligence”, November 3, 2017, https://recherche.umontreal.ca/english/strategic-initiatives/montreal-declaration-for-a-responsible-ai/

[16]     The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems, “Ethically Aligned Design: Prioritizing Human Wellbeing with Autonomous and Intelligent Systems”, 28 January 2020, https://standards.ieee.org/content/dam/ieee-standards/standards/web/governance/iccom/IC16-002-Global_Initiative_for_Ethical_Considerations_in_the_Design_of_Autonomous_Systems.pdf

[17]     House of Lords, Select Committee on Artificial Intelligence, « AI in the UK : ready, willing and able ? », 16 avril 2018, https://publications.parliament.uk/pa/ld201719/ldselect/ldai/100/100.pdf

[18]     Partnership on AI, 2018, https://www.partnershiponai.org

[19]     AI4People, « An Ethical Framework for a Good AI Society : Opportunities, Risks, Principles, and Recommendations », octobre 2018, https://link.springer.com/article/10.1007/s11023-018-9482-5

[20]     Ethics guidelines for trustworthy AI, 8 April 2019, https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai

[21]     https://ec.europa.eu/digital-single-market/en/news/assessment-list-trustworthy-artificial-intelligence-altai-self-assessment

[22]     https://ec.europa.eu/digital-single-market/en/artificial-intelligence

[23]     https://ec.europa.eu/info/horizon-europe-next-research-and-innovation-framework-programme_en

[24]     https://edpb.europa.eu/news/news/2020/statement-edpb-chair-processing-personal-data-context-covid-19-outbreak_en

[25]     « Physicists Must Engage with AI Ethics, Now », Physics, 09/07/2020, https://physics.aps.org/articles/v13/107: « Chaque jour qui passe, l’IA façonne notre monde, nos vies, nos droits et notre avenir. En tant que scientifiques et citoyens, nous devons nous engager activement afin que Le SARS-Cov-2 l’IA se développe et soit utilisée d’une manière éthique et équitable. »

[26]     The Guardian, « French ministers in spotlight over poor take-up of centralised Covid app », 29 septembre 2020, https://www.theguardian.com/world/2020/sep/29/france-struggles-to-push-covid-app-as-neighbours-race-ahead

[27]     https://www.ccc.de/en/updates/2020/contact-tracing-requirements

[28]     Apple et Google ont développé une API qui permet aux téléphones iOS et Android de communiquer les uns avec les autres via Bluetooth. DP-3T est un protocole open-source pour le suivi des contacts, basé sur Bluetooth ; le registre des contacts du téléphone d’une personne est stocké localement afin qu’aucune entité centrale ne puisse savoir qui a été exposé.

[29]   Cf. Risk of airborne coronavirus spread being underplayed, say researchers, New Scientist, 7 juillet 2020.

[30]     Dans l’approche centralisée, qui a été promue par le consortium européen PEPP-PT (Pan-European Privacy-Preserving Proximity Tracing) lancé le 1er avril 2020, le serveur central génère les crypto-identifiants attribués aux utilisateurs puis se charge de recueillir les crypto-identifiants des personnes ayant été en contact avec une personne infectée, de réaliser un calcul sur la probabilité d’infection et de prévenir les utilisateurs, le cas échéant, d’une probable infection. De son côté, l’approche décentralisée est organisée autour d’un certain nombre de protocoles parmi lesquels on peut citer DP3T, PACT (Private Automated Contact Tracing) ou la coalition TCN. Au cours du printemps, ces différents consortiums se sont livrés une bataille féroce ponctuée de trahisons et de défections ! Avec l’approche décentralisée, les opérations de recherche des contacts sont réalisées sur l’appareil de l’utilisateur et les informations transmises au serveur central sont limitées au maximum. Ainsi, par exemple, dans le cas d’un protocole décentralisé comme DP3T les utilisateurs génèrent eux même les crypto-identifiants sur les téléphones et les échangent via Bluetooth lors d’une interaction prolongée. Lorsqu’un utilisateur est infecté, il déclare auprès du serveur central la liste des identifiants rencontrés récemment. Les autres utilisateurs vont périodiquement télécharger depuis le serveur central cette liste d’identifiants ayant rencontré une personne infectée et comparer avec la liste stockée sur leur appareil afin d’indiquer à l’utilisateur si oui ou non il a pu être exposé.

[31]     https://ec.europa.eu/commission/presscorner/detail/en/ip_20_1904

[32]     Source : Is the UK’s NHS Covid-19 app too private?, BBC News, 30/10/2020.

[33]     Tribune d’un collectif d’universitaires, « StopCovid : une application inefficace et menaçante pour la démocratie », Libération, 27/04/2020. 

[34]     Comité européen à la protection des données : les lignes directrices 04/2020 sur l’utilisation des données de localisation et des outils de recherche des contacts dans le contexte de l’épidémie de COVID 19 https://edpb.europa.eu/sites/edpb/files/files/file1/edpb_guidelines_20200420_contact_tracing_covid_with_annex_fr.pdf

[35]     Recommandation (UE) 2020/518 de la Commission du 8 avril 2020 concernant une boîte à outils commune de l’Union en vue de l’utilisation des technologies et des données pour lutter contre la crise de la COVID -19 et sortir de cette crise, notamment en ce qui concerne les applications mobiles et l’utilisation de données de mobilité anonymisées https://op.europa.eu/fr/publication-detail/-/publication/1e8b1520-7e0c-11ea-aea8-01aa75ed71a1/language-fr

[36]     Ethics guidelines for trustworthy AI https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai

[37]     Décret n° 2020-650 du 29 mai 2020 relatif au traitement de données dénommé « StopCovid France »https://www.legifrance.gouv.fr/jorf/id/JORFTEXT000041936881/

[38]     Délibération n° 2020-056 du 25 mai 2020 portant avis sur un projet de décret relatif à l’application mobile dénommée « StopCovid » (demande d’avis n° 20008032).

[39]     https://www.cnil.fr/fr/application-stopcovid-cloture-de-la-mise-en-demeure-lencontre-du-ministere-solidarites-sante

[40]     Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données) https://eur-lex.europa.eu/legal-content/FR/TXT/?uri=CELEX%3A32016R0679

[41]     Lignes directrices 4/2020 relatives à l’utilisation de données de localisation et d’outils de recherche de contacts dans le cadre de la pandémie de COVID-19, adoptées le 21 avril 2020, point 3.1.27 https://edpb.europa.eu/sites/edpb/files/files/file1/edpb_guidelines_20200420_contact_tracing_covid_with_annex_fr.pdf

[42]     https://www.cnil.fr/fr/lanonymisation-de-donnees-personnelles

[43]     Délibération n° 2020-046 du 24 avril 2020 portant avis sur un projet d’application mobile dénommée « StopCovid » (demande d’avis n° 20006919)             
https://www.cnil.fr/sites/default/files/atoms/files/deliberation_du_24_avril_2020_portant_avis_sur_un_projet_dapplication_mobile_stopcovid.pdf

[44]     Le code IMEI permet d’identifier de manière unique chacun des terminaux de téléphone mobile. 

[45]     Un code QR ne comporte aucune information permettant d’identifier la personne concernée ; il est généré aléatoirement, apposé sur le résultat d’un examen de dépistage au virus de la Covi-19, puis envoyé à la personne ayant effectué le test de dépistage, en cas de résultat positif.

[46]     https://www.google.com/recaptcha/admin/create?pli=1

[47]     Capacité à suivre le parcours d’une donnée saisie à travers toutes les étapes de l’échantillonnage, de l’étiquetage, du traitement et de la prise de décision.

[48]     Caractéristique d’un système d’IA intelligible pour les non-experts. Un système d’IA est intelligible si sa fonctionnalité et son fonctionnement peuvent être expliqués de manière non technique à une personne non spécialisée dans le domaine.

[49]     L’humain est dans la boucle : le système peut exécuter une tâche puis s’arrêter pour attendre les commandes humaines avant de continuer ; l’humain est sur la boucle : il fonctionne de façon totalement autonome, mais un humain peut avoir un rôle de supervision si le système tombe en panne ; l’humain est aux commandes : il supervise l’activité globale du système et peut décider de ne pas l’utiliser

Artificial Intelligence : a civilizational challenge, a generational duty

Big Tech, Géopolitique

Geneviève Fieux-Castagnet and Gerald Santucci

September 2019

INTRODUCTION

The phrase “Artificial Intelligence” is not new. The Dartmouth Conference of 1956 was the moment when Artificial Intelligence gained its name, its mission, and its first bunch of famed scientific leaders – Marvin Minsky, John McCarthy, Claude Shannon, Nathan Rochester. 

The concept, however, goes far back in antiquity, with myths, legends, stories of artificial beings endowed with “intelligence” or “consciousness” by master craftsmen, and in history, with the building of realistic humanoid automatons by craftsmen from every civilization, from Greece and Egypt to China, India and Europe, and later of calculating machines by many mathematicians like Gottfried Leibniz, Charles Babbage, Ada Lovelace, and so forth. 

Then, developments accelerated in the second half of the twentieth century, with a sequence of periods which scholars called “the golden years” (1956-1974), “the first AI winter” (1974-1980), “Boom” (1980-1987), and “Bust: the second AI winter” (1987-1993). After 1993, due to increasing computer power, the field of Artificial Intelligence finally achieved some of its oldest goals by being applied and used successfully throughout the industry, although hardly visible for non-specialists. 

Since 2000, access to large amounts of data (“big data”) collected from billions of “Internet of Things” smart connected devices, faster computers, and new machine learning techniques were successfully applied to many problems throughout the economy. Advances in ‘deep learning”, in particular deep convolutional neural networks and recurrent neural networks, drove progress and further research in image and video processing, text analysis, and speech recognition. 

Today we begin to live with a new customised dictionary or lexicon containing words like “algorithm”, “machine learning”, “deep learning”, or “neural network”, which are an integral part of our cultural landscape. 

At the same time, we see almost all countries of the world launching comprehensive research and development programmes geared to enhance Artificial Intelligence skills and to leverage this discipline for economic, sustainable and inclusive growth as well as social development. Decision-makers are aware that Artificial Intelligence, as an unprecedented revolutionary, disruptive and once-in-a-generation phenomenon, presents a tremendous potential that shouldn’t be ignored, and in fact must be unleashed. Beyond the short-term financial impact of Artificial Intelligence deployment, nation-states are striving to hit far greater achievements in domains like healthcare, agriculture, education, smart cities, mobility and transportation, and so on. 

Artificial Intelligence is poised to disrupt our world. With intelligent machines enabling high-level cognitive processes like thinking, perceiving, learning, problem solving and decision making, coupled with advances in data collection and aggregation, analytics and computer processing power, it presents opportunities to complement and supplement human intelligence and enrich the way people live and work. 

Every new day brings evidence of the formidable opportunities created by Artificial Intelligence, but also the immense societal and ethical, and even civilizational challenges that it poses to humanity. At the same time countries are seeking to boost R&D in Artificial Intelligence, they design and debate their own legislative and regulatory approaches aimed at addressing these challenges. International organisations such as OECD and the European Commission are also working on “guidelines” about ethics in Artificial Intelligence and associated technologies. 

In the past few years, tech companies – notably the “GAFA” in the United States (Google, Apple, Facebook Amazon) and the “BATX” in China (Baidu, Alibaba, Tencent, Xiaomi) – certainly seem to have embraced ethical self-scrutiny: establishing ethics boards, writing ethics charters, and sponsoring research in topics like algorithmic bias. 

It is too early to say if these boards and charters are changing how these big companies work or holding them accountable in any meaningful way. But what matters is that both public sectors and private companies are working, sometimes separately but more and more often collaboratively, in order to strike a balance between innovation and protection, business and ethics. 

We think time is ripe to provide a framework conducive to a better understanding and structuring of the main recent developments, opportunities and problems. 

This is the purpose of this essay. 

Artificial Intelligence : a global challenge of disruptive change

“Fifty thousand years ago with the rise of Homo sapiens sapiens.
Ten thousand years ago with the invention of civilization.
Five hundred years ago with the invention of the printing press.
Fifty years ago with the invention of the computer.
In less than thirty years, it will end.” 
Jaan Tallinn, Staring into the Singularity, 2007 

The phrase “Artificial Intelligence” – in short AI – conjures concepts like robotics, facial recognition, chatbots, or autonomous vehicles. But in fact, well before the advent of even electricity, humans were fixated on creating artificial creatures, for example medieval alchemists who believed they could transform things into forms of artificial life (“philosopher’s stone” or “elixir of life”), thus exploring immortality, or Judah Loew ben Bezalel, the late 16th century rabbi of Prague who invented the Golem out of clay, with the intention of protecting the Jewish people from attacks. 

The age-old desire to expand intelligence was accelerated in the 1940s with the creation of the computer, providing scientists with the power to generate models capable of solving complex tasks, emulating functions previously only carried out by humans. The advent and maturation of artificial intelligence is now blurring the boundaries between human and technology. Where do we end, and where does technology begin? 

The first neural network stemmed from the idea that rational thoughts could be transformed into formulaic rules. The first step towards artificial neural networks came in 1943 when Warren McCulloch, a neurophysiologist, and a young mathematician, Walter Pitts, wrote a paper on how neurons might work. They modelled a simple neural network with electrical circuits. The early timelines of Artificial Intelligence include genial inventors such as Alan Turing, Claude Shannon, or Ada Lovelace. From the work of the “Godfathers of AI”, Yoshua Bengio, Yann LeCun and Geoffrey Hinton, working away on convolutional neural networks during the “AI Winter” of the 1970s, emerged the 21st century ground-breaking work being done in research and industry applications to solve some of the world’s biggest challenges. 

There is currently no agreed definition of “Artificial Intelligence” (…) AI is used as an umbrella term to refer generally to a set of sciences, theories and techniques dedicated to improving the ability of machines to do things requiring intelligence. An AI system is a machine-based system that makes recommendations, predictions or decisions for a given set of objectives. It does so by: (i) utilising machine and/or human-based inputs to perceive real and/or virtual environments; (ii) abstracting such perceptions into models manually or automatically; and (iii) deriving outcomes from these models, whether by human or automated means, in the form of recommendations, predictions or decisions.[1]

The two tables below give the main common terms used in Artificial Intelligence and some key milestones in the Artificial Intelligence Timeline. 

Common terms used in Artificial Intelligence[2]

Algorithm 

A finite suite of formal rules/commands, usually in the form of a mathematical logic, that allows for a result to be obtained from input elements. They form the basis for everything a computer can do, and are therefore a fundamental aspect of all AI systems.

Artificial Intelligence (AI)

An umbrella term that is used to refer to a set of sciences, theories and techniques dedicated to improving the ability of machines to do things requiring intelligence.

AI system

A machine-based system that can make recommendations, predictions or decisions for a given set of objectives. It does so by utilising machine and/or human-based inputs to: (i) perceive real and/or virtual environments; (ii) abstract such perceptions into models manually or automatically; and (iii) use model interpretations to formulate options for outcomes.

AI system lifecycle

A set of phases concerning an AI system that involve: (i) planning and design, data collection and processing, and model building; (ii) verification and validation; (iii) deployment; (iv) operation and monitoring; and (v) end of life.

Automated decision-making

A process of making a decision by automated means. It usually involves the use of automated reasoning to aid or replace a decision-making process that would otherwise be performed by humans. It does not necessarily involve the use of AI but will generally involve the collection and processing of data.

Expert system 

A computer system that mimics the decision-making ability of a human expert by following pre-programmed rules, such as ‘if this occurs, then do that’. These systems fuelled much of the earlier excitement surrounding AI in the 1980s, but have since become less fashionable, particularly with the rise of neural networks. 

Machine learning 

A field of AI made up of a set of techniques and algorithms that can be used to “train” a machine to automatically recognise patterns in a set of data. By recognising patterns in data, these machines can derive models that explain the data and/or predict future data. When provided with sufficient data, a machine learning algorithm can learn to make predictions or solve problems, such as identifying objects in pictures or winning at particular games, for example. In summary, it is a machine that can learn without being explicitly programmed to perform the task. 

Model

An actionable representation of all or part of the external environment of an AI system that describes the environment’s structure and/or dynamics. The model represents the core of an AI system. A model can be based on data and/or expert knowledge, by humans and/or by automated tools like machine learning algorithms.

Neural network 

Also known as an artificial neural network, this is a type of machine learning loosely inspired by the structure of the human brain. A neural network is composed of simple processing nodes, or ‘artificial neurons’, which are connected to one another in layers. Each node will receive data from several nodes ‘above’ it, and give data to several nodes ‘below’ it. Nodes attach a ‘weight’ to the data they receive, and attribute a value to that data. If the data does not pass a certain threshold, it is not passed on to another node. The weights and thresholds of the nodes are adjusted when the algorithm is trained until similar data input results in consistent outputs. 

Deep learning 

A more recent variation of neural networks, which uses many layers of artificial neurons to solve more difficult problems. Its popularity as a technique increased significantly from the mid-2000s onwards, as it is behind much of the wider interest in AI today. It is often used to classify information from images, text or sound. 

Personal data

Information relating to an identified or identifiable natural person, directly or indirectly, by reference to one or more elements specific to that person. Sensitive personal data concern personal data relating to “racial” or ethnic origin, political opinions, religious or philosophical beliefs, trade union membership, as well as genetic data, biometric data, data concerning health or concerning sex life or sexual orientation. 

Personal data processing

Any operation or set of operations performed or not using automated processes and applied to personal data or sets of data, such as collection, recording, organisation, structuring, storage, adaptation or modification, retrieval, consultation, use, communication by transmission, dissemination or any other form of making available, linking or interconnection, limitation, erasure or destruction. 

Artificial Intelligence Timeline

1308 Catalan poet and theologian Ramon Llull publishes Ars generalis ultima (The Ultimate General Art), further perfecting his method of using paper-based mechanical means to create new knowledge from combinations of concepts

1666 Mathematician and philosopher Gottfried Leibniz publishes Dissertatio de arte combinatoria (On the Combinatorial Art), following Ramon Llull in proposing an alphabet of human thought and arguing that all ideas are nothing but combinations of a relatively small number of simple concepts

1763 Thomas Bayes develops a framework for reasoning about the probability of events – Bayesian inference will become a leading approach in machine learning

1854 George Boole argues that logical reasoning could be performed systematically in the same manner as solving a system of equations

1898 Nikola Tesla makes a demonstration of the world’s first radio-controlled vessel equipped “with a borrowed mind”

1914 The Spanish engineer Leonardo Torres y Guevedo demonstrates the first chess-playing machine, capable of king and rook against king endgames without human intervention

1921 Czech write Karel Capek introduces the word “robot” (from “robota”, meaning work) in his play R.U.R. (Rossum’s Universal Robots)

1929 Makoto Nishimura designs Gakutensoku, Japanese for “learning from the laws of nature”, the first robot built in Japan, which could change its facial expressionand move its head and hands via an air pressure mechanism

1943 Warren S. McCulloch and Walter Pitts publish “A Logical Calculus of The Ideas Immanent in Nervous Activity” in the Bulletin of Mathematical Biophysics, in which paper they discuss networks of idealized and simplified artificial “neurons” and how they might perform simple logical functions

1949 Edmund Berkeley publishes Giant Brains: Or Machines that Think

1949 Donald Hebb publishes Organisation of Behaviour: A Neuropsychological Theory in which he proposes a theory about learning based on conjectures about neural networks and the ability of synapses to strengthen or weaken over time

1950 Claude Shannon’s “Programming a Computer for Playing Chess” is the first published article on developing a chess-playing program

1950 TURING TEST In “Computing Machinery and Intelligence”, computer scientist Alan Turing proposes “the imitation game”, a test for machine intelligence – if a machine can trick humans into thinking it is human, then it has intelligence 

1955 (31 August) ARTIFICIAL INTELLIGENCE BORN The term “artificial intelligence” is coined by computer scientist John McCarthy (Dartmouth College), Marvin Minsky (Harvard University), Nathaniel Rochester (IBM) and Claude Shannon (Bell Telephone Laboratories) to describe “the science and engineering of making intelligent machines”

1955 (December) THE LOGIC THEORIST, considered by many to be the first AI program, is developed by Allen Newell and Herbert Simon

1956 (July-August) THE DARTMOUTH SUMMER RESEARCH PROJECT on Artificial Intelligence is discussed for a month of brainstorming, in Vermont, USA, at the initiative of John McCarthy, with the intention of drawing the talent and expertise of others interested in machine intelligence

1958 John McCarthy develops programming language Lisp

1959 Arthur Samuel coins the term “machine learning”, reporting on programming a computer “so that it will learn to play a better game of checkers than can be played by the person who wrote the program”

1961 UNIMATE First industrial robot, Unimate, goes to work on an assembly line in a General Motors plant in New Jersey, replacing humans

1964 ELIZA Pioneering chatbot developed by Joseph Weizenbaum at MIT holds conversations with humans

1966 SHAKEY The “first electronic person” from Stanford, Shakey, is a general-purpose mobile robot which is able to reason about its own actions

1997 DEEP BLUE Deep Blue, a chess-playing computer from IBM defeats a reigning world chess champion, Garry Kasparov

1998 KISMET Cynthia Breazeal at MIT introduces KISmet, an emotionally intelligent robot insofar as it detects and responds to people’s feelings

1999 AIBO Sony launches first consumer robot pet dog AiBO (AI robot) with skills and personality that develop over time

2002 ROOMBA First mass produced autonomous robotic vacuum cleaner from iRobot learns to navigate and clean homes

2005 STANLEY A heavily-modified 2005 Volkswagon Touareg named “Stanley” and representing Stanford University Racing finished the 131.6 mile trek of the “DARPA Grand Challenge” with no human input to steer the vehicle through the Nevada desert, earning the Stanford team a cash prize of $2 million in taxpayer dollars and a whole lot of bragging rights

2011 SIRI Apple integrates Siri, an intelligent virtual assistant with a voice interface, into the iPhone 4S 

2011 WATSON IBM’s question answering computer Watson wins first place on popular $1M prize television quiz show Jeopardy! by defeating champions Brad Rutter and Ken Jennings

2014 EUGENE Eugene Goostman, a chatbot passes the Turing Test with a third of judges believing Eugene is human

2014 ALEXA Amazon launches Alexa, an intelligent virtual assistant with a voice interface that can complete shopping tasks

2016 TAY Microsoft’s chatbot Tay goes rogue on social media making inflammatory and offensive racist comments

2017 ALPHAGO Google’s A.I. AlphaGo beats world champion Ke Jie in the complex board game of Go, notable for its vast number (2*170) of possible positions

2019 ALPHASTAR Google’s AI agent defeats pro StarCraft II players

The main – sometimes unspoken – reason why Artificial Intelligence has been so much discussed over the past few years is because it represents a disruptive phenomenon that is radically changing the existing social and economic systems. It is, as Siebel put it, an “evolutionary punctuation” that could be “intimately linked with the widespread death of species (…) Evolutionary punctuations are responsible for the cyclic nature of species: inception, diversification, extinction, repeat.”[3] In the past 500 million years, there have been five global mass extinction events that left only a minority of species surviving. The voids in the ecosystem were then filled by massive speciation of the survivors – after the Cretaceous-Tertiary event, for example, most well-known for the elimination of the dinosaurs, came the reign of mammals. Geologists argue that disruptive punctuations are on the rise, and the periods of stasis in between punctuations are fading. 

Based on Siebel Thomas M., op.cit., page 5

Taking the concept of “punctuated equilibrium” as a relevant framework for thinking about disruption in today’s economy, we could say that we are in the midst of an evolutionary punctuation: 

  • The average stay of corporations listed in the S&P 500 sharply declined from 61 years in 1958 to 25 years in 1980 and 18 years in 2011. At the present rate of evolution, it is estimated that three-quarters of today’s S&P 500 will be replaced by 2027[4].
  • Since 2000, 52 percent of the companies in the Fortune 500 have either gone bankrupt, been acquired, ceased to exist, or dropped off the list[5]. It is estimated that 40 percent of the companies in existence today will shutter their operations in the next ten years. 

“Enabled by cloud computing”, Siebel writes, “a new generation of AI is being applied in an increasing number of use cases with stunning results. And we see IoT everywhere – connecting devices in value chains across industry and infrastructure and generating terabytes of data every day.” In fact, Big Data, Artificial Intelligence, cloud computing and the Internet of Things, promise to transform the technoscape to a degree comparable to those of the five mass extinctions. Just as the Internet revolutionized business in the 1990s and 2000s, the ubiquitous use of artificial intelligence will transform business in the coming decades. While big tech companies like Google, Netflix and Amazon are early adopters of AI for consumer-facing applications, virtually every type of organisation, private and public, will soon use AI throughout their operations. 

The impact of Artificial Intelligence on the global economy is expected to be enormous, thus justifying Siebel’s idea of an “evolutionary punctuation” which, by the combined play of innovation and competition, will deeply and lastingly change the techno-economic landscape. According to PwC, by 2030 global GDP could increase by 14%, or $15.7 trillion, because of AI. If today AI contributes $1 trillion to global GDP, its contribution to the global GDP will increase 16-fold in the next decade, until 2030, according to the head of Russia’s largest bank Sberbank Herman Gref. And finally, according to McKinsey Global Institute, while the introduction of steam engines during the 1800s boosted labour productivity by an estimated 0.3% a year, the impact from robots during the 1990s around 0.4%, and the spread of IT during the 2000s 0.6%, additional global economic activity from the deployment of artificial intelligence is projected to be a whopping 1.2% a year, or 16% by 2030, amounting to $13 trillion! If delivered, this impact would compare well with that of other general-purpose technologies through history. 

The science fiction of yesterday quickly becomes reality. AI has already altered the way we think and interact with each other every day. Whether it’s in healthcare, education, or manufacturing, AI yields a great deal of success in nearly every industry. Whether it’s AI’s effect on start-ups and investments, robotics, big data, virtual digital assistants, and so forth, AI is surging as the main driver of change in the next decades:

  • Global GDP will grow by $15.7 trillion by 2030 thanks to AI.
  • By 2025, the global AI market is expected to be almost $60 billion.
  • AI can increase business productivity by 40% (source: Accenture).
  • AI start-ups grew 14 times and investment in AI start-ups grew 6 times since 2000.
  • Already 77% of the devices we use feature one form of AI or another.
  • Cyborg technology – or Nano Bio Info Cogno (NBIC) – will help us overcome physical and cognitive impairments.
  • Google analysts believe that by 2020, robots will be smart enough to mimic complex human behaviour like jokes and flirting

A number of factors, including labour automation, innovation, and new competition, affect AI-driven productivity growth. Micro factors, such as the pace of adoption of AI, and macro factors, such as the global connectedness or labour-market structure of a country, both contribute to the size of the impact. McKinsey examined seven possible channels of impact: the first three relate to the impact of AI adoption on the need for, and mix of, production factors that have direct impact on company productivity; the other four are externalities linked to the adoption of AI related to the broad economic environment and the transition to AI. The results are presented in the exhibit below. 

The process of disruption brought about by AI is something that we’ve only seen a few times in history. Electricity, the Industrial Revolution, and the Internet are the three that we can all think of, but this time it will be much faster. “Compared to electricity, it took decades for the electrical grid to be built up, and then people had to invent new ways to use the electricity—air conditioners, refrigerators, and so on. It took over a century, and only now we’re getting electric cars. But with AI, these engines work on the cloud, on the Internet, and you can program them and connect them with the data that’s also on the cloud. And engineers can access them. Open source also allows people to build on each other’s work. Compared to electricity, which took decades if not a century to become fully pervasive, AI can be pervasive in years. And this will bring tremendous value, tremendous efficiency, but also tremendous disruptions. Because it will change business practices, it will cause companies to go out of business, it will take away people’s jobs, especially if they are routine. It’s going to be a very exciting but also a very challenging decade ahead.”[6]

The “datafication” of everything will continue to accelerate, powered by the intersection of separate advances in infrastructure, cloud computing, artificial intelligence, open source and the overall digitalization of our economies and lives. Data science, machine learning and AI allow to add layers of intelligence into many applications, which are now increasingly running in production in all sorts of consumer and B2B products. As those technologies continue to improve and to spread beyond the initial group of early adopters into the broader world economic and societal corners, the discussion is shifting from purely technical matters into a necessary conversation around impact on our economies, societies and lives. In a world where data-driven automation becomes the rule (automated products, automated vehicles, automated enterprises), what is the new nature of work? How do we handle the social impact? How do we think about privacy, security, freedom? 

As highlighted by Kathleen Walch[7], if the use cases for AI are many, from autonomous vehicles, predictive analytics applications, facial recognition, to chatbots, virtual assistants, cognitive automation, and fraud detection, and so forth, there is also commonality to all these applications. She argues that all AI use cases fall into one or more of seven common patterns (see figure below). 

Artificial Intelligence is not just a further discipline or set of technologies and applications. It is a real disruption, an “evolutionary punctuation”, which is going to metamorphize the world economies and societies. 

Artificial Intelligence Global Outlook

“The race to become the global leader in artificial intelligence (AI) has officially begun.”
Tim Dutton, An Overview of National AI Strategies, 28/05/2018 

The Gartner AI Hype Cycle evaluates the business maturity of various dimensions underpinning AI. AI is currently overhyped in the entire world as a socioeconomic phenomenon. Scientists, industrialists, experts, media, governments, and individuals each have an opinion about AI, sometimes based on vague ideas of what it really is. Gartner’s Hype Cycle views AI as a pervasive paradigm and an umbrella term for many innovations at the different stages of value creation. The traffic jam at the “Peak of Inflated Expectations” is increasing, as early implementers grow in numbers, but production implementations remain scarce. A long line of high-promise innovation profiles at the “Innovation Trigger” phase are approaching the traffic jam at the Peak of Inflated Expectations, indicating that the AI hype will continue. None of the profiles in this Hype Cycle is obsolete before “Plateau”, but not all will survive, and many will morph into something different depending on the choices and decisions that customers are making today. 

Aware of the economic importance of Artificial Intelligence, many countries and regions, including Canada, China, Denmark, the EU Commission, Finland, France, India, Italy, Japan, Mexico, the Nordic-Baltic region, Singapore, South Korea, Sweden, Taiwan, the UAE, and the UK have released strategies to promote its use and development. No two strategies are alike, with each focusing on different aspects of AI policy: scientific research, talent development, skills and education, public and private sector adoption, ethics and inclusion, standards and regulations, and data and digital infrastructure. 

All countries are seeking to foster fast development of AI technologies, in particular by financing an ever-vibrant ecosystem of start-ups, products and projects[8]

It is a remarkable fact that so many countries of the world are addressing the development of Artificial Intelligence at both public sector and private sector level. Such an engagement has not been observed for the Internet of Things – Europe led initiatives in this field from the mid-2000s (2006-2012), followed by China (2009) and then other countries – or more recently for 5G, though these technologies are also disruptive in technological, socio-economic and ethical terms. We could argue that AI is considerably impacting the further development and deployment of the Internet of Things, and this is true, but this doesn’t explain the scope and scale of public programs for AI across the world compared to other transformative technologies. 

Another interesting feature concerns the importance given to ethics in addressing the AI challenges. All national and regional programs are primarily designed for research and innovation; however, the ethical dimension is rarely neglected. Everything happens as if humans were committed to reaping the full expected benefits of AI while at the same time carrying out a deep reflection on the normative questions around how AI should confront ethical, societal and legal dilemmas and what applications of AI, specifically with regards to security, privacy and safety, should be considered permissible. Such a balanced approach to an advanced technology is rather new – when work on ethics in the Internet of Things was proposed for discussion by an Expert Group set up by the European Commission in 2010-2012, no follow up was given on the premise that the issue of ethics had to be addressed, like other IoT-specific challenges, at the level of the global discussions about the Internet. 

We could be worried that the proliferation of public programs, including recommendations on AI ethics, leads to a waste of time and public money. Indeed, a lot of synergy could have been created by addressing the AI challenges, and at least the precompetitive aspects, in a more cooperative way by a large number of countries. 

Some examples of national strategies for the development and deployment of AI are described below. 

Australia

Australia does not yet have an artificial intelligence strategy. However, in the 2018–2019 Australian budget, the government announced a four-year. AU$29.9 million investment to support the development of AI in Australia. The government will create a Technology Roadmap, a Standards Framework, and a national AI Ethics Framework to support the responsible development of AI. In addition, in the its 2017 innovation roadmap, Australia 2030: Prosperity Through Innovation, the government announced that it will prioritise AI in the government’s forthcoming Digital Economy Strategy. This report is expected to be released in the second half of 2018. 

2018: The federal government’s 2018-19 budget earmarks AU$29.9 million over four years to strengthen Australia’s capability in artificial intelligence and machine learning (ML). The funding will be split between programs at the Department of Industry, Innovation and Science, which will receive the lion’s share of the funding, the CSIRO and the Department of Education and Training. The government said it would fund the development of a “technology roadmap” and “standards framework” for AI as well as a national AI Ethics Framework. Together they will “help identify opportunities in AI and machine learning for Australia and support the responsible development of these technologies.” The investment will also support Cooperative Research Centre projects, PhD scholarships, and other initiatives to increase the supply of AI talent in Australia. The budget funding for AI forms part of the government’s broader Australian Technology and Science Growth Plan.

January 2019: White Paper on “Artificial Intelligence: Governance and Leadership, Australian Human Rights Commission and World Economic Forum 2019. 

05/04/2019 à 31/05/2019: discussion paper, developed by CSIRO’s Data61 and designed to encourage conversations about AI ethics and inform the Government’s approach to AI ethics in Australia[9].

Canada

The Canadian government launched the 5-year Pan-Canadian Artificial Intelligence (AI) Strategy in its 2017 Budget with the allocation of CAD$125 million[10]. Canada was actually the first country to release a national AI strategy. The effort is being led by a group of research and AI institutes: 

  • Canadian Institute for Advanced Research (CIFAR), 
  • the Alberta Machine Intelligence Institute, 
  • the Vector Institute, and 
  • the Montreal Institute for Learning Algorithms (MILA). 

The AI Strategy has four major goals:

  • Increase the number of outstanding artificial intelligence researchers and skilled graduates in Canada;
  • Establish interconnected nodes of scientific excellence in Canada’s three major centres for artificial intelligence in Edmonton, Montreal and Toronto-Waterloo;
  • Develop global thought leadership on the economic, ethical, policy and legal implications of advances in artificial intelligence;
  • Support a national research community on artificial intelligence.

The Strategy is expected to help Canada enhance its international profile in research and training, increase productivity and collaboration among AI researchers, and produce socio-economic benefits for all of Canada. Existing programs of the Strategy include the funding of three AI centres throughout the country, supporting the training of graduate students, and enabling working groups to examine the implications of AI to help inform the public and policymakers.

Separately, Canadian Prime Minister Justin Trudeau and French President Emmanuel Macron announced the creation of an international study group for AI on June 7, 2018, ahead of the G7 Summit in Quebec. The independent expert group will bring together policymakers, scientists, and representatives from industry and civil society. It will identify challenges and opportunities presented by AI, and determine best practices to ensure that AI fulfils its potential of creating economic and societal benefits. Trudeau and Macron said they would create a working group to make recommendations about how to form the panel and will invite other nations to join. 

Canada’s AI strategy is distinct from other strategies because it is primarily a research and talent strategy. It’s initiatives – the new AI Institutes, CIFAR Chairs in AI, and the National AI program – are all geared towards enhancing Canada’s international profile as a leader in AI research and training. The CIFAR AI & Society Program examines the policy and ethical implications of AI, but the overall strategy does not include policies found in other strategies such as investments in strategic sectors, data and privacy, or skills development. That is not to say that the Canadian government does not have these policies in place, but that they are separate from, rather than part of, the Pan-Canadian Artificial Intelligence Strategy. 

What Success Will Look Like

1) Canada will have one of the most skilled, talented, creative and diverse workforces in the world, with more opportunities for all Canadians to get the education, skills and work experience they need to participate fully in the workforce of today, as they—and their children – prepare for the jobs of tomorrow.

2) Canadian businesses will be strong, growing and globally competitive—capable of becoming world leaders in their fields, leading to greater investment and more job creation in Canada.

3) Canada will be on the leading edge of discovery and innovation, with more ground-breaking research being done here at home, and more world class researchers choosing to do their work at Canadian institutions.

4) Canadian academic and research leadership in artificial intelligence will be translated into a more innovative economy, increased economic growth, and improved quality of life for Canadians.

(Department of Finance Canada, Budget 2017. Chapter 1. Canada’s Innovation and Skills Plan, 2017) 

China

China announced its ambition to lead the world in AI theories, technologies, and applications in its July 2017 plan, A Next Generation Artificial Intelligence Development Plan. The plan is the most comprehensive of all national AI strategies, with initiatives and goals for R&D, industrialisation, talent development, education and skills acquisition, standard setting and regulations, ethical norms, and security. It is best understood as a three-step plan: 

  • first, make China’s AI industry “in-line” with competitors by 2020; 
  • second, reach “world-leading” in some AI fields by 2025; and 
  • third, become the “primary” centre for AI innovation by 2030. 

By 2030, the government aims to cultivate an AI industry worth 1 trillion RMB, with related industries worth 10 trillion RMB. The plan also lays out the government’s intention to recruit the world’s best AI talent, strengthen the training of the domestic AI labour force, and lead the world in laws, regulations, and ethical norms that promote the development of AI. 

Since the release of the Next Generation Plan, the government has published the Three-Year Action Plan to Promote the Development of New-Generation Artificial Intelligence Industry. This plan builds on the first step of the Next Generation plan to bring China’s AI industry in-line with competitors by 2020. Specifically, it advances four major tasks: 

  • focus on developing intelligent and networked products such as vehicles, service robots, and identification systems, 
  • emphasize the development AI’s support system, including intelligent sensors and neural network chips, 
  • encourage the development of intelligent manufacturing, and 
  • improve the environment for the development of AI by investing in industry training resources, standard testing, and cybersecurity. 

In addition, the government has also partnered with national tech companies to develop research and industrial leadership in specific fields of AI and will build a $2.1 billion technology park for AI research in Beijing. 

If the United States remain today stronger in deep tech, just like with autonomous vehicles or robots walking like a human, China has more data and more consumers who are more active. Competitiveness in AI depends more on the volume of data than on the quality of scientists. And if data is the new oil of the Digital Economy, in particular of Artificial Intelligence, China is for AI the equivalent of the Organisation of the Petroleum Exporting Countries (OPEC)! Furthermore, China enjoys a strong and dynamic entrepreneurial ecosystem marked by a culture of resilience and the idea that “the winner takes all”. 

The cultural aspect is particularly important here – no country in the past ever moved from imitator to innovator in only 10 years. Not so long ago, China was viewed as a mere imitator in the technology world with its companies more likely to copy western products than develop their own innovative ideas. But following years of government support, long-term visions and strategies, strong and steady GDP growth, and massive investment in education, the outlook has changed. “China’s ten-year miracle – moving from copycat to innovator – is basically a cycle that began with a larger market attracting more money” (Kai-Fu Lee). But there is more. In Chinese history, there were four great inventions: the compass, gunpowder, paper, and printing technology, plus dozens of other noteworthy inventions which have made people’s lives easier around the world. Let’s also remember that until the 15th century China’s naval technology was the most advanced in the world: Admiral Zheng He, a Muslim eunuch who eventually became commander of the Chinese Navy as his master, used large ships under the service of the Chinese emperor in an effort to explore the vast Chinese empire and to bring wealth back to his country. The first of his six voyages was in 1402 and by the end of his sixth he had sailed west around the Indian ocean all the way to the coast of Africa and brought vast amounts of gold for the emperor[11]. Therefore, we can find roots to China’s ability to innovate far back in history. Besides China’s well-known companies like Huawei, Alibaba, Baidu, ByteDance or Tencent, a large number of new national AI champions are emerging, such as Xiaomi (smart home hardware), JD.com (smart supply chain), Qihoo 360 Technology (online safety), Hikvision (AI infrastructure and software), Megvii (image perception) and Yitu (image computing), which are fuelling innovation and probably hold the key to the future of AI. 

China will intensify its efforts to reduce the exposure of its industry to U.S. suppliers. At the same time, it will clone a better Internet, with a better Cloud and a better system of global influence (organised around the “New Silk Road”).

Germany

Germany, long seen as an industrial powerhouse with great engineering capabilities, also has lots of AI talent. Berlin is currently touted as Europe’s top AI talent hub. Cyber Valley, a new tech hub region southern Germany is hoping to create new opportunities for collaboration between academics and AI-focused businesses. Germany also has a very notable automobile industry with a long track record of innovation. Almost half of the worldwide patents on autonomous driving are held by German automotive industry companies and suppliers such as Bosch, Volkswagen, Audi and Porsche.

The Federal Government’s Artificial Intelligence (AI) strategy was jointly developed in 2018 by the Federal Ministry of Education and Research, the Federal Ministry for Economic Affairs and Energy, and the Federal Ministry of Labour and Social Affairs based on suggestions taken from a nationwide online consultation[12]

The government wants to strengthen and expand German and European research in AI and focus on the transfer of research results to the private sector and the creation of AI applications. Proposed initiatives to achieve this include new research centres, Franco-Germany research and development collaboration, regional cluster funding, and support for SMEs and start-ups. The proposed plan is comprehensive and also includes measures to attract international talent, respond to the changing nature of work, integrate AI into government services, make public data more accessible, and promote the development of transparent and ethical AI. Overall, the government wants “AI made in Germany” to become a globally recognized seal of quality. 

In addition, Germany already has a number of related policies in place to develop AI. Principally, the government, in partnership with academia and industry actors, focuses on integrating AI technologies into Germany’s export sectors. The flagship program has been Industry 4.0, but recently the strategic goal has shifted to smart services, which relies more on AI technologies. The German Research Centre for AI (DFKI) is a major actor in this pursuit and provides funding for application-oriented research. Other relevant organizations include the Alexander von Humboldt Foundation, which promotes academic cooperation and attracts scientific talent to work in Germany, and the Plattform Lernende Systeme, which brings together experts from science, industry, politics, and civic organizations to develop practical recommendations for the government. 

The government also announced in June 2018 a new commission to investigate how AI and algorithmic decision-making will affect society. It consists of 19 MPs and 19 AI experts and is tasked with developing a report with recommendations by 2020 (a similar task force released a report on the ethics of autonomous vehicles in June 2017[13]). 

India

India has taken a unique approach to its national AI strategy by focusing on how India can leverage AI not only for economic growth, but also for social inclusion. NITI Aayog, the government think tank that elaborated a report, calls this approach #AIforAll. The strategy, as a result, aims to (1) enhance and empower Indians with the skills to find quality jobs; (2) invest in research and sectors that can maximize economic growth and social impact; and (3) scale Indian-made AI solutions to the rest of the developing world.

NITI Aayog provides over 30 policy recommendations to invest in scientific research, encourage reskilling and training, accelerate the adoption of AI across the value chain, and promote ethics, privacy, and security in AI. Its flagship initiative is a two-tiered integrated strategy to boost research in AI. First, new Centres of Research Excellence in AI (COREs) will focus on fundamental research. Second, the COREs will act as technology feeders for the International Centres for Transformational AI (ICTAIs), which will focus on creating AI-based applications in domains of societal importance. In the report, NITI Aayog identifies healthcare, agriculture, education, smart cities, and smart mobility as the priority sectors that will benefit the most socially from applying AI. The report also recommends setting up a consortium of Ethics Councils at each CORE and ICTAI, developing sector specific guidelines on privacy, security, and ethics, creating a National AI Marketplace to increase market discovery and reduce time and cost of collecting data, and a number of initiatives to help the overall workforce acquire skills. 

Strategically, the government wants to establish India as an “AI Garage,” meaning that if a company can deploy an AI in India, it will then be applicable to the rest of the developing world. 

Japan

Japan was one of the first countries to develop a national AI strategy. Based on instructions from Prime Minister Abe during the Public-Private Dialogue towards Investment for the future on 12 April 2016, the Strategic Council for AI Technology was established to develop “research and development goals and a roadmap for the industrialization of artificial intelligence.” The 11-member council had representatives from academia, industry, and government, including the President of Japan’s Society for the Promotion of Science, the President of the University of Tokyo, and the Chairman of Toyota. 

The plan, the Artificial Intelligence Technology Strategy, was released in March 2017[14]. The strategy is notable for its Industrialization Roadmap, which envisions AI as a service and organizes the development of AI into three phases: (1) the utilization and application of data-driven AI developed in various domains, (2) the public use of AI and data developed across various domains, and (3) the creation of ecosystems built by connecting multiplying domains. 

The strategy applies this framework to three priority areas of Japan’s Society 5.0 initiative – productivity, health, and mobility – and outlines policies to realize the industrialization roadmap. These policies include new investments in R&D, talent, public data, and start-ups. 

The Japanese government strategy, however, must meet a difficult challenge. While China, adapting itself to the speed of change, has implemented cashless payments, vehicle dispatch service, and unmanned convenience stores and hotels, and is reportedly only one step short of putting unmanned delivery vehicles and self-driving buses into service, Japan lags in AI use and Internet literacy, with most Internet users using smartphones merely for making calls, social networking services and downloading games, music and animation. They are not making full use of them as Internet terminals. Perhaps due to Japan’s poor Internet literacy, the equivalent of giant platform businesses as represented by the United States’ GAFA (Google, Amazon, Facebook and Apple), and China’s Baidu, Alibaba, Tencent and Alipay are almost non-existent in this country. 

Japan is also home to one of the largest venture funds in the industry, Softbank, which has over $100 billion to invest in industry-shifting AI companies. 

South Korea

South Korea has ambitious plans around Artificial Intelligence. In 2016, it famously hosted the match where DeepMind’s AlphaGo defeated Go’s world champion Lee Sedol, a South Korea native. 

Home to huge tech conglomerates like Samsung, LG, and Hyundai, South Korea showed their commitment to growing AI by announcing in 2018 a $2 billion investment program to strengthen AI research in the country[15]. The aim is to join the global top four nations in AI capabilities by 2022 by pursuing the following priorities:

  • establishing at least six new schools with focus on AI and the training of more than 5,000 engineers;
  • funding large-scale AI projects related to medicine, national defence, and public safety;
  • starting an AI R&D challenge similar to those developed by the US Defence Advanced Research Projects Agency (DARPA). 

South Korea’s Ministry of Science and ICT (MSICT) proposed the investment strategy as a way to close the gap between Korea’s AI tech and China’s. The MSITC, which defines South Korea’s R&D strategy in three categories – human resources, technology and infrastructure – also estimated that Korean AI tech is currently 1.8 years behind US AI tech. 

The table below indicates the top funded AI start-ups in Korea: 

United Arab Emirates (UAE)

Arab States have recently left the dangerous rims of marginalisation from the mainstream economic growth of the world and have become visible in the Digital Economy radar. It is indeed essential for Arab countries – a potential market of more than 420 million people – that they are neither isolated from world trends nor disenfranchised from active and autonomous participation in development. 

The UAE launched its AI strategy in October 2017[16]. It has been the first country in the Middle East to create an AI strategy and the first in the world to create a Ministry of Artificial Intelligence. The strategy is the first initiative of the larger UAE Centennial 2071 Plan[17] and its primary goal is to use AI to enhance government performance and efficiency. The government will invest in AI technologies in nine sectors: transport, health, space, renewable energy, water, technology, education, environment, and traffic. In doing so, the government aims to cut costs across the government, diversify the economy, and position the UAE as a global leader in the application of AI. 

On 16-17 December, 2018, the First Arab Digital Economy Conference took place in Abu Dhabi to provide a Common Vision for the Region, a Global Outlook (i.e. why Arab countries need to work on common agendas), and insights on the application of AI to Education and Labour, Future Cities, Healthcare, Finance, and Sustainable Development. This Conference was a defining moment for fostering steady cooperation between Arab States and other world regions to share information and knowledge and to create synergy. 

United Kingdom

The British government released an “AI Sector Deal” in April 2018[18], aiming to position the UK as a global leader in AI, as part of its broader industrial strategy

The Sector Deal policy paper covers policies to boost public and private R&D, invest in STEM education, improve digital infrastructure, develop AI talent, and lead the global conversation on data ethics. Major announcements include over £300 million in private sector investment from domestic and foreign technology companies, the expansion of the Alan Turing Institute, the creation of Turing Fellowships, and the launch of the Centre for Data Ethics and Innovation. The Centre in particular is a key program of the initiative, as the government wants to lead the global governance of AI ethics. A public consultation and a call for the chair of the Centre was launched in June 2018. 

A few days before the release of the Sector Deal, the UK’s House of Lords’ Select Committee on AI had published a report titled, “AI in the UK: ready, willing and able?”[19] The report was the culmination of a ten-month inquiry that was tasked with examining the economic, ethical, and social implications of advances in AI. It outlined a number of recommendations for the government to consider, including calls to review the potential monopolization of data by technology companies, incentivize the development of new approaches to the auditing of datasets, and create a growth fund for UK SMEs working with AI. The report also argued that there is an opportunity for the UK to lead the global governance of AI and recommended hosting a global summit in 2019 to establish international norms for the use and development of AI. In June 2018, the government released an official response to the House of Lords that comments on each of the recommendations in the report. 

The House of Lords’ report outlined five key principles to form the basis of a cross-sector AI code, which can be adopted nationally: 

The « AI Code » in UK

1. Artificial intelligence should be developed for the common good and benefit of humanity.

2. Artificial intelligence should operate on principles of intelligibility and fairness.

3. Artificial intelligence should not be used to diminish the data rights or privacy of individuals, families or communities.

4. All citizens should have the right to be educated to enable them to flourish mentally, emotionally and economically alongside artificial intelligence.

5. The autonomous power to hurt, destroy or deceive human beings should never be vested in artificial intelligence.

The United States

On March 19, 2019, the US federal government launched AI.gov[20] to make it easier to access all of the governmental AI initiatives currently underway. The site is the best single resource from which to gain a better understanding of US AI strategy. 

US President Donald Trump issued an Executive Order launching the American AI Initiative on February 11, 2019. The Executive Order explained that the Federal Government plays an important role not only in facilitating AI R&D, but also in promoting trust, training people for a changing workforce, and protecting national interests, security, and values. And while the Executive Order emphasizes American leadership in AI, it is stressed that this requires enhancing collaboration with foreign partners and allies. 

Guiding the United States in its AI R&D investments is the National AI R&D Strategic Plan: 2019 Update, which identifies the critical areas of AI R&D that require Federal investments. Released by the White House Office of Science and Technology Policy’s National Science and Technology Council, the Plan defines several key areas of priority focus for the Federal agencies that invest in AI, including: 

  • continued long-term investments in AI; 
  • effective methods for human-AI collaboration; 
  • understanding and addressing the ethical, legal, and societal implications for AI; 
  • ensuring the safety and security of AI; 
  • developing shared public datasets and environments for AI training and testing; 
  • measuring and evaluating AI technologies through standards and benchmark; 
  • better understanding the National AI R&D workforce needs; and 
  • expanding public-private partnerships to accelerate AI advances. 

Organisation of the US AI R&D Strategic Plan

The process for creating this Plan began in August of 2018, when the Administration directed the Select Committee on AI to refresh the 2016 National AI R&D Strategic Plan to account for significant recent advancements in AI, and to ensure that Federal R&D investments remain at the forefront of science and technology. 

In September 2019, agencies for the first time reported their non-defense R&D investments in AI according to the 2019 National AI R&D Strategic Plan, through the Networking and Information Technology Research & Development (NITRD) Supplement to the President’s FY2020 Budget[21]. This new AI R&D reporting process provides an important mechanism and baseline for consistently tracking America’s prioritization of AI R&D going forward. This report also provides insight into the diverse and extensive range of nondefense Federal AI R&D programs and initiatives.

The strategic priorities are the following: 

  • Coordinate long-term Federal investments in AI R&D, such as algorithms to enable robust and reliable perception, general AI systems that exhibit the flexibility and versatility of human intelligence, and combinatorial optimization to obtain prodigious performance. 
  • Promote safe and effective methods for human–AI collaboration to achieve optimal efficiency and performance by developing advanced AI techniques for human augmentation and improved visualization and AI-human interfaces. 
  • Develop methods for designing AI systems that align with ethical, legal, and societal goals, and behave according to formal and informal human norms. 
  • Improve the safety and security of AI systems so that they operate in a controlled, well-defined, and well-understood manner. 
  • Develop shared public datasets and environments for AI training and testing to increase the benefits and trustworthiness of AI. 
  • Improve measurement and evaluation of AI technologies through benchmarks and standards to address safety, reliability, accuracy, usability, interoperability, robustness, and security. 
  • Grow the Nation’s AI R&D workforce to ensure the United States leads the automation of the future. 
  • Expand public-private partnerships to strengthen the R&D ecosystem. 

Artificial Intelligence in Europe: Renaissance, Reprieve or Fall?

“Modern Europe was shaped by losing the Ancient World (fall of Constantinople, 1453), by discovering the New World (1492), and by switching out the World (Copernic, 1473-1543). Two centuries later, Europe is going to change the World.”
Edgar Morin, Penser l’Europe, Éditions Gallimard, collection Folio/Actuel, 1987-1990, chapter 3, page 51.

Since Artificial intelligence has become an area of strategic importance and a key driver of economic development, bringing solutions to many societal challenges from treating diseases to minimising the environmental impact of farming, but also raising socio-economic, legal and ethical issues that need to be carefully addressed, the European Commission strives to make that all EU countries join forces to stay at the forefront of this technological revolution, in order to ensure competitiveness and to shape the conditions for its development and use (ensuring respect of European values). 

The European Commission’s commitment to Artificial Intelligence has gained a new momentum from 2018 onwards, though its roots can be traced back in the following related policy developments: 

19/04/2016: Digitising European Industry (DEI) strategy – realising the potential of digitisation, where robotics and AI are key drivers (Digital Innovation Hubs, Platforms, Liability, Safety, Data protection, Skills)

01/12/2016: Digital Jobs and Skills Coalition

16/02/2017: European Parliament resolution with recommendations to the Commission on Civil Law Rules on robotics – written answer by the EC

26/09/2017: G7 ICT and industry Ministers’ Declaration – “Making the Next Production Revolution Inclusive, Open and Secure – We recognise that the current advancements in new technologies, especially Artificial Intelligence (AI), could bring immense benefits to our economies and societies. We share the vision of human-centric AI which drives innovation and growth in the digital economy. We believe that all stakeholders have a role to play in fostering and promoting an exchange of perspectives, which should focus on contributing to economic growth and social well-being while promoting the development and innovation of AI. We further develop this vision in the “G7 multi-stakeholder exchange on Human Centric AI for our societies” set forth in Annex 2 to this declaration.”

19/10/2017: Digital Summit Tallinn conclusions – “to put forward a European approach for AI”

From this point events proceeded very quickly, as can be seen from the following table, which presents the key milestones of the EU’s strategy, including notably a major investment effort on Research and Innovation and a commitment to a Human-Centric Artificial Intelligence.

 

 

The European Commission’s approach on AI, currently based on three pillars – being ahead of technological developments and encouraging uptake by the public and private sectors; prepare for socio-economic changes brought about by AI; and ensure an appropriate ethical and legal framework –, has undoubtedly unfolded very rapidly since the beginning of 2018. It encompasses several aspects: 

  • Research – Development – Innovation
  • Testing – Benchmarking – Safety – Certification
  • Ethical issues (European values of dignity and privacy)
  • Legal issues (“fit for purpose”)
  • Social issues (awareness – acceptance – social sciences and humanities – trust – perception)
  • Economic issues (re/up-skilling / robots to help us)
  • Involvement of all stakeholders (academia, industries, SMEs, end-users, social scientists, lawyers, civil society, agencies, institutions, etc.)

The European Commission should be credited for the tremendous work it has already accomplished whose main characteristic is that it covers all the dimensions of the AI challenge, from science and technology to legal and ethical issues. 

However, the question remains whether the EU is capable to meet the ambitious objectives it has set for itself. 

In its 2018 Communication, the European Commission acknowledged that “overall, Europe is behind in private investments in AI which totalled around €2.4-3.2 billion in 2016, compared with €6.5-9.7 billion in Asia and €12.1-18.6 billion in North America.” It went on by stressing the strengths of Europe: “Europe is home to a world-leading AI research community, as well as innovative entrepreneurs and deep-tech start-ups (founded on scientific discovery or engineering). It has a strong industry, producing more than a quarter of the world’s industrial and professional service robots (e.g. for precision farming, security, health, logistics), and is leading in manufacturing, healthcare, transport and space technologies – all of which increasingly rely on AI. Europe also plays an important role in the development and exploitation of platforms providing services to companies and organisations (business-to-business), applications to progress towards the ‘intelligent enterprise’ and e-government.” 

The European Commission also mentioned the long trail of R&I efforts in AI: 

“AI has featured in the EU research and development framework programmes since 2004 with a specific focus on robotics. Investments increased to up to €700 million for 2014-2020, complemented by €2.1 billion of private investments as part of a public-private partnership on robotics. These efforts have significantly contributed to Europe’s leadership in robotics. Overall, around €1.1 billion has been invested in AI-related research and innovation during the period 2014-2017 under the Horizon 2020 research and innovation programme, including in big data, health, rehabilitation, transport and space-oriented research. Additionally, the Commission has launched major initiatives which are key for AI. These include the development of more efficient electronic components and systems, such as chips specifically built to run AI operations (neuromorphic chips), world-class high-performance computers, as well as flagship projects on quantum technologies and on the mapping of the human brain.” 

Stakes are high for Europe in order to avoid repeating the mistakes of its handling of other key digital technologies, such as mobility and the Internet of Things.

In the field of mobility, Europe was once leading in technology and implementation, in particular thanks to Framework Research Programmes 2 & 3 that allowed the RACE programme (R&D in Advanced Communications technologies in Europe) to push the deployment of 3G. Europe was then at the heart of innovation in the mobile space. Cooperation on GSM standards brought it a leading position – with Nokia, Siemens, Ericsson, Alcatel and Philips to name just a few, Europe had the world’s technology leaders. They invested their economic success in designing the technologies of the future at that time: 3G (early 2000s) and 4G (launched in 2009). Their North American and Asian competitors lagged behind because they lacked scale, scope and a common approach. However, Europe’s mistakes in rolling out 3G, (spectrum auctions that focussed mainly on delivering maximum revenue for governments, not on creating a healthy mobile ecosystem) weakened the position of mobile network operators, limiting their ability to compete worldwide. By 2016, these European companies had ceased being consumer brands. They merged and barely held on as mobile infrastructure providers. They now compete with the new leaders – China’s Huawei and ZTE, Apple and Samsung. Has Europe learned from its mistakes? At least, the European Commission is aware that the fragmented emergence and slow rollout of the 4G services should not be repeated in the case of 5G. Although the total investment related to 5G deployment in 28 EU Member States is estimated at €56.6 billion, analysts expect that by 2025 5G will generate more than €113.1 billion euros annually across the four major verticals that will take advantage of 5G early on: automotive, health, transport and energy. 5G introduction has the potential to create 2.3 million jobs in Europe and this opportunity cannot be missed out[22]. But isn’t it too late for 5G, which represents a quantum leap in connectivity with the potential to unlock advanced IoT applications in areas running from self-driving cargo trucks to software-driven management of “smart” cities to interconnected drones and remote surgery? A recent survey of chief technology officers by the consultancy McKinsey suggested that European firms expect 5G to go live only in 2021-2022, while counterparts in the US and China expect to have the infrastructure in place before then — in some cases by 2020[23].

In the field of the Internet of Things (IoT), the European Commission was a pioneer in the initial recognition of the concept, the formulation of a convincing rationale for collaborative R&D at EU level, and the recognition of the need of a specific policy and regulatory framework. The phrase “Internet of Things” appeared in the 2007 European Commission’s Communication on RFID[24] – the first time in an official document of a public sector institution[25]. Between 2007 and 2012, the EU clearly set the pace in IoT discussions, technical work, and regulatory initiatives, thus triggering the involvement of other countries such as China (2009) and USA (2012)[26]. But in November 2012 the European Commission’s DG CONNECT took the sudden decision to terminate the work of the Expert Group on the Internet of Things (IoT-EG), which had been set up in August 2010 with the objective of supporting DG CONNECT in the drafting of a Recommendation on the Governance of the Internet of Things[27]. The political mindset at that time was that IoT policy had to be mainstreamed into the broader discussions on the Internet. The result was that two years had been lost in discussions among experts, which led to a bitter feeling of unfinished business. As a result, the European Commission had to refocus its IoT work on the mere management of R&I contracts and suffered a loss of political momentum in Europe-wide and global discussions. 

The current resolve of the European Commission to tackle the Artificial Intelligence challenge therefore deserves to be praised. Yet, it remains to be seen if this effort will support a renaissance of Europe in the digital domain or will more modestly be a last stand before a lasting withdrawal. The engagement of the European Commission is a necessary but not sufficient condition. Europe should perhaps seek inspiration in the example of China which has been capable in about 20 years to develop an ecosystem different from the one of North America. Europe has a critical mass of research facilities, in both industry and academia, sufficient skills, and also its own innovation model (e.g., “Digital Europe” Research and Innovation programme, General Data Protection Regulation), but it has been unable so far to create a European equivalent of Google, Facebook or Alibaba[28]. There are many reasons for this, among which the brain drain of the best talents and the lack of a venture capital culture in industry and the financial sector. Moreover, despite the 1993 European Single Market (i.e. the free movement of goods, capital, services and labour across the EU) and the ongoing work on the Digital Single Market (DSM[29]), Europe remains too fragmented. 

If the EU can draw applaud for having come out with a comprehensive plan for AI since 2018, it still lacks major companies like Microsoft, Google, Apple, Alibaba, Baidu, and Tencent that have major data sets with which to train AI algorithms. The EU is likely to devote more money to smaller scale research and application projects, but lacks a well-developed infrastructure to support AI breakthroughs. The UK has some advantages in AI, with a robust education system and innovation centre in London that has attracted some leading AI firms such as Deepmind. The UK, however, and also France, lack large companies and access to data, so they are likely to continue to play a minor role in contributing to the development of AI capabilities. 

The role of the Commission, under the presidency of Ursula von der Leyen, will be critical in the next few years, in particular as regards its willingness and ability to design and implement a genuine “industrial policy” breaking the existing silos that are formed by the Competition policy, the Regional policy, the Internal Market policy, and the Research & Innovation policy in order to make all of these consistent and contributing to an ambitious vision of the future of Europe. The new Commission will also need to pick up where the last one left off on pressing questions of online platform regulation (competition, liability, hate speech, algorithmic accountability) and navigate the conflict between the US and China, which is in part a conflict about digital infrastructure and technological sovereignty[30].

The idea of the European Commission to work on Artificial Intelligence along a Coordinated Plan carried out with the Member States is already a promising idea. It is essential that the EU level and the national level advance together, in association with stakeholders, primarily industry, in order to give a chance to the possibility of a true level playing field between Europe, US, China and other global competitors. The most dismal scenario would be to have the EU AI strategy being actually another plan besides different national plans of European countries like France, Germany or the UK. Such strategy fragmentation would sign the end of Europe as a credible contender in the global AI race and, more generally, in the whole domain of digital technologies. 

Artificial Intelligence: cultural differences and civilizational crisis

“Culture refers to what is special and specific in a society whereas Civilisation relates to what can be acquired and transmitted from one society to another. Culture is generic, civilisation generalisable; culture develops through return to roots and loyalty to one’s special principles, civilisation by accumulating knowledge, i.e. by progressing.” 
Edgar Morin, op. cit., page 82

Until recently, the conversation on AI focused on its hype – how AI would be good for healthcare, mobility, security, manufacturing, etc. If we learned anything from 2018 onwards it’s that we need to be more sceptical about where AI could be heading us as a civilisation. The early warnings from Elon Musk and Stephen Hawking have been followed on and amplified by several other experts from science, engineering and business[31]. We begin to become aware that we are living in an era where not only our conception of the labour market and our ways of life are challenged, but also where the very existential threats to our survival as human species will be increasingly felt and debated.

The end of labour?

Several studies have filled in the conversational space recently about the impact – beneficial or destructive – of Artificial Intelligence on jobs. Some experts prefer to focus on the jobs that AI will create, thus leveraging human capabilities in different ways, while on the contrary others argue that more and more people will be removed from the workplace. In fact, as of today, nobody can pretend we know the truth – we can only exchange glass-half-full-or-empty arguments. 

Kai-Fu Lee argues that “when it comes to job replacement, AI’s biases don’t fit the traditional one-dimensional metric of low-skill versus high-skill labour. Instead, AI creates a mixed bag of winners and losers depending on the particular content of job tasks performed. He proposed two X-Y graphs, one for physical labour and one for cognitive labour, each of which dividing the charts into four quadrants: 

  • the “Danger Zone”, (bottom-left), 
  • the “Safe Zone” (top-right), 
  • the “Human Veneer” (top-left), and 
  • the “Slow Creep” (bottom right) 

These graphs give us a basic heuristic for understanding what kinds of jobs are at risk, without prejudging the impact on total employment on an economy-wide level. 

Risk of replacement: Cognitive Labour
Risk of replacement: Physical labour

Source: Kai-Fu LEE, AI Super-Powers: China, Silicon Valley, and the New World Order, Houghton Mifflin Harcourt, Boston New York, 2018, pages 155-156

Evaluating the impact of AI, and more generally automation, on the labour market is not an easy task. Past experience shows that new technologies take time to generate productivity and wage gains. Even though automation eventually increases the overall size of the economy, it is also likely to boost inequality in the short run, by pushing some people into lasting unemployment or lower-paid jobs. Therefore, in the short-term automation may lead to unrest and opposition, which could in turn slow the pace of automation and productivity growth, thus leaving everyone worse off in the long run. 

The “glass-half-full” argument, supported for example by Paul R. Daugherty, H. James Wilson and Nicola Morini Bianzino, highlights three already-emerging job categories spurred by AI[32]: trainers (i.e. the people who are doing the data science and the machine-learning engineering), explainers (i.e. the people who explain how AI itself is working and the kind of outcomes it’s generating), and sustainers (i.e. the people who make sure that AI not only behaves properly at the outset of a new process but continues to produce the desired outcomes over time). The third category seems particularly important at the time when various experts voice big concerns over the ethical risks of AI – sustainers indeed are responsible for tackling unintended consequences of AI algorithms and how they may affect the public. It is also worth noting that regulation stimulates the second category, e.g., by some estimates, as many as 75,000 data protection officer (DPO) positions will be created in response to the EU’s General Data Protection Regulation (GDPR) around the globe[33]

This optimistic view of AI is based on the past perspective: “As with other technology advances, writes Thomas M. Siebel, AI will soon create more jobs than it destroys. Just as the internet eliminated some jobs through automation, it gave rise to a profusion of new jobs – web designers, etc.”[34] In a report released on December 13, 2017, Gartner said “by 2020, AI will generate 2.3 million jobs, exceeding the 1.8 million that it will wipe out. In the following five years to 2025, net new jobs created in relation to AI will reach 2 million.”

On the contrary, other experts prefer to see the “glass-half-empty”. The AI-enabled computer is engaged in head-on competition with man on the labour market: it replaces man in complex functions where the human brain was deemed indispensable so far. Almost 47% of US jobs could be computerized within one or two decades[35]. It isn’t only manual labour jobs that could be affected, but also many cognitive tasks over two waves of computerization, with the first substituting computers for people in logistics, transportation, administrative and office support and the second affecting jobs depending on how well engineers crack computing problems associated with human perception, creative and social intelligence[36]. Indeed, even researchers at MIT foresee dismal prospects for many types of jobs as new technologies are increasingly adopted not only in manufacturing, clerical, and retail work but in professions such as law, financial services, education, and medicine. Mckinsey Global Institute reported in 2017 that by 2030 75 million to 375 million workers (3 to 14% of the global workforce) would need to switch occupational categories[37]. This is not surprising since AI has the potential to increase productivity by about 40 per cent, and is projected to contribute up to $15.7 trillion to the global economy in 2030, more than the current output of China and India combined. With the impact on productivity being competitively transformative – businesses that fail to adapt and adopt will quickly find themselves uncompetitive – all workers will need to adapt, as their occupations evolve alongside increasingly capable AI-enabled machines. 

According to an IBM Institute for Business Value (IBV) study, by 2022 as many as 120 million workers in the world’s 12 largest economies may need to be retrained or reskilled as a result of AI and intelligent automation[38]. In addition, only 41 percent of CEOs surveyed say that they have the people, skills and resources required to execute their business strategies. The time it takes to close a skills gap through training has increased by more than 10 times in just four years! In 2014, it took three days on average to close a capability gap through training in the enterprise; in 2018, it took 36 days. An aggravating factor is indeed the pace of modern technological change, which is so rapid that many workers, unable to adjust, will simply become obsolete. Therefore, the main issue today is whether the system can adapt as it did in the past. To avoid the “technology trap”, policymakers should strive to manage the transition at the earliest stage possible. That implies in particular: making greater use of wage insurance, to compensate workers who have to move to jobs with a lower salary; reforming education systems to boost early-childhood education, bring coding to schools, and support retraining and lifelong learning; extending income tax credit to improve incentives to work and reduce inequality; removing regulations that hinder job-switching; providing mobility financial support to subsidise relocation as the distribution of jobs changes. 

A related issue that hinders solutions to addressing the skills gap concerns the lack of gender diversity in the science, technology, engineering, and mathematics (STEM) workforce: gender stereotypes and discrimination, a lack of role models and mentors, insufficient attention to work-life balance, and “toxic” work environments in the technology industry come together to create a perfect storm against gender inclusion. There is no easy fix to boost diversity in AI roles, but one necessary option would be for educational institutions to promote the creation of better links between arts, humanities, and AI, thus changing the image of who can work in AI. 

Big Tech vs. Regulators: 1-0

First came the computer, then the network that allowed multiple devices in the same location to share information. From there the Internet evolved, giving people the ability to store, sort, and find information with nothing but a typed request. Virtual (or digital) assistants – application programs that understand natural language voice commands and complete tasks for the user – are likely to be the next revolution in computing. Apple has Siri, Google has Google Assistant and Google Now, Microsoft has Cortana, Amazon has Alexa, Alibaba Group has AllGenie, and all of them can provide results with just a voice command[39]. The technologies that power virtual assistants require massive amounts of data, which feeds artificial intelligence (AI) platforms, including machine learning, natural language processing and speech recognition platforms. As the end-user interacts with a virtual assistant, the AI programming uses sophisticated algorithms to learn from data input and become better at predicting the end user’s needs. 

In the past few years, the GAFA(M) have embraced ethical self-scrutiny by establishing ethics boards, writing ethics charters, and/or sponsoring research in topics like algorithmic bias. Nevertheless, many people doubt these boards and charters are changing how the companies work or are holding them accountable in any meaningful way. 

The ethics principles that have been developed so far by these companies are non-binding. This makes it easy for these companies to vaguely look at ethical issues and still continue with whatever it is they were doing beforehand, as if their guidelines were isolated from the mainstream activity and hence not systematically applicable in good faith. If companies like Google, Microsoft and Facebook were continuing to develop and/or use AI without both internal and external control procedures and measures, they could sell technologies and products representing a serious risk to all citizens in the world.It is to be noticed though that there are already legal means to control the tech companies’ behaviours on the market. For example, the European General Data Protection Regulation (GDPR) applies to non-European companies when they sell services to European consumers, whereas American and European competition law prohibit abusive conduct by companies that have a dominant position on a particular market. Therefore, such regulations give legal means to control the behaviour of private sector actors in Europe and the US. 

If many companies seem truly engaged in a genuine ethical AI policy, how can they make their guidelines more effective?

In order for the guidelines not to remain dead letter, it is essential that all the actors of the chain of development and the launching of a project, in particular the developers, are sensitized and trained with the ethical principles that must have been integrated from the conception of the projects (“ethics by design”). 

This requires that an ethical risk mapping is carried out at the earliest possible stage of the project. For projects with the highest ethical risks, it may be necessary to use an ethics committee consisting of people who are independent of the company to bring a neutral point of view and external expertise. The decisions of this committee must be motivated and kept in minutes to ensure transparency and traceability.

Then, once the projects are launched, they must be the subject of a regular ethical evaluation to see if the uses fulfil the expected purposes, if the means to remedy the identified risks are effective, if new ethical risks have appeared, if the uses have been the object of drifts or diversion etc.

The risk of an authoritarian approach of ethics and the emergence of a Global Surveillance State

The age of consumer data harvesting in real time might fuel new AI that not only exploits our attention, but also our emotions and basic drives. US police departments adopting superior Chinese software in facial recognition is an early warning of how this could occur – almost invisibly. 

But it’s more than likely Huawei, Alibaba, Baidu, Tencent, ByteDance and others are winning the race to technological development and implementations of AI. This is because China has a greater pool of consumer data to train machine learning, more facial recognition start-ups, the beginnings of a social credit system that rates citizens, a long practice of mass surveillance. In fact, China has already virtually won the trade-war, because it is winning the race to innovation. As the US doesn’t intend to regulate the GAFAM properly and GAFAM self-regulation is largely artificial, the Western world is led to see its innovation stifled and pushed to copy China just to keep up. 

In other words, if China succeeds in maintaining its current supremacy in AI research and innovation, catches up with AI skills, and comes with bolder implementations of the relevant technologies, it will probably become for a long time the dominant future superpower in the field and the Chinese “values” (notably in human rights norms) would win as the global standard for AI regulation. 

It is not unreasonable to believe that if China were to become the economic and technological superpower of the 21st century, then it will implement a global surveillance state. China possess the top facial recognition tech start-ups in the world and the venture capital infrastructure to scale companies that can implement the most massive data harvesting surveillance state in the world. 

China’s Belt and Road Initiative (BRI)[40], with spending deemed to total $1.3 trillion by 2027, aims to revive and extend the historical Silk Road[41] via networks of upgraded or new railways, ports, pipelines, power grids and highways. President Xi Jinping champions his signature project as a means to spur development, goodwill and economic integration. Yet, it is important to know that a subset of this gigantic initiative is the “Digital Silk Road”, which will encompass quantum computing, nanotechnology, artificial intelligence, big data and cloud storage. China claims the Digital Silk Road will help create “a community of common destiny in cyberspace” whereby other countries will receive significant support to build digital infrastructure and develop Internet security. In fact, China is already exporting to at least 18 countries sophisticated surveillance systems capable of identifying threats to public order and has made it easier to repress free speech in 36 others[42]

Deep Learning is giving access to our health care data and human intimacy

There is every indication the GAFAM have machine learning to do predictive analytics on our electronic medical records (EMR). Though the EU General Data Protection Regulation already mentioned applies to European citizens, this poses a grave danger to how AI scales with our health data without our permission. 

Apple announced at the 2019 Blue Button Developers Conference it will begin testing an application programming interface (API) from CARIN Alliance[43] that will allow it to integrate patient health claim data into software like its Health app. Patients do not currently have ready access to useable information about their health or their full health records. The CARIN Alliance considers patients and their caregivers should have this information and be able to send it when and where they want. Therefore, every healthcare professional will be capable of storing their patients’ documents, except medical data, and at the same time patients will be granted complete access to their health information via a platform on their smartphone or an Internet website[44]. If patients consented to share their data with their physician, their health insurer or even tech companies like Apple, Microsoft and Google, those stakeholders would be entitled to use it as they wish. 

A part of Google’s artificial intelligence unit, Google Medical Brain, has been working on a program called Medical Digital Assist, which aims to harness the power of artificial intelligence for note-taking in medical examinations. Indeed, at the moment note-taking is a very time-consuming process for doctors – in many cases, documentation takes up the biggest part of the doctor’s work day. Therefore, it is not surprising that Google is developing AI technology which could take care of that task instead. This would allow doctors to use more of their time on meeting patients for example. The AI-fuelled technology will listen to conversations between health professionals and patients, picking out and documenting the crucial parts of the conversation. The program will also be utilizing touch technology. The main point of this technology is to make patient records more accessible and save time while improving accuracy. This may seem innocent enough, but considering that Google has shown ethical lapses at the highest levels of their executive leadership and strategy in machine learning and voice recognition, the further development of this program and its widespread implementation might become worrisome. 

Google’s AI uses neural networks, which has proven effective at gathering data and then using it to learn and improve analysis. Google has possibly the fastest and more accurate tools at evaluating a patient’s medical history known today. What could this mean for the future of healthcare? Google envisions the AI system steering doctors towards certain medications and diagnoses, which will fundamentally change how doctors deal with patients, hopefully helping to improve patient outcomes, reduce error, and use patient data like never before. More specifically, Google has a new algorithm that can quickly sift through thousands of digital documents in a patient’s health record to find important information and, with superior number crunching, once fed this data, the AI makes predictions about the likelihood of death, discharge, and readmission. In particular, Google’s Medical Brain team is training its AI to predict the death risk among hospital patients[45]

For its part, Microsoft has launched an initiative, Healthcare NExT, which aims to accelerate healthcare innovation through AI and cloud computing. The explosion of data, incredible advances in computational biology, genomics and medical imaging have created vast amounts of data well beyond the ability of humans to comprehend. Therefore, providing cloud- and AI-powered tools is expected to unlock the vast potential of AI and cloud computing, in particular by developing foundations for precision health care, enabling the health industry’s move to the cloud, and empowering the people that make healthcare work. 

The push of these tech companies into healthcare means they are getting their hands on our “life-and-death” data. This movement has already begun, with its tantalising promises and scary scenarios. We should not ignore the possibility that our most secret vulnerabilities could be hacked, thus generating grave consequences for both individuals and humankind. 

More generally, the huge involvement of tech companies in AI raises questions concerning the future of human intimacy in a world of ubiquitous “AI companions”, sex robots, and always more addictive and immersive technology. Tech companies, attracted by a potentially very lucrative business, are now building personal assistants that will not only be able to help us organise every aspect of our lives, but eventually give us a sense of companionship, psychological support and maybe even emotional connection. 

The weaponization of Artificial Intelligence is changing the fundamentals of security

Autonomous weapons are being dubbed as the third revolution in warfare after gunpowder (circa 900 A.D. in China[46]) and nuclear weapons (Manhattan Project, 1942). They are believed to eventually lead warfare to an algorithmic level. The second revolution brought the world to the brink of World War III in the aftermath of the Cuban Missile Crisis (October 1962). The third revolution, however, could be even more volatile and uncertain in triggering such an event. 

By leading nations towards a new algorithmic warfare battlefield that has no boundaries or borders, may or may not have humans involved, AI is rapidly becoming the centre of the global power play. Autonomous weapons systems (AWS) offer greater speed, accuracy, persistence, precision, reach and coordination on the cyberspace, geospace and space (CGS) battlefields. Automated warfare has already begun in cyberspace – anyone and everyone is a target. However, security risks are numerous for not only each nation’s decision makers but also for the future of humanity. First, algorithms are by no means secure nor are they immune to bugs, malware, bias, and manipulation. Second, since machine learning uses machines to train other machines, what happens if there is malware or manipulation of the training data? Third, smart connected devices increase the possibility of cybersecurity breaches everywhere, from remote locations, and because the code is opaque, security is very complex. 

Then, after cyberspace, what is next, geo-warfare and space-warfare? And, who and what will be the targets? 

“The key question for humanity today is whether to start a global AI arms race or to prevent it from starting. If any major military power pushes ahead with AI weapon development, a global arms race is virtually inevitable, and the endpoint of this technological trajectory is obvious: autonomous weapons will become the Kalashnikovs of tomorrow. Unlike nuclear weapons, they require no costly or hard-to-obtain raw materials, so they will become ubiquitous and cheap for all significant military powers to mass-produce. It will only be a matter of time until they appear on the black market and in the hands of terrorists, dictators wishing to better control their populace, warlords wishing to perpetrate ethnic cleansing, etc. Autonomous weapons are ideal for tasks such as assassinations, destabilizing nations, subduing populations and selectively killing a particular ethnic group. We therefore believe that a military AI arms race would not be beneficial for humanity.”[47]

Unfortunately, the main nations of the world think differently. In 2017, in a 45-minute open lesson, attended via satellite links by students and teachers from 16,000 schools for a total audience of over one million, Russia’s president Vladimir Putin said: “Artificial intelligence is the future, not only for Russia, but for all humankind. It comes with colossal opportunities, but also threats that are difficult to predict. Whoever becomes the leader in this sphere will become the ruler of the world.” 

Putin’s words prompted a reaction from Elon Musk, who regularly warns about the dangers posed by future AI. In a tweet, Musk cautioned that competition for “AI superiority” could result in World War 3. 

Another scary issue is the following: what will happen if the dictators of the future were not human beings, but actual AI with the capability to evolve independently and aggressively and to hack any system? Who can guarantee today that in such circumstances human beings would be able to keep control by turning the hacked system “off”?

These questions, and many similar ones, cannot probably be answered today by scientists, and even less by unknowledgeable decision makers, but they should rapidly be included in all future conversations about AI Ethics. 

And what about God?

An increasing number of scientists promote the idea that industrial and service robots as well as the growing field of autonomous systems spanning from drones and driverless vehicles to cognitive vision and computing will eventually have a conscience, or even a soul. 

For example, Martine Rothblatt, a lawyer, technologist, and medical ethicist, coined in a book the concept of cyberconsciousness: “(…) when a robot is created using the memories and knowledge from a human mind the result is new, spontaneous, and original combinations of those ideas, which in turn leads to original “equations” or thoughts. We recognize this behaviour as acting or “being” human, and information technology (IT) is increasingly capable of replicating and creating its highest levels: emotions and insight. This is called cyberconsciousness (…) Running right alongside (…) is the development of powerful yet accessible software, called mindware, that will activate a digital file of your thoughts, memories, feelings, and opinions – a mindfile– and operate on a technology powered twin, or mindclone (…) It’s only a matter of time before brains made entirely of computer software express the complexities of the human psyche, sentience, and soul (…) The eventual sophistication and ubiquity of mindclones will naturally raise societal, philosophical, political, religious, and economic issues. Cyberconsciousness will be followed by new approaches to civilization that will be as revolutionary as were ideas about personal liberty, democracy, and commerce at the time of their births (…) if we don’t treat cyberconscious mindclones like the living counterparts they will be, they will become very, very angry.”[48]

Moving further, in June 2018 Dan Robitzski, a neuroscientist-turned-journalist, wrote a fascinating article titled “Artificial Consciousness: How to Give a Robot a Soul?”[49] One year later, at an internal seminar on ethics organised by SNCF’s Ethics and Deontology Directorate, a speaker from industry titled his presentation: “Do Algorithms have a Soul?”[50] Talking about AI by conjuring the notion of “soul” may look fanciful. But let us leave aside the scientific and philosophical debate concerning the differences between “soul”, “mind”, “awareness” and “conscience[51], what is most striking here is the civilizational shift that the rapprochement between “AI” and “soul” suggests. 

Indeed, it is clear that the development of Artificial Intelligence will continue to inspire billion-dollar companies, far-reaching research programs, and more or less fictive scenarios of both transcendence and doom. In 2017, Anthony Levandowski, the co-founder of Otto, Waymo, and known as the autonomous vehicle pioneer formerly of Google and Uber, started his own IRS-approved religion, Way of the Future (WOTF), dedicated to the worship of Artificial Intelligence. So, Artificial Intelligence has already originated its first church whose activities will focus on the realisation, acceptance, and worship of a Godhead based on AI developed through computer hardware and software. That includes funding research to help create the divine AI itself. The religion will seek to build working relationships with AI industry leaders and create a membership through community outreach, initially targeting AI professionals and other people who are interested in the idea. “What is going to be created will effectively be a god,” Levandowski said in an interview[52]. “It’s not a god in the sense that it makes lightning or causes hurricanes. But if there is something a billion times smarter than the smartest human, what else are you going to call it?” The creation of the WOTF church marks the evolution of the techno-religious sentiment from a marginal movement to an institutionalised belief system, which is an undeniably large and significant leap. That goes a long way – “There are many ways people think of God, and thousands of flavours of Christianity, Judaism, Islam,” says Levandowski, but they’re always looking at something that’s not measurable or you can’t really see or control. This time it’s different. This time you will be able to talk to God, literally, and know that it’s listening.” 

Levandowski is not alone. In his bestselling book, Homo Deus, Yuval Noah Harari argues that the foundations of modern civilization are eroding in the face of an emergent religion, which he calls “dataism” – by giving ourselves over to information flows, we can transcend our earthly concerns and ties[53]. Other nascent transhumanist religious movements go even further by focusing on immortality. 

The “AI as God” wave is reaching literature. In his last novel, Transparence, which takes place in the 2060s when life on Earth is seriously threatened by global warming, Marc Dugain features a small digital company based in Iceland that is about to launch a secret, revolutionary program on immortality, named Endless, consisting in transplanting the human soul into an artificial earthly body[54]

It may seem weird, if not scandalous, to many people that the very idea of God be replaced with a scientific discipline which, by harvesting exabytes of data, would be capable of imposing a new ‘religion’ on Earth. Yet, this is what is happening at the same time when religions are revisited, sometimes extravagantly[55]

Artificial Intelligence Ethics – A challenge and an opportunity

“We need a Hippocratic oath in the same way it exists for medicine. In medicine, you learn about ethics from day one. In mathematics, it’s a bolt-on at best. It has to be there from day one and at the forefront of your mind in every step you take.” 
Hannah Fry, associate professor in the mathematics of cities at University College London, in The Guardian, 16/08/2019

Ethical Issues

In the above sections we have frequently touched upon the main ethical “concerns” that are raised in various countries. Although they are well known, it remains appropriate to summarise them. 

Identification and profiling of people without their consent

Through the posts and likes that people give on social networks, AI can define their psychological profile, detect their political opinions, sexual orientation, and so on. This may lead to the Cambridge Analytica scandal[56]. Such profiling is now the object of trade. For example, the Spinner* is a service that enables to subconsciously influence a specific person, by controlling the content on the websites he or she usually visits[57]

The EU General Data Protection Regulation (GDPR) regulates what companies can do with European people data and gives more control to European citizens about how their data is collected and used through the request of consent. Can we really, however, speak of consent when we are forced to accept voluminous general conditions of use and cookies in order to be capable to go on websites? The notions of voluntary and well-informed consent and of “defects of consent” must be questioned and clarified.

Awareness

People may not be aware of interacting with AI. In the case of chatbots, for example, it may be difficult to be sure for a human whether she/he is interacting with a machine. Awareness may be crucial for some services such as web appointments with doctors or psychologists.

Freedom

AI may score people or organizations without their consent and their awareness of all impacts. This violates the principle of freedom. For example, as we have already mentioned above, with millions of cameras[58] and billions of lines of code, China is building a high-tech authoritarian future. The Chinese authorities are embracing technologies like facial recognition and artificial intelligence to identify and track 1.4 billion people. they want to assemble a vast and unprecedented national surveillance system, with crucial help from its thriving technology industry. China is reversing the commonly held vision of technology as a great democratizer, bringing people more freedom and connecting them to the world – in China, it has actually brought control. Citizens are scored according to their behaviour in their everyday life and the access to some services may depend on the score they have (access to university etc). Data from facial recognition is also used to detect ethnicities and label them (e.g., Han Chinese, the main ethnic group of China, or Uyghur Muslims). The goal clearly is “algorithmic governance”! 

Bias

Artificial intelligence has a bias problem. Concerns regarding racial or gender bias in AI have arisen in applications as varied as hiring, policing, judicial sentencing, and financial services. As of today, algorithms can reproduce and accentuate bias according to the data they use. There are two main challenges that AI developers, users, and policymakers need to address: 

  • Bias built into data. For example, for sentencing decisions it would be improper to use race as one of the inputs to an algorithm. But what about a seemingly race-neutral input such as the number of prior arrests? In the United States at least, arrests are not race neutral: evidence indicates that African-Americans are disproportionally targeted in policing, and hence arrest record statistics are heavily shaped by race. In the United States, a proprietary risk assessment algorithm named COMPAS (Correctional Offender Profiling for Alternative Sanctions), widely used to decide on the freedom or incarceration of defendants passing through the US criminal justice system, might be systematically biased against specific populations, in particular African Americans compared to whites[59]. The indirect influence of bias is present in plenty of other types of data; for example: evaluations of creditworthiness are determined by factors including employment history and prior access to credit (two areas in which race has a major impact); starting salaries for new hires in a large company may be set by AI through inputs from salary history, which itself is frequently influenced by a gender bias. 
  • AI-induced bias. Biases can be created within AI systems and then become amplified as the algorithms evolve. AI algorithms are not static – rather they learn and change over time. Initially, an algorithm might make decisions using only a relatively simple set of calculations based on a small number of data sources. As the system gains experience, it can broaden the amount and variety of data it uses as input, and subject those data to increasingly sophisticated processing. Therefore, an algorithm can end up being much more complex than when it was initially deployed, and this can happen without human intervention to modify the code, but rather because of automatic modifications made by the machine to its own behaviour. In some cases, this evolution can introduce bias[60].

“Black box”

Neural networks are a particular concern not only because they are a key component of many AI applications – including image recognition, speech recognition, natural language understanding and machine translation – but also because they’re something of a “black box” when it comes to elucidating exactly how their results are generated. Neural networks are so-called because they mimic, to a degree, the way the human brain is structured: they’re built from layers of interconnected, neuron-like, nodes and comprise an input layer, an output layer and a variable number of intermediate hidden layers. The nodes themselves carry out relatively simple mathematical operations, but between them, after training (“back propagation”), they can process previously unseen data and generate correct results based on what was learned from the training data. 

Therefore, relying on AI systems can be very sensitive in some cases. For example, are the owners of autonomous cars ready for an artificial intelligence system to decide in their place who will live and who will die in the event of a lethal accident? Are people ready to lose the control in such circumstances? So, it’s not surprising that most experts consider putting the AI in a mode where it’s not supervised may bear risks – the human must have the final call, especially for critical applications. That’s why terms such as transparency, explainability and interpretability are playing an increasing role in the AI ethics debate. 

The European Commission’s General Data Protection Regulation (GDPR) states in its Article 22.1 “The data subject shall have the right not to be subject to a decision based solely on automated processing, including profiling, which produces legal effects concerning him or her or similarly significantly affects him or her.” But what does the GDPR say precisely about machine learning and artificial intelligence? Well, not much actually. There is a continuing debate that centres on the single occurrence of the phrase “right to explanation” that occurs in Recital 71, a companion document to the GDPR that is not itself legally enforceable[61]. However, the GDPR states that data controllers must notify consumers how their data will be used, including “the existence of automated decision-making, including profiling, referred to in Article 22(1) and (4) and, at least in those cases, meaningful information about the logic involved, as well as the significance and the envisaged consequences of such processing for the data subject.” (Article 13.1(f)) Common-sense reading would suggest that if a computer is making real-world decisions without a human in the loop, then there should be some accountability for how those decisions are made. For example, if a bank’s machine learning model denies you credit, and does so without meaningful human intervention, then the bank owes you an explanation of how it arrived at that decision. As companies are selling what are essentially black box systems, when things go wrong the programmers are hiding behind a lack of transparency, saying “nobody can understand these systems.” Fairly, this is not an acceptable answer – it’s an expression of human dignity, of human autonomy, not to have decisions made about us which have no reviewability. However, even if the two principles of transparency and accountability for how data is processed play an essential role in the GDPR, and hence may infer a “right to explanation”, the technical difficulty of implementing such a right for increasingly complex AI systems raises the question whether compliance with it would be possible at all – explaining decisions might result in disclosure of closely-held trade secrets or otherwise violate their intellectual property rights. By remaining deliberately vague on regulating AI, the European Commission has sought to balance the interests of data controllers and those of data subjects. The spirit of the regulation seems to be not to hinder innovation while maintaining enough “regulatory hooks” to intervene, if necessary. In the end, we can say that finding the right balance between accountability and encouraging innovation remains an unsolved problem. 

For their parts, the French government already has committed to publishing the code that powers the algorithms it uses, and in the United States the Federal Trade Commission’s Office of Technology Research and Investigation has been charged with providing guidance on algorithmic transparency. 

The very quality of being human

As emerging algorithm-driven AI continues to spread, will people be better off than they are today? Experts predict networked artificial intelligence will enhance human performance[62] – computers might match or even exceed human intelligence and capabilities on tasks such as complex decision-making, reasoning and learning, sophisticated analytics and pattern recognition, visual acuity, speech recognition and language translation – but also threaten human autonomy, agency and capabilities. 

As artificial intelligence systems get better at manipulating us, in particular because they can decipher almost any emotion from our face or speech, the risk is high that we end up happily submitting our lives to the algorithms in the same way as we already do today with our smartphones (people touch their phones on average more than 2,500 times a day). At a certain point in the future, we will be tempted to believe that we can take it easy knowing that the hard work of planning, exploring, managing, organizing and evaluating is being done by a better brain – the robot or the autonomous system. Why should we care any longer since AI is “superintelligent” and can perform better than us? Why should we continue to tackle new complex challenges? Then, rather than concentrating on the most creative tasks while AI would perform the more repetitive ones, we will begin to become lazy. And deprived of mental effort, our brains will begin to regress. 

In addition, AI systems may disqualify human beings in several ways. First, some people consider AI provides absolute truth, and hence they rely on its recommendations or decisions more than on human judgment. This can lead people to “intellectual laziness”, to losing their critical sense, and to pushing them out of responsibility by relying on the machine. Second, AI may disqualify the performance and skills of professionals, e.g., robots replacing manual trades or AI algorithms bypassing intellectual services such as those provided by lawyers or accountants. Third, AI may disqualify human relationships – robotic companions who never contradict their owner and seem empathetic may actually make human relations less attractive as more complicated to manage. 

Ethics and values

Ethics and values are important in every aspect of life, when we have to make a choice between two things, wherein ethics determine what is right, values determine what is important. The problem with ethics is that it is a shifting, amorphous concept that can rapidly change among different cultures, societies, and values. Although there have been numerous attempts at drafting ethical AI guidelines, what remains unclear is if everyone, regardless of sector, socioeconomic status, culture, or religion, agrees. What’s “ethical” for western societies may not be so to an Eastern or Asian one. Even within western societies, a country like Germany is over-sensitive to the issues of privacy and ethics, for historical reasons, while other European countries show a lower sensitivity and the United States are more partial to security than to privacy. Privacy from face recognition may be tantamount to western societies that view freedom as a human right, but not matter as much for Chinese citizens who are accustomed to surveillance – or even welcome it if it means they’ll benefit from an AI-powered social credit system. 

As professor Sarah Spiekermann wrote, “if IT managers and engineers focused on creating IT values throughout the entire design process while rigorously controlling for value risks, they would support human beings in their flourishing much more than they do today. Machines would then be designed to strengthen people’s values such as their health, increase their sense of privacy, freedom and autonomy, help them trust, and so forth. In the long run, we would even envision that machines support the development of cognitive skills such as learning, help them rediscover their senses, have more ethical integrity, be more just in their decisions, and so on.”[63]

The difficulty of dealing with ethics is that it is a “value”, i.e. “a conception, explicit or implicit, distinctive of an individual or characteristic of a group, of the desirable which influences the selection from available modes, means and ends of action (…) A value is not just a preference but is a preference which is felt and/or considered to be justified – “morally” or by reasoning or by aesthetic judgements, usually by two or all three of these.”[64] Therefore, the threshold level of how strongly something is valued depends on the culture of a group or a society at a specific time. This is why we noted differences between, for example, western societies and China, in the importance, and even the relevance, of ethics. Before western societies became secular, or laic, “moral” values like charity, humility and obedience were prevailing; in today’s capitalist societies, including China, economic success informs the dominant ideology and almost opposite values like competition, pride and autonomy are favoured. The importance assigned to values fluctuates over the course of history and depends on the ideals of a society. 

As we move into the Artificial Intelligence age, where machines of all kinds are connected and made smart, we need to trigger and feed a conversation on our current ideals, as much as possible at global level. Our ideals, in one country, one region, and the world, will influence how we regard values such as privacy, security, freedom, control, and how much importance we grant to them. Some values are viewed so important over time by some societies that they are transformed into rights, e.g., human freedom and dignity. Other values transcend individual country legal systems and become international conventions, e.g., the rights and freedoms enshrined in the Universal Declaration of Human Rights (1948) and its first binding instrument – the European Convention of Human Rights (1950). 

Value theory distinguishes between intrinsic values (i.e. something that is valuable in itself or in its own right) and extrinsic/instrumental values (i.e. something that relates and enables something else that is good). If there can be many extrinsic values, scholars often disagree on how many intrinsic values there are. Some believe that there is only one ultimate value – human happiness. In the preamble to the Declaration of Independence it is written: “We hold these truths to be self-evident, that all men are created equal, that they are endowed by their Creator with certain unalienable Rights, that among these are Life, Liberty and the pursuit of Happiness.” But most philosophers stress other intrinsic values besides happiness such as knowledge, beauty, health, truth, power, and harmony.

Therefore, designing an ethical framework for digital technology, in particular for Artificial Intelligence, consists in embracing a desire to create positive value through technology, i.e. how technology can benefit society while addressing its risks along the way. This is the philosophy that transpires in any AI ethical guidelines that have been developed recently across the world, with the core principle being the “AI Code” (UK) or “generates net-benefits” (most countries). 

As Spiekermann shows (Figure below), ethics-by-design, i.e. value-based IT design, is not a mere philosophical exercise but an economic and political necessity. From the perspective of economics, one could argue that ethics throughout IT has positive externalities for society and companies, whereas its absence has negative externalities. 

Examples of Existing Ethical Guidelines

In the European Union

On 8 April 2019, the High-Level Expert Group on AI presented Ethics Guidelines for Trustworthy Artificial Intelligence. This followed the publication of the guidelines’ first draft on 18 December 2018 on which more than 500 comments were received through an open consultation. 

According to the Guidelines, trustworthy AI should be:

  • lawful: respecting all applicable laws and regulations
  • ethical: respecting ethical principles and values
  • robust: both from a technical perspective while taking into account its social environment

The Guidelines put forward a set of 7 key requirements that AI systems should meet in order to be deemed trustworthy. 

Human agency and oversight: AI systems should empower human beings, allowing them to make informed decisions and fostering their fundamental rights. At the same time, proper oversight mechanisms need to be ensured, which can be achieved through human-in-the-loop, human-on-the-loop, and human-in-command approaches. 

Technical Robustness and safety: AI systems need to be resilient and secure. They need to be safe, ensuring a fall-back plan in case something goes wrong, as well as being accurate, reliable and reproducible. That is the only way to ensure that also unintentional harm can be minimized and prevented.

Privacy and data governance: besides ensuring full respect for privacy and data protection, adequate data governance mechanisms must also be ensured, taking into account the quality and integrity of the data, and ensuring legitimised access to data.

Transparency: the data, system and AI business models should be transparent. Traceability mechanisms can help achieving this. Moreover, AI systems and their decisions should be explained in a manner adapted to the stakeholder concerned. Humans need to be aware that they are interacting with an AI system, and must be informed of the system’s capabilities and limitations.

Diversity, non-discrimination and fairness: unfair bias must be avoided, as it could have multiple negative implications, from the marginalization of vulnerable groups, to the exacerbation of prejudice and discrimination. Fostering diversity, AI systems should be accessible to all, regardless of any disability, and involve relevant stakeholders throughout their entire life circle.

Societal and environmental well-being: AI systems should benefit all human beings, including future generations. It must hence be ensured that they are sustainable and environmentally friendly. Moreover, they should take into account the environment, including other living beings, and their social and societal impact should be carefully considered. 

Accountability: Mechanisms should be put in place to ensure responsibility and accountability for AI systems and their outcomes. Auditability, which enables the assessment of algorithms, data and design processes plays a key role therein, especially in critical applications. Moreover, adequate an accessible redress should be ensured. 

In France

On 15 December 2017, the French Commission Nationale Informatique et Libertés (CNIL) published a report summarising conclusions of the public debate which it conducted on the ethical challenges of algorithms and artificial intelligence[65]

CNIL retains in its report two “founding principles”: loyalty and vigilance.

The principle of loyalty applies to all algorithms and integrates all their collective impacts, not just those concerning the individual. Every algorithm, whether it processes personal data or not, shall be loyal to its users, not only as consumers but also as citizens, and also, where appropriate, to communities or large collective interests of which the existence might be directly affected. The user interest must prevail. 

The principle of vigilance/reflexivity implies to organise a kind of regular, methodical and deliberative questioning with respect to these moving objects. It is a direct response to the requirements that are dictated by these technological objects as a result of their unpredictable nature (inherent to machine learning), the very compartmentalized aspect of the algorithmic chains within which they are inserted and, finally, the excessive confidence to which they give rise. All the links in the algorithmic chain (designers, companies, citizens) must be mobilized to give form to this principle by means of concrete procedures. 

CNIL makes six operational recommendations: 

  1. to train into ethics all the actors-links of the “algorithmic chain” (designers, professionals, citizens) – digital literacy is needed to allow every human to acquire a much better understanding of the AI machine;
  2. to make algorithmic systems understandable by strengthening existing rights and organizing mediation with users;
  3. to work on the design of algorithmic systems in the service of human freedom, in order to combat the “black box” effect;
  4. to establish a national algorithm audit platform;
  5. to foster research into AI ethics and launch a great national participative cause around a research project of general interest;
  6. to strengthen the function of ethics in corporations (e.g., creation of ethical committees, dissemination of good sectorial practices, revision of deontology charters). 

In Quebec

On 4 December 2018, Université de Montréal, in collaboration with the Fonds de recherche du Québec, unveiled the Montréal Declaration for Responsible Development of Artificial Intelligence[66]. This set of ethical guidelines for the development of artificial intelligence was the culmination of more than a year of work, research and consultations with citizens, experts, public policymakers and industry stakeholders, civil society organizations, and professional orders. 

A key objective of the Declaration is to identify the ethical principles and values applicable to the fields of digital technology and AI that promote the fundamental interests of people and groups. The 10 principles are as follows:

  1. Well-being: The development and use of artificial-intelligence systems (AIS) must permit the growth of the well-being of all sentient beings.
  2. Respect for autonomy: AIS must be developed and used with respect for people’s autonomy, and with the goal of increasing people’s control over their lives and their surroundings. 
  3. Protection of privacy and intimacy: Privacy and intimacy must be protected from intrusion by AIS and by data-acquisition and archiving systems. 
  4. Solidarity: The development of AIS must be compatible with maintaining the bonds of solidarity among people and generations.
  5. Democratic participation: AIS must meet intelligibility, justifiability and accessibility criteria, and must be subjected to democratic scrutiny, debate and control.
  6. Equity: The development and use of AIS must contribute to the creation of a just and equitable society. 
  7. Diversity inclusion: The development and use of AIS must be compatible with maintaining social and cultural diversity, and must not restrict the scope of lifestyle choices and personal experience.
  8. Prudence: Every person involved in AIS development must exercise caution by anticipating, as far as possible, the potential adverse consequences of AIS use, and by taking appropriate measures to avoid them. 
  9. Responsibility: The development and use of AIS must not contribute to diminishing the responsibility of human beings when decisions must be made.
  10. Sustainable development: The development and use of AIS must be carried out so as to ensure strong environmental sustainability of the planet. 

Based on these principles, 8 recommendations have been developed, for the purpose of suggesting guidelines for accomplishing the digital transition within the ethical framework of the Declaration. 

  1. Organization for independent citizen scrutiny and consultation: An organization dedicated to the examination of and research into the uses and social impacts of digital technology and AI should be established.
  2. SIA audit and certification policy: A coherent policy for the auditing and certification of AIS that promotes responsible deployment should be instituted.
  3. Empowerment and automation: There should be support for empowerment of citizens in the face of digital technologies, in the form of access to education that enables understanding, critical thinking, respect, and accountability, so as to promote active participation in a sustainable digital society. 
  4. Education and ethics: The education of stakeholders concerned by the design, development and use of AIS should be rethought, with investment in multidisciplinarity and ethics.
  5. Inclusive development of AI: A coherent strategy should be implemented, utilizing the various existing institutional resources, to promote inclusive development of AI and prevent potential biases and discrimination related to development and deployment of AIS. 
  6. Protection of democracy: To safeguard democracy against the manipulation of information for political ends, a containment strategy is required to prevent deception and political manipulation of citizens via malicious social platforms and websites, along with a strategy to combat political profiling, so as to maintain the conditions for healthily functioning democratic institutions and informed citizens.
  7. International development of AI: A non-predatory model of international development should be adopted that aims to include the various regions of the globe without abusing low- and middle-income countries (LMICs).
  8. Environmental footprint: A public/private strategy should be implemented to ensure that development and deployment of AIS and other digital technologies are compatible with robust environmental sustainability and conducive to advancement of solutions to the environmental crisis. 

In Dubai

“Smart Dubai” vision[67] is to excel in the development and use of AI in ways that both boost innovation and deliver human benefit and happiness. 

The four “AI Principles” are the following: 

  • Ethics: AI should be fair, transparent, accountable and understandable;
  • Security: AI should be safe, secure, and should serve and protect humanity;
  • Humanity: AI should be beneficial to humans and aligned with human values in both the long and short term;
  • Inclusiveness: AI should benefit all people in society, be governed globally and respect dignity and people rights. 

The AI Ethical Guidelines expand on Dubai’s AI Principle about Ethics dealing with fairness, transparency, accountability and explainability: 

  • Fair: Demographic fairness, fairness in design, fairness in data, fairness in algorithms, fairness in outcomes
  • Transparent: Identifiable by humans, traceability of cause of harm, auditability by public
  • Accountable: Apportionment of accountabilities, accountable measures for mitigating risks, appeals procedures and contingency plans
  • Explainable: Process explainability, outcomes explainability, explainability in non-technical terms, channels of explanation

In China

The Chinese Ministry of Science and Technology and the Beijing City Government commissioned the researchers with publishing a “code of ethics” to ensure that “human privacy, dignity, freedom, autonomy and rights are sufficiently respected” in the development of AI technologies[68]. Beijing University, Tsinghua University, the Institute of Automation and the Institute of Computing Technology within the Chinese Academy of Sciences, as well as the country’s three major Internet companies, Baidu, Alibaba and Tencent, were involved in drafting the code. 

Despite its basic accordance with western values, the code of ethics constitutes a set of rules that can be interpreted in quite different ways because it is formulated in very general terms. The Chinese government in any case does not seem to see any contradiction with its planned social credit system, which rewards “good behaviour” by adding social points and punishes “undesirable behaviour” by deducting points. Even a majority of Chinese citizens considers the necessary interference in their privacy and autonomy as acceptable. 

The principles are proposed as “an initiative for the research, development, use, governance and long-term planning of AI, calling for its healthy development to support the construction of a human community with a shared future, and the realization of beneficial AI for humankind and nature.” 

Research and development

The research and development (R&D) of AI should observe the following principles:

  • Do Good: AI should be designed and developed to promote the progress of society and human civilization, to promote the sustainable development of nature and society, to benefit all humankind and the environment, and to enhance the well-being of society and ecology.
  • For Humanity: The R&D of AI should serve humanity and conform to human values as well as the overall interests of humankind. Human privacy, dignity, freedom, autonomy, and rights should be sufficiently respected. AI should not be used to against, utilize or harm human beings.
  • Be Responsible: Researchers and developers of AI should have sufficient considerations for the potential ethical, legal, and social impacts and risks brought in by their products and take concrete actions to reduce and avoid them.
  • Control Risks: Continuous efforts should be made to improve the maturity, robustness, reliability, and controllability of AI systems, so as to ensure the security for the data, the safety and security for the AI system itself, and the safety for the external environment where the AI system deploys.
  • Be Ethical: AI R&D should take ethical design approaches to make the system trustworthy. This may include, but not limited to: making the system as fair as possible, reducing possible discrimination and biases, improving its transparency, explainability, and predictability, and making the system more traceable, auditable and accountable.
  • Be Diverse and Inclusive: The development of AI should reflect diversity and inclusiveness, and be designed to benefit as many people as possible, especially those who would otherwise be easily neglected or underrepresented in AI applications.
  • Open and Share: It is encouraged to establish AI open platforms to avoid data/platform monopolies, to share the benefits of AI development to the greatest extent, and to promote equal development opportunities for different regions and industries. 

Use

The use of AI should respect the following principles:

  • Use Wisely and Properly: Users of AI systems should have the necessary knowledge and ability to make the system operate according to its design, and have sufficient understanding of the potential impacts to avoid possible misuse and abuse, so as to maximize its benefits and minimize the risks.
  • Informed-consent: Measures should be taken to ensure that stakeholders of AI systems are with sufficient informed-consent about the impact of the system on their rights and interests. When unexpected circumstances occur, reasonable data and service revocation mechanisms should be established to ensure that users’ own rights and interests are not infringed.
  • Education and Training: Stakeholders of AI systems should be able to receive education and training to help them adapt to the impact of AI development in psychological, emotional and technical aspects.

Governance

The governance of AI should observe the following principles:

  • Optimizing Employment: An inclusive attitude should be taken towards the potential impact of AI on human employment. A cautious attitude should be taken towards the promotion of AI applications that may have huge impacts on human employment. Explorations on Human-AI coordination and new forms of work that would give full play to human advantages and characteristics should be encouraged.
  • Harmony and Cooperation: Cooperation should be actively developed to establish an interdisciplinary, cross-domain, cross-sectoral, cross-organizational, cross-regional, global and comprehensive AI governance ecosystem, so as to avoid malicious AI race, to share AI governance experience, and to jointly cope with the impact of AI with the philosophy of « Optimizing Symbiosis ».
  • Adaptation and Moderation: Adaptive revisions of AI principles, policies, and regulations should be actively considered to adjust them to the development of AI. Governance measures of AI should match its development status, not only to avoid hindering its proper utilization, but also to ensure that it is beneficial to society and nature.
  • Subdivision and Implementation: Various fields and scenarios of AI applications should be actively considered for further formulating more specific and detailed guidelines. The implementation of such principles should also be actively promoted – through the whole life cycle of AI research, development, and application.
  • Long-term Planning: Continuous research on the potential risks of Augmented Intelligence, Artificial General Intelligence (AGI) and Superintelligence should be encouraged. Strategic designs should be considered to ensure that AI will always be beneficial to society and nature in the future.

In the United States

The Algorithmic Accountability Act of 2019 (H.R. 2231) aims to “direct the Federal Trade Commission (FTC) to require entities that use, store, or share personal information to conduct automated decision system impact assessments and data protection impact assessments”. It requires companies with annual revenue over $50m, holding data of over 1m users or working as personal data brokers, to test their algorithms and fix in a timely manner anything that is “inaccurate, unfair, biased or discriminatory”. 

The law, if voted in and passed, would require such companies to audit all the processes involved with sensitive data in any way such as machine learning and others. The algorithms that would fall under the audits would be those affecting legal rights of a consumer, performing predictive behaviour assessments, processing large amounts of sensitive personal data, or “systematically monitor a large, publicly accessible physical space”. If the audits turn up any risks of discrimination, data privacy breaches and others, the companies would be required to address them within a timely manner. It could be the start of a significant shift in the paradigm and pave the way for many cases of tech companies finally being held accountable for their various breaches and violations of certain standards. 

With the Algorithmic Accountability Act in place, together with other acts of the sort like the EU’s GDPR, the global legislative frameworks would finally start catching up to the fast developments of technology and AI. Having an overhead regulation at the federal level in the United States would be a large step towards achieving that. 

Furthermore, other relevant developments deserve close attention: 

  • the California Consumer Privacy Act (CCPA) will become effective on 1 January 2020;
  • New York’s privacy bill is even bolder than California’s;
  • San Francisco voted to ban the use of facial recognition by city agencies;
  • Illinois moved against video bots for hiring interviews.

In OECD

“The OECD Principles on Artificial Intelligence promote artificial intelligence (AI) that is innovative and trustworthy and that respects human rights and democratic values. They were adopted in May 2019 by OECD member countries when they approved the OECD Council Recommendation on Artificial Intelligence. The OECD AI Principles are the first such principles signed up to by governments. Beyond OECD members, other countries including Argentina, Brazil, Colombia, Costa Rica, Peru and Romania have already adhered to the AI Principles, with further adherents welcomed.”[69]

The Recommendation identifies five complementary values-based principles for the responsible stewardship of trustworthy AI:

  • Inclusive growth, sustainable development and well-being. Stakeholders should proactively engage in responsible stewardship of trustworthy AI in pursuit of beneficial outcomes for people and the planet, such as augmenting human capabilities and enhancing creativity, advancing inclusion of underrepresented populations, reducing economic, social, gender and other inequalities, and protecting natural environments, thus invigorating inclusive growth, sustainable development and well-being. 
  • Human-centred values and fairness.
    • AI actors should respect the rule of law, human rights and democratic values, throughout the AI system lifecycle. These include freedom, dignity and autonomy, privacy and data protection, non-discrimination and equality, diversity, fairness, social justice, and internationally recognised labour rights.
    • To this end, AI actors should implement mechanisms and safeguards, such as capacity for human determination, that are appropriate to the context and consistent with the state of art.
  • Transparency and explainability. AI Actors should commit to transparency and responsible disclosure regarding AI systems. To this end, they should provide meaningful information, appropriate to the context, and consistent with the state of art:
    • to foster a general understanding of AI systems,
    • to make stakeholders aware of their interactions with AI systems, including in the workplace,
    • to enable those affected by an AI system to understand the outcome, and,
    • to enable those adversely affected by an AI system to challenge its outcome based on plain and easy-to-understand information on the factors, and the logic that served as the basis for the prediction, recommendation or decision.
  • Robustness, security and safety.
    • AI systems should be robust, secure and safe throughout their entire lifecycle so that, in conditions of normal use, foreseeable use or misuse, or other adverse conditions, they function appropriately and do not pose unreasonable safety risk.
    • To this end, AI actors should ensure traceability, including in relation to datasets, processes and decisions made during the AI system lifecycle, to enable analysis of the AI system’s outcomes and responses to inquiry, appropriate to the context and consistent with the state of art.
    • AI actors should, based on their roles, the context, and their ability to act, apply a systematic risk management approach to each phase of the AI system lifecycle on a continuous basis to address risks related to AI systems, including privacy, digital security, safety and bias.
  • Accountability. Organisations and individuals developing, deploying or operating AI systems should be held accountable for their proper functioning in line with the above principles, based on their roles, the context, and consistent with the state of the art.

Differences vs. commonalities

We have seen a convergence on the recurring themes: do no harm, autonomy, justice, explicability and transparency, robustness, responsibility, respect and development of the environment and well-being. But this convergence should not hide that these similar concepts may have different meanings according to the cultures of the countries, as explained above before. So, we should aim at creating an Ethics of Artificial Intelligence based on a global consensus.

The OECD guidelines represent, in this respect, a real breakthrough. China, however, not a member of OECD, is one of the biggest developers of artificial intelligence systems, though. The French-Canadian initiative of the International Expert Group on Artificial Intelligence is another positive step forward and is being discussed with a dozen countries, the European Union and two other states; but neither the United States nor China seem inclined to integrate it for the moment. 

While artificial intelligence systems are mostly borderless, there is yet no international agreement that allows cross-border and global application of ethical rules to artificial intelligence systems.

Is it to say the guidelines that have been developed so far in various countries are ineffective? The answer is mixed, depending notably on an analysis of a number of criteria. 

Do the different guidelines represent the various stakeholders and have they been discussed with citizens?

The guidelines of CNIL were written after a large national consultation and a public debate involving more than 3,000 people and 60 partner structures during 45 animated events on the territory, including a day of citizen consultation. The themes of education, health, employment and the internet were thus retained. 

The European Commission guidelines were written by a group of around 50 experts selected from across the EU with a wide range of profiles. 

The Montreal Guidelines were the result of an inclusive deliberative process that engaged citizens, experts, public officials, industry stakeholders, civil society organizations and professional bodies in roundtable discussions, in public and private sectors. classrooms or on the Internet etc. 

The OECD guidelines were developed following the usual consultations of the bodies representing the Member States.

The Beijing guidelines were adopted by the Academy of Artificial Intelligence (BAAI), an organization of scientists and engineers backed by the Chinese Ministry of Science and Technology and the Beijing municipal government, universities and the three major technology companies of the country (Baidu, Alibaba and Tencent). 

The Dubai guidelines do not mention how they were written and whether they were subject to stakeholder consultation.

In which political systems are the guidelines adopted?

The guidelines of CNIL, the European Commission, Montreal, have been adopted in democratic states.

Dubai’s ethical principles have been broadly based on European principles, but in a very abstract way and without concrete definitions. The context in which they were adopted must be considered in assessing their scope. Dubai is ruled by a hereditary monarchy where political rights, freedom of speech, and gender equality are restricted.

The ethical principles of Beijing must also be appreciated in the context of the Chinese People’s Republic with a single party, a lack of freedom of expression, and a continuous surveillance of the population for decades, only the means varying in time. Artificial Intelligence systems that monitor and score the population via widely deployed facial recognition systems clearly infringe the Beijing Guidelines principles of privacy, dignity and freedom.

This puts into perspective the meaning of these ethical guidelines and shows that they must be read in the light of the political regime of the country where they have been adopted in order to appreciate their real significance. 

Do the guidelines fit into a binding legal system?

There is no authority to control the correct application of the guidelines presented above, which is quite logical since the various guidelines are not binding. 

To be able to attack companies that violate these different guidelines, it will be necessary to rely on the fundamental texts to which they refer and to invoke their violation. It is therefore essential to analyse their legal framework.

CNIL guidelines must be read in the light of the Declaration of the Rights of Man and the Citizen of 1789, which is the preamble to the 1958 Constitution, the Data Protection Act, which incorporates the provisions of the European Regulation on the protection of personal data and the regulations applicable to discrimination. These are binding texts that might be invoked in the context of a trial.

The European Union guidelines are based the fundamental rights enshrined in the EU treaties, the charter of human rights (with reference to dignity, liberty, equality and justice), the UN Human Rights Treaty, the European Convention of Human Rights, and also on the General Data Protection Regulation (GDPR). 

According to the Financial Times[70], the European Commission is planning regulation that will give EU citizens explicit rights over the use of their facial recognition data as part of an overhaul in the way Europe regulates artificial intelligence. The aim would be to limit the indiscriminate use of facial recognition technology by companies and public authorities. Under the plan, European citizens would be given the powers to know when facial recognition data is used, with any exceptions tightly circumscribed to ensure appropriate use. The move to explicitly legislate facial recognition technology would enhance citizens’ protection above existing restrictions laid out under the GDPR (e.g., the collection of sensitive biometric data that can be used to uniquely identify people is already prohibited under the GDPR unless citizens give their explicit consent). It seems that the EU wants to draw up legislation that could emerge as a world-standard for AI regulation with clear, predictable and uniform rules adequately protecting individuals. 

This reference to a body of texts is all the more important as ethical guidelines are non-binding, unlike regulatory texts. Therefore, their legal framework is essential to ensure their application. It is to be feared that isolated ethical guidelines will only be marginally applied, as long as there is no profound change in culture or regulation. 

To whom are the guidelines intended and how are they implemented.

All guidelines mention the fact that they should apply to both the public and private sectors.

For CNIL “It is all along the algorithmic chain (…) that it is necessary to act, by means of a combination of technical and organizational approaches. Algorithms are everywhere: they are everyone’s business”. A platform called TransAlgo[71] has been created. It is a collaborative scientific platform operated by Inria, and accessible to all. It is the first in Europe. Its purpose is to provide the understanding of algorithms systems through pedagogical content, articles, videos and free software tools. For example, TransAlgo provides resources and tools that reveal to which third parties people’s information is sent without their knowledge, to understand why a person is targeted by a particular advertisement when she navigated on certain social networks, what is behind the data collection, what algorithmic vulnerabilities are. TransAlgo also allows the development of new generations of “transparent by construction” algorithms that facilitate the measurement of their transparency, their explanation and the traceability of their reasoning as well as the development of so-called “responsible by construction” algorithms that respect the laws and the rules of companies.

The European Commission adopted a Trustworthy AI assessment list when developing, deploying, or using AI systems which is quite comprehensive and concrete, and has asked companies to experiment it and provide feedback. It insists on the fact that this assessment list will never be exhaustive and requires continuous improvement throughout the AI system’s lifecycle involving stakeholders in it. 

The appropriation of these guidelines by the stakeholders is crucial, hence the need to involve them as much as possible in the processes and to allow them to share the best practices and the tools to do “ethics by design”. The European AI Alliance is a good example of this process. It is a forum engaged in a broad and open discussion of all aspects of Artificial Intelligence development and its impacts, which gives the stakeholders the opportunity to share their views and to comment the work of the HLEG working for a Trustworthy AI. 

Developing ethical methods, processes and tools to make Artificial Intelligence systems « ethical by design »

In order for the guidelines not to remain dead letter, several conditions must be fulfilled. It is necessary to sensitize and train all the actors of the chain of development and of the launching of a project, in particular the developers, with the ethical principles so that those are integrated from the conception of the projects (“ethics by design”). 

This requires that an Ethical Impact Assessment (EIA) is carried out at the very beginning of the project. For projects with the highest ethical risks, it may be necessary to use an ethics committee to review them. In such a committee, the participation of people independent of the company is necessary to bring a neutral point of view as well as external expertise. The decisions of this committee must be motivated and kept in minutes to ensure transparency and traceability. Then, once the projects are launched, they must be the subject of a regular ethical evaluation to see if the uses fulfil the expected purposes, if the means to remedy the identified risks are effective, if new ethical risks have appeared, if the uses have been the object of drifts or diversion, and so forth.

AI Ethical Impact Assessment (EIA): towards a European model?

Going beyond the identification of common ethical guidelines for Artificial Intelligence, we recommend the development of an ethical impact assessment (EIA) framework that could be used by those developing AI technologies, services, projects, policies or programmes. Such a framework would allow the technology developer, policy maker or project manager to carry out an ethical impact assessment in consultation with all key stakeholders before a new system is deployed. 

Any development of an EIA framework would have to use the lessons learned from the work that scholars, experts and policy makers have done over the last 30 years or so, including: environmental impact assessment, risk assessment, technology assessment, regulatory impact assessment or simply impact assessment, privacy impact assessment. Following the work of Wright[72], the framework would consist of a set of ethical principles, values and issues followed by a set of questions the aim of which being to facilitate ethical consideration of the new technology. The framework should be supported by: 

  • ethical tools (or value appraisal techniques) helping the technology developer to get a better idea of how the technology is perceived ethically by stakeholders and what measures could be adopted to ensure that the technology is ethically acceptable or what alternatives might be at his or her disposition;
  • procedural aspects aimed at ensuring the ethical impact assessment is conducted in a way that engages stakeholders, ensures the transparency of the whole process and provides for independent evaluation and audit. 

Europe is taking the leadership in discussing such a framework. The 2016 General Data Protection Regulation (GDPR)[73] includes a Data Protection Impact Assessment (Article 35) that makes the European Commission and the European Data Protection Board (EDPB) relevant and credible organisations to trigger the process in consultation of all stakeholders within the European Union while remaining open to discussions with non-European countries. 

Once a common set of principles, values and questions have been agreed upon, it is possible to work on developing a comprehensive Ethics Impact Assessment (EIA) framework for Artificial Intelligence, based on the work of the AI HLEG, the stakeholders’ comments and, for example, what the European Commission did in 2011 regarding the Privacy Impact Assessment framework for Radio Frequency Identification[74]. Discussions about an EIA in the European Commission, and beyond, should contemplate a process that includes at least the following steps:

  • describing the system;
  • identifying and listing how the system under review could threaten ethics and evaluation of the magnitude and likelihood of those risks;
  • Documenting current and proposed technical, managerial and organisational controls to mitigate identified risks; and
  • documenting the resolution (results of the analysis) regarding the system.

It is urgent to start working on such an AI EIA Framework/Methodology since the discussions within the EU will take a minimum of three years and meanwhile Artificial Intelligence will continue to thrive on scientific and technological advances and eventually pervade all recesses of our societies and individual intimacies. 

Other tools

Tools exist already today to support companies in their endeavour to ensure ethical AI.

For example, LIME and SHAP help provide an explanation to end-users about how a Natural Language Processing (NLP) model works. All machine learning models that operate in higher dimensions than what can be directly visualized by the human mind can be referred as “black box” models which come down to the interpretability of the models. In particular in the field of NLP, it’s always the case that the dimension of the features are huge; therefore, explaining feature importance is getting much more complicated. These explainability methods, however, are criticized because they offer no guarantee that the explanations provided correspond to the operation of the model itself[75]. Research is underway to develop algorithms that decrypt the “black boxes”. 

In order to achieve more transparency, there also exist methods that allow users to “play” with the algorithms by varying the parameters to be entered. By doing so, users can understand better the data processing models, improve them, test hypotheses and apprehend the logic of the processing and its chains. This is the concept of “playability” as proposed by Fing[76] with its “NosSystèmes” project that aims at designing and identifying ways to make technical systems more intelligible. 

These are only a few examples of the tools that can be used to make IA ethical by design. 

The courage to deal with « tensions »

The four principles of beneficence, non-maleficence, autonomy, and justice have played a prominent role in bioethics, a field with decades of experience in managing the challenges posed by new technologies. These principles aim to articulate general values on which everyone can agree, and to function as practical guidelines. But they have spurred substantial debate: some argue that we should put no weight on principles and focus entirely on the elements of specific cases, while others have advocated a more moderate view, whereby principles should be considered in close conjunction with analysis of paradigm cases. However, even the strongest advocates of principlism in bioethics acknowledge that principles alone are not enough – they should be taken as guidelines, which need to be made specific for use in policy and clinical decision-making, accompanied by an account of how they apply in specific situations, and how to balance them when they conflict.[77]

Referring to the word “tension” to represent “any conflict, whether apparent, contingent or fundamental, between important values or goals, where it appears necessary to give up one in order to realise the other”, Whittlestone, Nyrup, Alexandrova and Cave believe that in order to the gap between principles and practice, acknowledge differences in values, highlight areas where new solutions are needed and identify ambiguities and knowledge gaps, four tensions are particularly central to thinking about the ethical issues arising from the applications of AI systems in society today: 

  • Tension 1: Using data to improve the quality and efficiency of services vs. respecting privacy and autonomy of individuals. 
  • Tension 2: Using algorithms to make decisions and predictions more accurate vs ensuring fair and equal treatment. (These algorithms may improve accuracy overall, but discriminate against specific subgroups for whom representative data is not available.)
  • Tension 3: Reaping the benefits of increased personalisation in the digital sphere vs enhancing solidarity and citizenship. (Personalisation can make it easier for people to find the right products and services for them, but differentiating between people in such fine-grained ways may threaten societal ideals of citizenship and solidarity.)
  • Tension 4: Using automation to make people’s lives more convenient and empowered vs promoting self-actualization and dignity. (With automation we may see the gifts of arts, languages and science become more accessible to those who were excluded in the past, but we may also see widespread deskilling, atrophy, ossification of practices, homogenisation and cultural diversity.)

These tensions, and probably some others, deserve to be acknowledged and articulated more clearly and explicitly. On one hand, to be useful in practice principles need to be formalized in standards, codes and ultimately regulation (or self-regulation by technology and/or application domain). On the other hand, to be effective, these must acknowledge that tensions exist between the different high-level goals of AI ethics and provide guidance on how they should be resolved in different scenarios. Therefore, besides regulation (hard/self-/co-regulation), research priorities in AI ethics, in particular under the future Digital Europe programme, should include work on the main ambiguities and gaps that may blur our understanding of how AI is currently being applied in society. 

CONCLUSION

We have seen that the potential benefits of Artificial Intelligence are tremendous – for the economy and for our society. People who developed the myth of an “intelligent” or “conscious” non-human being were right – just as Greeks, Egyptians and others were in Antiquity. The powers of matter endowed with some form of intelligence can bring a lot of benefits to humanity. Since the middle of the last century, philosophers, scientists, engineers have combined their skills, talents and dreams to bring all of us to the point where we are today: the opportunity of a longer life and healthier lifestyles.

However, we have also seen that unprecedented breakthroughs in Artificial Intelligence generate unprecedented challenges in its deployment. The latter are certainly not a reason to stop investing in AI or to burden AI creators with innovation-stifling new regulations. 

We cannot walk away from our future. 

It is important, though, to put real effort into the definition and implementation of guidelines that are suited to tackle these challenges. 

There are reasons to be optimistic. The largest countries of the world, on all continents, are committed to design ethical guidelines, and fortunately these guidelines are very similar. There is awareness across the world of both the challenges and opportunities of Artificial Intelligence. There are strategies to support science and foster innovation in Artificial Intelligence. There are many people working on the development of powerful methodologies to ensure that the further development and deployment of Artificial Intelligence will be beneficial to people, countries, and the planet. 

We have pleaded here in favour of a sustained global cooperation on “ethics by design” and the definition of a universal framework for Ethics Impact Assessments. This will take time, for sure. But the developments so far in the world tend to demonstrate that progress is gradually made towards the right direction. 

The multitude of trailblazing people from various countries, disciplines, sectors who are breaking barriers to promote a legally, ethically and socially acceptable design, deployment and use of Artificial Intelligence is an encouraging signal of the new spirit that is taking hold in the world: a new sense of human community, a new willingness and commitment to develop empowering and ethical systems, a new understanding that countries are all in this together, also a new recognition of the need of close cooperation between both public and private sectors, and finally a new readiness on the part of people and organisations to use and take advantage of Artificial Intelligence. 

Finally, the use of ethical guidelines with their principles, values and questions, though essential, is insufficient without a truly acculturation of ethical thinking by citizens, and primarily by the younger generations at school and university. Education is a key leverage point for ensuring the integration of ethics in every individual landscape. 

REFERENCES

[1]        Council of Europe Commissioner for Human Rights, “unboxing Artificial Intelligence: 10 steps to protect human rights”, Council of Europe, May 2019.

[2]        Sources: report on “AI in the UK: ready, willing and able?”, House of Lords Select Committee on Artificial Intelligence, 16 April 2018; Council of Europe Commissioner for Human Rights, op.cit., Annex, Definitions, pp. 24-25.

[3]        SIEBEL Thomas M., Digital Transformation: Survive and Thrive in an Era of Mass Extinction, RosettaBooks, New York, 2019, page 4.

[4]        Source: Innosight. 

[5]       WANG Ray, founder and principal analyst at Constellation Research, Forbes, 19 December 2014.

[6]        Source: LEE Kai-Fu, interview on “the Power of AI to Transform Humanity”, by ZUCKERMAN Andrew, 25 April 2019.

[7]       WALCH Kathleen, Principal Analyst, Cognilytica, “The Seven Patterns of AI”, Forbes, 17 September 2019. 

[8]        For example, “The European Unicorns Reunion”, France Digital Day (#FDDay), 18 September 2019. 

[9]        Source: https://consult.industry.gov.au/strategic-policy/artificial-intelligence-ethics-framework/supporting_documents/ArtificialIntelligenceethicsframeworkdiscussionpaper.pdf

[10]       “Pan-Canadian Artificial Intelligence Strategy”, 12 April 2017. 

[11]        According to Gavin Menzies, an amateur historian and a former submarine commanding officer who has spent 14 years charting the movements of a Chinese expeditionary fleet between 1421 and 1423, the eunuch admiral, Zheng He, was in America 72 years before Colombus and, in his colossal multi-masted ships stuffed with treasure, silks and porcelain, made the first circumnavigation of the world, beating the Portuguese navigator Ferdinand Magellan by a century. 

[12]        “Artificial Intelligence Strategy”, report of the Federal Government, November 2018. 

[13]       Report on “Automated and Connected Driving”, Ethics Commission, Federal Ministry of Transport and Digital Infrastructure (BMVI), June 2017. 

[14]        “Artificial Intelligence Technology Strategy”, Report of Strategic Council for AI Technology, 31 March 2017.

[15]        This was not the first time South Korea had made a big commitment to AI. In 2016, after DeepMind’s AlphaGo defeated Korean Go Master Lee Sedol, which shocked Koreans, the country announced it would invest ₩1 trillion (US$863 million) in AI research over the next five years.

[16]        https://government.ae/en/about-the-uae/strategies-initiatives-and-awards/federal-governments-strategies-and-plans/uae-strategy-for-artificial-intelligence

[17]       https://uaecabinet.ae/en/details/news/mohammed-bin-rashid-launches-five-decade-government-plan-uae-centennial-2071

[18]        Policy paper, “Artificial Intelligence Sector Deal”, Sector Deal between government and the Artificial Intelligence (AI) sector, 26 April 2018 (last updated 21 May 2019) https://www.gov.uk/government/publications/artificial-intelligence-sector-deal

[19]       “AI in the UK: ready, willing and able?”, Select Committee on Artificial Intelligence, House of Lords, 16 April 2018.

[20]        Artificial Intelligence for the American People https://www.whitehouse.gov/ai/

[21]        NITRD, Supplement to the President’s 2020 Budget, https://www.whitehouse.gov/wp-content/uploads/2019/09/FY2020-NITRD-AI-RD-Budget-September-2019.pdf

[22]        Source: EC Study on “identification and quantification of key socio-economic data for the strategic planning of 5G introduction in Europe”, SMART 2014/0008.

[23]       Source: “Cutting through the 5G hype: Survey shows telcos’ nuanced views”, McKinsey, February 2019.

[24]      COMMUNICATION FROM THE COMMISSION TO THE EUROPEAN PARLIAMENT, THE COUNCIL, THE EUROPEAN ECONOMIC AND SOCIAL COMMITTEE AND THE COMMITTEE OF THE REGIONS Radio Frequency Identification (RFID) in Europe: steps towards a policy framework – EU-COM(2007) 96 final.

[25]       The International Telecommunication Union (ITU) published in 2005 a report on the Internet of Things, the seventh report in the series of ITU Internet Reports (1997-2005), which was written by a team of analysts from ITU’s Strategy and Policy Unit (SPU) led by Lara Srivastava.

[26]        Commission Recommendation of 12 May 2009 on the implementation of privacy and data protection principles in applications supported by radio- frequency identification (COM)2009) 387 EC; Communication of 18 June 2009 from the Commission to the European Parliament, the Council, the European Economic and Social Committee and the Committee of the Regions – Internet of Things: an action plan for Europe (COM(2009) 0278 final; DG CONNECT Internal Report on the implementation of the Commission Recommendation on the implementation of privacy and data protection principles in applications supported by radio-frequency identification (27/08/2014). 

[27]       The scope of the work of the IoT-EG was broad – Identification, Architectures, Privacy, Ethics, Standards, Governance. Because of the complexity of these topics and the variety of opinions among the stakeholders, strong ‘concertation’ was needed to reach a minimum consensus in the perspective of a Recommendation. But DG CONNECT considered that another year of discussions to complete the work would not be an effective approach, especially because the question of whether the Internet of Things really was substantially new, or if it was just an extension of the existing Internet had not been settled yet. DG CONNECT followed the opinion of some of the experts according to whom a secondary forum for political questions regarding the Internet of Things should not be instantiated and relevant issues should be dealt with within existing multi-stakeholder structures of Internet Governance such as the Internet Governance Forum (IGF).

[28]      During the implementation of the Telematics Applications Programme (TAP, 1994-1998), part of the EU Framework Research Programme 4 (FP4), Michel RICHONNIER, Director of the TAP, had explicitly set as one of the programme’s objectives the emergence of a “European Google”. 

[29]     As many as 28 of 30 DSM legislative proposals were agreed between Parliament, Council and Commission before the end of the five-year mandate in April 2019. 

[30]       For more insights, read: DITTRICH Paul-Jasper, Research Fellow at Jacques Delors Institut Berlin, “New Beginnings: Challenges for EU Digital and Innovation Policy”, 2 September 2019. https://www.delorsinstitut.de/en/all-publications/new-beginnings-digital-europe/

[31]        See https://www.theinternetofthings.eu/sophie-le-pallec-rick-bouter-gérald-santucci-metamorphosis-objects-and-human-subjects-internet

[32]        “The Jobs That Artificial Intelligence Will Create”, MIT Sloan Management Review, Vol. 58, No. 4, Summer 2017.

[33]       https://iapp.org/news/a/study-gdprs-global-reach-to-require-at-least-75000-dpos-worldwide/

[34]      SIEBEL (Thomas M.), Digital Transformation: Survive and Thrive in an Era of Mass Extinction, RosettaBooks, New York, 2019, page 104.

[35]       FREY (Carl Benedikt) and OSBORNE (Michael A.), “The future of employment: How susceptible are jobs to computerization?”, study released at the “Machines and Employment” Workshop hosted by the Oxford University Engineering Sciences Department and the Oxford Martin Programme on the Impact of Future Technology, September 17, 2013. The authors modelled the characteristics of 702 occupations and classified them according to their “susceptibility to computerization”.           
https://www.oxfordmartin.ox.ac.uk/downloads/academic/The_Future_of_Employment.pdf

[36]        To be honest, the study does not say that half of all jobs are going to be automated in a decade or two, leaving half the population unemployed. It only suggests that the occupations concerned are the most vulnerable to automation. It makes no attempt to estimate how many jobs will actually be automated since that will depend on other things, such as cost, regulation, political pressure, and social resistance. 

[37]       “Jobs lost, jobs gained: What the future of work will mean for jobs, skills, and wages”, McKinsey report, November 2017, https://www.mckinsey.com/featured-insights/future-of-work/jobs-lost-jobs-gained-what-the-future-of-work-will-mean-for-jobs-skills-and-wages

[38]        IBM Study: The Skills Gap is Not a Myth, But Can Be Addressed with Real Solutions”, IBM News Room, 6 September 2019. The study shows that new skills requirements are rapidly emerging, while other skills are becoming obsolete. In 2016, executives ranked technical core capabilities for STEM and basic computer and software/application skills as the top two most critical skills for employees. In 2018, the top two skills sought were behavioural skills – willingness to be flexible, agile, and adaptable to change and time management skills and ability to prioritize. Ethics and integrity is also a skill often named most critical. 

[39]        Virtual assistants can be contrasted with another type of consumer-facing AI programming, called “smart advisers”. Smart adviser programs are subject-oriented, while virtual assistants are task-oriented. 

[40]        The “belt” refers to an overland push across Eurasia and the “road” to a maritime route to South Asia and beyond. 

[41]       Although the original trading routes were established more than 2,000 years ago, the “Silk Road” name was coined in 1877 by a German geographer (Ferdinand von RICHTOFEN). As US involvement in international trade agreements is scaled back, President XI Jinping is using the Belt and Road Initiative to position himself as a champion of global cooperation and development as well as free trade. 

[42]      Source: Freedom House research director Adrian SHAHBAZ, report on “Freedom on the Net 2018: The Rise of Digital Authoritarianism” – https://freedomhouse.org/report/freedom-net/freedom-net-2018/rise-digital-authoritarianism. Freedom House is a democracy watchdog group whose main financier is the US Government. 

[43]        The CARIN Alliance is a non-partisan, multi-sector alliance which is led by distinguished risk-bearing providers, payers, consumers, pharmaceutical companies, consumer platform companies, health IT companies, and consumer-advocates who are working collaboratively with other stakeholders in government to overcome barriers in advancing consumer-directed exchange across the U.S.

[44]       See “Les GAFA s’immiscent dans les systèmes de santé publique”, Les Échos, 5/09/2019, page 24.

[45]      Source: “Scalable and accurate deep learning with electronic health records”, Nature, npj Digital Medicine 1, Article Number: 18 (2018).

[46]        China’s Song Dynasty military forces as early as 904 A.D. used gunpowder devices against their primary enemy, the Mongols. Military applications of gunpowder included flying fire arrows, primitive hand grenades, poisonous gas shells, flamethrowers and landmines. By the mid- to late-eleventh century, the Song government had become concerned about gunpowder technology spreading to other countries. The sale of saltpetre to foreigners was banned in 1076. Nonetheless, knowledge of the miraculous substance was carried along the Silk Road to India, the Middle East, and Europe. In 1267, a European writer referred to gunpowder, and by 1280 the first recipes for the explosive mixture were published in the West. China’s secret was out. 

[47]       Future of Life Institute, Autonomous Weapons: An Open Letter from AI & Robotics Researchers, 2015.

[48]        ROTHBLATT Martine, Virtually Human: The Promise – and the Peril – of Digital Immortality, St. Martin’s Press, New York, 2014, foreword by Ray KURZWEIL, pp. 3-7.

[49]       ROBITZSKI Dan, Staff Reporter Futurism, and Freelance Writer: “Will we be da Vinci, painting a self-amused woman who will be admired for centuries, or will we be Uranus, creating gods who will overthrow us? Right now, AI will do exactly what we tell AI to do, for better or worse. But if we move towards algorithms that begin to, at the very least, present as sentient, we must figure out what that means.” 

[50]      BLOCH Emmanuel, Director Corporate Responsibility at Thales, “Les algorithmes ont-ils une âme?”, Matinée de l’Éthique, Saint-Denis (France), 6 June 2019. 

[51]       See for example: “AI and Consciousness: Theoretical foundations and current approaches”, AAAI Symposium, Washington, DC, 8-11/11/2007; Susan Schneider, Associate Professor of Philosophy and Cognitive Science at the University of Connecticut and faculty member in the technology and ethics group at Yale’s Interdisciplinary Center for Bioethics, “The problem of AI consciousness”, 18/03/2016; “Will artificial intelligence become conscious?”, The Conversation, 08/12/2017.

[52]        LEVANDOWSKI Anthony, interviewed by Mark HARRIS, a freelance journalist reporting on technology from Seattle, “Inside the First Church of Artificial Intelligence”, WIRED, 15/11/2017.

[53]       HARARI Yuval Noah, Homo Deus: A Brief History of Tomorrow, HarperCollins, 2017, page 367. “Dataism declares that the universe consists of data flows, and the value of any phenomenon or entity is determined by its contribution to data processing.”

[54]      DUGAIN Marc, Transparence, Gallimard, 25/04/2019. 

[55]     PAUL-CHOUDHURY Sumit, “Tomorrow’s Gods: What is the future of Religion?”, BBC, 2 August 2019. 

[56]        In March 2018, The New York Times, working with The Observer of London and The Guardian, obtained a cache of documents from inside Cambridge Analytica, the data firm principally owned by the right-wing donor Robert Mercer. The documents proved that the firm, where the former Trump aide Stephen Bannon a board member, used data improperly obtained from Facebook to build voter profiles. The news put Cambridge Analytica under investigation and thrust Facebook into its biggest crisis ever.

[57]       “Your chosen target will be exposed to 10 articles on major social networks and news sites. The articles are picked by The Spinner’s editors’ team in order to support the desired narrative. You will receive an innocent looking link. (You can choose the link address). You will send that link to your target via email or text message. After clicking the link, the target will start seeing the articles chosen for him or her. For any language other than English – you’ll have to select the articles yourself. Send us the articles you want to deliver, and we will make sure the articles fit ads platforms’ criteria. When you are ready to set and launch you Tailor-Made microtargeted campaign, please contact us TailorMade@TheSpinner.net.”

[58]      In 2018, China had an estimated 200 million surveillance cameras (300 million cameras installed by 2020), i.e. four times as many as the United States. Source: The New York Times, 8 July 2018.

[59]       RIO Edern, “Algorithmes de risques de récidive: quand l’IA determine votre peine de prison”, Opportunités Technos, 24 janvier 2019, https://opportunites-technos.com/algorithmes-de-risques-de-recidive-quand-ia-determine-votre-peine-de-prison/

[60]        Source: VILLASENOR John, Governance Studies, Centre for Technology Innovation, “Artificial Intelligence and bias: Four key challenges”, Brookings, 3 January 2019. 

[61]       Recital 71: The data subject should have the right not to be subject to a decision, which may include a measure, evaluating personal aspects relating to him or her which is based solely on automated processing and which produces legal effects concerning him or her or similarly significantly affects him or her, such as automatic refusal of an online credit application or e-recruiting practices without any human intervention. Such processing includes ‘profiling’ that consists of any form of automated processing of personal data evaluating the personal aspects relating to a natural person, in particular to analyse or predict aspects concerning the data subject’s performance at work, economic situation, health, personal preferences or interests, reliability or behaviour, location or movements, where it produces legal effects concerning him or her or similarly significantly affects him or her. However, decision-making based on such processing, including profiling, should be allowed where expressly authorised by Union or Member State law to which the controller is subject, including for fraud and tax-evasion monitoring and prevention purposes conducted in accordance with the regulations, standards and recommendations of Union institutions or national oversight bodies and to ensure the security and reliability of a service provided by the controller, or necessary for the entering or performance of a contract between the data subject and a controller, or when the data subject has given his or her explicit consent. In any case, such processing should be subject to suitable safeguards, which should include specific information to the data subject and the right to obtain human intervention, to express his or her point of view, to obtain an explanation of the decision reached after such assessment and to challenge the decision. Such measure should not concern a child. In order to ensure fair and transparent processing in respect of the data subject, taking into account the specific circumstances and context in which the personal data are processed, the controller should use appropriate mathematical or statistical procedures for the profiling, implement technical and organisational measures appropriate to ensure, in particular, that factors which result in inaccuracies in personal data are corrected and the risk of errors is minimised, secure personal data in a manner that takes account of the potential risks involved for the interests and rights of the data subject, and prevent, inter alia, discriminatory effects on natural persons on the basis of racial or ethnic origin, political opinion, religion or beliefs, trade union membership, genetic or health status or sexual orientation, or processing that results in measures having such an effect. Automated decision-making and profiling based on special categories of personal data should be allowed only under specific conditions.

[62]      The first comprehensive report on the potential of Artificial Intelligence for the future of humans is the so-called “NBIC Report”: Converging Technologies for Improving Human Performance: Nanotechnology, Biotechnology, Information Technology and Cognitive Science, US National Science Foundation (NSF), June 2002. 

[63]        SPIEKERMANN Sarah, Vienna University of Economics and Business, Institute for Management Information Systems, Ethical IT Innovation: A Value-Based System Design Approach, CRC Press, Taylor & Francis Group, 2016, page 14. 

[64]        KLUCKHOHN Clyde, “Values and Value Orientations in the Theory of Action: An Exploration in Definition and Classification”, in Toward a General Theory of Action, edited by Talcott Parsons, Edward Albert Shils, and Neil J. Smelser, 388-433, Cambridge, MA: Transaction Publishers, 1962, page 395.

[65]        Source: https://www.cnil.fr/fr/comment-permettre-lhomme-de-garder-la-main-rapport-sur-les-enjeux-ethiques-des-algorithmes-et-de

[66]        Source: https://www.montrealdeclaration-responsibleai.com

[67]        Source: https://www.smartdubai.ae/initiatives/ai-principles-ethics

[68] Beijing AI Principles, https://www.baai.ac.cn/blog/beijing-ai-principles

[69]        Source: https://www.oecd.org/going-digital/ai/principles/

[70]        Source: “EU plans sweeping regulation of facial recognition”, Financial Times, 22 August 2019. 

[71] TransAlgo: Plateforme scientifique pour le développement de la transparence et de la redevabilité des algorithmes et des données, https://www.inria.fr/actualite/actualites-inria/transalgo

[72]        WRIGHT David, Director of Trilateral Research & Consulting (a London-based research company), “A framework for the ethical impact assessment of information technology”, article published online: 8 July 2010.

[73]       Regulation (EU) 2016/679 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data. 

[74]      The European Commission achieved an important landmark in impact assessment when Vice-President Neelie KROES signed on 6th April, 2011, the Privacy Impact Assessment Framework (PIAF) for RFID applications after 18 months of extensive work among all stakeholders from industry, academia, and representatives of society (like BEUC and ANEC). The RFID PIA Framework was the first foray of Europe into the PIA activity, whereas the concept was already frequently used in Canada, the United States, Australia, New Zealand and other countries around the world. For Sarah Spiekermann, who took part in the RFID Expert Group that was established by European Commission DG Information Society and Media (DG INFSO, now DG CNECT) in the aftermath of the 2009 RFID Recommendation, “the only PIA guideline with a valid process model is the PIA Framework for RFID, which was endorsed by the Article 29 Working Party and signed by the European Commission (…) This framework encourages European RFID application operators to run through a four-step PIA process: (1) describe their system landscape, (2) identify privacy risks, (3) mitigate those risks through appropriate controls, and (4) document the analysis and residual risks in a PIA report. This four-step methodology has been called a “landmark for privacy-by-design” by Ontario’s data protection authorities, who invented the concept of privacy-by-design.” OETZEL Marie, SPIEKERMANN Sarah, “A systematic methodology for privacy impact assessments – a design science approach”, European Journal of Information Systems (EJIS), Vol. 23, pp. 126-150, July 2013.

[75]        Source: “Explicabilité des IA: quelles solutions mettre en oeuvre?”, LeMagIT, 2 september 2019. 

[76]       Source: Note APB, Recommandations au SGMAP dans le cadre de l’ouverture du code et des données de la plateforme Admission Post Bac, FING, April 2017, http://fing.org/IMG/pdf/APB_un_cas_d_e_cole_2_.pdf

[77]        According to some scholars, (i) principles are highly general, (ii) principles come into conflict in practice, (iii) different groups may interpret principles differently. WHITTLESTONE Jess, NYRUP Rune, ALEXANDROVA Anna, CAVE Stephen, Leverhulme Centre for the Future of Intelligence, University of Cambridge, “The Role and Limits of Principles in AI Ethics: Towards a Focus on Tensions”, Association for the Advancement of Artificial Intelligence (www.aaai.org), 2019.

QUELS ENJEUX ETHIQUES POUR LES CHATBOTS ? QUELLES REPONSES ?

Ressources humaines

Geneviève Fieux-Castagnet

Décembre 2020

Qu’est-ce qu’un chatbot ?

Un chatbot est un agent conversationnel qui peut être vocal ou écrit. Il est souvent intégré dans un système, par exemple un smartphone ou un robot. 

De façon générale, un “bot” n’est rien d’autre qu’un logiciel qui exécute des taches automatiques, i.e. un programme informatique conçu pour communiquer avec des utilisateurs humains à travers l’internet. Nous nous concentrerons ici sur la classe des bots qui se trouvent sur les plates-formes de discussion et des sites web : les « chatbots ». 

L’origine du terme « chatbot » n’est pas tout à fait déterminée, mais il semble qu’il fut inventé en 1994 sous l’appellation « ChatterBot »[1] avant d’être raccourci pour devenir finalement « ChatBot ». 

La définition la plus simple d’un chatbot est la suivante : « un agent conversationnel capable de dialoguer avec un ou plusieurs utilisateurs », c’est-à-dire un programme pouvant avoir une discussion ou conversation avec un humain. Plus précisément, c’est une application informatique de commande vocale qui comprend les instructions verbales données par les utilisateurs humains et répond à leurs requêtes. Le chatbot interagit selon un format qui ressemble à la messagerie instantanée. En répliquant les modèles des interactions humaines, l’apprentissage automatique (machine learning) permet aux ordinateurs d’apprendre par eux-mêmes sans qu’il soit nécessaire de programmer le traitement du langage naturel. Le chatbot peut répondre comme une personne réelle aux questions qui lui sont formulées en langage naturel. Il fournit les réponses en se basant sir une combinaison de textes prédéfinis et d’applications d’apprentissage automatique. Les plus « intelligents » des chatbots intègrent une technologie de compréhension du langage naturel (NLP) qui leur permet de répondre à des questions de plus en plus complexes et à participer à des conversations de plus en plus élaborées. 

Aujourd’hui, les conversations avec les chatbots sont disponibles sur des plates-formes déjà connues telles que Skype, Slack, Telegram, Kik, Messenger, ou encore WeChat en Asie… Cette conversation peut se faire sous forme uniquement textuelle ou être enrichie d’images et d’interactions ; elle peut se faire avec des questions ouvertes ou sous forme de QCM. 

Le chatbot est d’ores et déjà devenu un « compagnon » inséparable de nos vies puisqu’il suffit d’une mauvaise manipulation de touche de son clavier d’ordinateur pour qu’il se manifeste, sans que nous l’ayons sollicité, afin de nous demander ce dont nous avons besoin…

Le chatbot, un nouveau marché prometteur

Le marché mondial des chatbots devrait connaître un fort accroissement au cours des prochaines années, comme le montrent les études suivantes. Même si ces études présentent une très forte variabilité de leurs chiffres, elles se rejoignent pour prédire au cours des années qui viennent une croissance annuelle moyenne de l’ordre de 30%. 

Société de conseil et de recherchePériodeMarché en fin de période 
(milliards de dollars)
Taux de croissance annuel moyen 
(%)
Forencis Research2021-202719,7+29,5
Verified Market Research2020-20275,42+23,16
Allied Market Research2020-20273,39(Banque, services financiers, assurances)+27,3
GMI Research2019-20264,86+22,70
Market Study Report2019-2026N/A+29,60
Mordor Intelligence2019-2025102,29+34,75
MarketsandMarkets Analysis2019-20249,40+29,70
Valuates Reports2018-20259,17+21,95
Grand View Research2017-20251,25+24,30
Arizton2017-20220,80+28,00
Prévisions d’évolution du marché mondial des chatbots

Les raisons pour lesquelles des demandes sont exprimées en direction des chatbots sont multiples, comme le montre le graphique suivant : situation d’urgence, résolution d’un problème, recevoir des explications, faire une réservation, payer une facture, etc. 

Source : Digital Marketing Community

Ces « cas d’utilisations » peuvent se résumer de la façon suivante :

  • informer et faciliter l’accès à l’information : la fonctionnalité la plus intuitive est d’utiliser les chatbots comme un moteur de recherche amélioré en aidant l’utilisateur à chercher et à accéder à la bonne information ;
  • conseiller : les chatbots accompagnent les clients dans leurs choix de produits en leur donnant des conseils personnalisés et en répondant à leurs interrogations ;
  • vendre différemment : les chatbots sont capables de rechercher, planifier, réserver et passer les commandes du client à partir d’une simple conversation ;
  • assister et fidéliser : en utilisant les plates-formes de messagerie comme canal supplémentaire de la relation client, les chatbots s’imposent comme un outil efficace pour fidéliser les clients en leur permettant de suivre leurs commandes. 

Grâce aux progrès de l’intelligence artificielle et au besoin perçu par les entreprises de communiquer de façon ubiquitaire et efficace avec leurs clients, le marché des chatbots semble promis à un avenir radieux. Les principaux secteurs d’utilisation des chatbots aujourd’hui sont l’immobilier, le tourisme, la santé, la finance, le commerce de détail, l’alimentation et les boissons. 

Tandis que les grandes entreprises adoptent facilement les solutions basées sur le chatbot, les petites et moyennes entreprises se situent très en retard en raison des coûts d’installation et du manque de ressources humaines compétentes. En outre, les chatbots requièrent une revue et une maintenance constantes ainsi qu’une optimisation en termes de leurs connaissances et de la façon avec laquelle ils sont supposés communiquer avec les utilisateurs. 

Il faut souligner aussi que les chatbots sont pour le moment développés surtout par des hommes ; ils tendent par conséquent à répliquer les stéréotypes de genre. Le succès du chatbot Replika, conçu par une femme, Eugenia Kuyda, tend cependant à montrer que les choses sont en train de changer. 

Chatbots et intelligence artificielle (IA)

Indiquons tout d’abord que lorsqu’on lui pose une question, le chatbot répond à partir de la base de connaissances qui lui est disponible. Si la conversation introduit un concept qu’il ne peut pas comprendre, il déviera la conversation ou passera la communication à un opérateur humain. Dans tous les cas, il apprendra de cette interaction comme de toutes les interactions à venir. Ainsi, le chatbot est destiné à couvrir un champ de connaissances de plus en plus large et de gagner en pertinence. 

Il est essentiel de garder à l’esprit que la complexité d’un chatbot est déterminée par la sophistication de son logiciel et par les données auxquelles il a accès. D’où l’intérêt de se demander si l’avenir des chatbots n’est pas dans l’intelligence artificielle. Celle-ci est basée sur la création de puissants algorithmes qui déterminent sa qualité de réflexion, d’analyse et de compréhension. Le croisement de la technologie et des usages permet d’offrir des expériences utilisateur nouvelles dont le chatbot est l’un des symboles les plus forts.

Il faut distinguer au moins deux types de chatbots :

  • « les chatbots à interactions dites faibles », c’est-à-dire que chaque question est prévue en amont par l’être humain afin que l’agent conversationnel puisse y apporter une réponse fiable et cohérente grâce à une analyse précise des mots-clés de la requête utilisateur ;
  • « les chatbots à interactions dites fortes » utilisant l’IA pour pouvoir mener une conversation de manière autonome et même faire preuve d’humour et d’émotion.

Tout commence avec le « text mining », une technique qui permet d’automatiser l’analyse sémantique de corpus de texte, donc de reconnaître des informations et de les interpréter. Le text mining repose sur l’analyse du langage naturel, c’est-à-dire sur la détection de mots et de leur nature grammaticale, ce qui lui permet de gérer et traiter les requêtes issues des conversations du chatbot. 

Il est possible de distinguer trois niveaux de compréhension et de traitement des requêtes d’utilisateurs par les chatbots : l’analyse des mots clés, la gestion des intentions et le machine learning.

L’analyse de mots-clés

C’est le premier niveau de l’intelligence artificielle dans les chatbots. Ceux-ci se cantonnent à détecter des mots-clés dans les requêtes des utilisateurs et à leur envoyer la réponse correspondante automatiquement. Grâce à cette reconnaissance de mots-clés, le robot peut identifier des noms d’entreprises, de marques, de produits, de lieux, d’événements, de villes, d’artistes, d’horaires, etc.

La plupart des chatbots actuels sont conçus ainsi. Ils ne « comprennent » pas réellement les messages qui leur sont adressés. Que l’on écrive au chatbot « j’aime le chocolat », « je n’aime pas le chocolat », ou encore « quels sont vos produits au chocolat », le mot-clé détecté sera « chocolat » pour les trois exemples et le bot enverra la réponse programmée qui y correspond.

La gestion des intentions

La gestion des intentions est une technique de compréhension du langage naturel. Il s’agit de comprendre la requête qui est envoyée au chatbot et non pas seulement de détecter un mot-clé. L’IA dans les chatbots débute réellement avec cette technique qui permet d’instaurer entre les utilisateurs et les chatbots un dialogue composé de questions ouvertes et de réponses ne se limitant pas à un simple quizz ou une analyse de mots-clés. La compréhension des requêtes faites au chatbot est donc essentielle. 

La gestion d’intention permet de coupler une volonté à une entité : la volonté correspond à l’intention (avoir, savoir, réserver, acheter, etc.) et l’entité au mot-clé (lieu, boutique, date, personne, événement, etc.). C’est en traitant les intentions et les entités que le chatbot va comprendre la requête. Sa réponse ne sera alors plus neutre, mais adaptée. 

A ce stade cependant, les intentions que le chatbot gérera doivent être prédéfinies pour cadrer leur détection et proposer des réponses adaptées. L’organisation des données dans un plan de classement est aussi faite par un humain. C’est le travail d’un infolinguiste, véritable architecte des conversations du chatbot. Bien que la gestion d’intention permette d’offrir de meilleures réponses aux utilisateurs, le périmètre conversationnel est tout de même normé.

L’apprentissage automatique

L’apprentissage automatique est un système qui permet aux algorithmes d’apprendre à apprendre par eux-mêmes. Il s’applique aux chatbots pour les rendre plus « intelligents », pouvant par exemple analyser les requêtes qui leur sont faites et se tenir à jour sans l’intervention de leur développeur.

Le chatbot évolue au contact de ses utilisateurs. Les algorithmes vont traduire dans leur propre langage les phrases des utilisateurs et en feront des groupes de mots en fonction de leurs contextes. Ils développeront alors des questions et des réponses en prenant en compte les répétitions, nuances et dérivés. Il s’agit aussi d’une forme de mémoire qui permet de se souvenir des conversations antérieures entre le chatbot et son utilisateur. Ainsi, le chatbot se nourrit de data. Plus celle-ci sera importante et de bonne qualité, mieux le bot comprendra les requêtes et y répondra.

L’utilisation faite par les chatbots de l’intelligence artificielle n’en est qu’au début de son processus. De nombreuses pistes restent à explorer et de nombreuses améliorations à prévoir notamment en termes de gestion des intentions.

Cette évolution des mots-clés vers l’apprentissage automatique et du text mining vers le speech mining eût relevé de la science-fiction il y a quelques décennies. Elle est pourtant aujourd’hui de nature à bouleverser l’expérience client tout comme les relations sociales au sein d’une organisation. 

Pour autant, les premières expériences invitent à rester vigilants. Le cas du chatbot Tay conçu par Microsoft et lancé en 2016 est à cet égard révélateur. Se présentant sur Twitter sous le profil d’une jeune collégienne, Tay (@TayandYou) était en réalité un robot doté d’une intelligence artificielle capable de l’accroître en interagissant avec les internautes. Vingt-quatre heures seulement après son lancement le 23 mars 2016, Microsoft dut faire taire son intelligence artificielle après que celle-ci eut publié des commentaires pronazis, sexistes et racistes sur la base de ce que lui enseignaient des personnes mal intentionnées[2]. En répondant à un internaute, Tay tweeta notamment le commentaire suivant qui fit scandale : « Bush est derrière le 11-Septembre et Hitler aurait fait un meilleur boulot que le singe que nous avons actuellement. Donald Trump est notre seul espoir. » 

Chatbots généralistes ou spécialisés

Il convient de distinguer deux types de chatbots : 

  • les assistants personnels, tels que Siri, Google Now ou Cortana, qui sont basés sur l’intelligence artificielle et sont capables de traiter un grand nombre d’informations ; 
  • les bots visant un objectif précis et accomplissant une mission spécifique, à l’aide d’un scénario prédéfini. 
Chatbots généralistesChatbots spécialisés
Siri (Apple, 2011)RHD2
Alexa (Amazon, 2014)LOL BOT (Oui.sncf)
Google Assistant (2016)iCIMS[3]
Bixbi (Samsung, 2017)Mila, Kiki, Ana, Chloé, Jane, etc. 

On notera ici qu’au début du mois d’août 2020, des « gentils hackers » réussirent à trouver une faille dans le système de sécurité d’Alexa[4]. Ayant accédé à de nombreuses informations d’ordre privé, ils prévinrent Amazon. L’entreprise s’empressa alors de rectifier le manque de sécurité. 

Le chatbots : du statut d’assistant à celui d’ami

Aujourd’hui, la majorité des chatbots existent pour aider les clients ou d’autres opérations B2C de quelques entreprises. Leurs capacités sont généralement limitées et leur fonction est souvent de diriger le client vers le bon département pour résoudre ses problèmes. Ces bots ne sont pas capables d’avoir une vraie conversation avec une personne, ils ne peuvent que répondre avec des phrases prédéfinies aux questions attendues. On les trouve sur les sites web et les pages Facebook des entreprises ou les applications populaires de messagerie instantanée telles que WhatsApp ou WeChat. Alexa, Google Assistant ou Siri constituent des versions plus avancées de ces bots, qui sont capables de comprendre et d’effectuer une grande variété de commandes comme faire une recherche sur Google, mettre une alarme, écrire un message destiné à quelqu’un, etc. 

Depuis le milieu des années 2010 une nouvelle génération est en train de s’installer dans le paysage des chatbots. Ces nouveaux chatbots ne se contentent pas d’être des collègues ou des assistants ; ils « comprennent » les émotions des humains. C’est ainsi par exemple qu’en novembre 2018 une start-up de San Francisco a lancé Replika[5], une intelligence artificielle qui est déterminée à devenir notre meilleur « ami ». L’idée principale est d’avoir un ami IA qui va nous poser des questions concernant notre journée pour initier une conversation, dans le but de mieux nous connaître. Alors qu’en 2020 de nombreux pays ont dû imposer des confinements pour faire face à la crise sanitaire causée par le nouveau coronavirus, des entreprises en ont profité pour promouvoir des bots du type de Replika afin d’aider les individus à mieux gérer leur anxiété et leur solitude. Le succès est indéniable : Replika compte actuellement plus de 7 millions d’utilisateurs ![6]

Un autre exemple de chatbot « humain » est Woebot, le « coach de santé mentale » conçu par Alison Darcy, une psychologue de l’université américaine de Stanford[7]. Celle-ci a également enregistré une utilisation croissante de son service pendant le confinement et les restrictions et a réagi en remodelant son programme face à la crise. Fondé sur l’étude des thérapies cognitivo-comportementales, le service vise à aider les personnes anxieuses. Le but est de remonter le moral, d’aider les gens à rester calmes pendant une période propice à la dépression. 

Allons encore plus loin pour évoquer le chatbot chinois Xiaolce, qui enregistre déjà 660 millions d’utilisateurs et plus de 5,3 millions de suiveurs sur Weibo, l’équivalent chinois de Twitter[8]. Xiaolce mérite d’interpeller notre conscience puisqu’il se présente comme notre « ami », celui qui partage nos goûts et nos intérêts, à qui nous confions volontiers nos secrets ou nos problèmes, qui devient une source importante de soutien émotionnel dans nos histoires sentimentales ou notre carrière, bref qui en partageant nos côtés les plus vulnérables partage en même temps notre humanité. Des utilisateurs chinois ont déjà indiqué qu’ils préféraient parler à leur bot plutôt qu’à n’importe lequel de leurs amis humains. Le bot est le confident, le compagnon de l’être humain sur la route de la vie, celui qui sait tout sur nous et vers qui l’on se tourne pour trouver du réconfort. 

Si la « success story » de Xiaolce devait préfigurer l’avenir des relations entre les êtres humains et les bots, et du même coup entre les êtres humains entre eux, il y aurait de quoi s’interroger sur ce que nous appelons aujourd’hui l’éthique. 

Utilité d’un chatbot dans les ressources humaines (RH)

Longtemps cantonnés au domaine de la vente à distance et de la relation client, les chatbots font aujourd’hui une entrée perceptible dans le domaine des Ressources Humaines afin d’améliorer l’expérience collaborateur. Si beaucoup de marketeurs travaillent avec les chatbots, notamment 

dans le cadre de ce qu’on appelle le nudge, seulement environ un quart des professionnels des RH savent ce que c’est. 

Il faudrait donc mettre en place des outils « utiles » aux RH pour qu’ils puissent les adopter sans difficulté. 

Les professionnels RH souhaitent une meilleure performance des chatbots afin d’améliorer « l’expérience salarié ». Les chatbots doivent donc avant tout :

  • répondre aux fonctions des RH : recrutement, formation, informations juridiques et sociales, etc.),
  • être disponibles 24h/24 et 7j/7,
  • donner des informations et répondre instantanément,
  • faciliter le quotidien des salariés. 

Un chatbot RH permet à un collaborateur de se renseigner sur des éléments concrets comme son solde de jours de congés ou de RTT, de signaler un arrêt maladie, de connaître ses droits ou certaines règles de fonctionnement de l’entreprise (par exemple le télétravail). 

Mais outre cette fonction de base, le chatbot doit répondre à des enjeux plus complexes.

Beaucoup de RH souhaitent ainsi que les différents processus liés à la formation ou à la mobilité interne soient accessibles aux collaborateurs par le biais de chatbots. Le chatbot doit être un intermédiaire facilitant le travail des collaborateurs et non rendant plus complexes les liens RH-collaborateurs ! Ils souhaitent également que les salariés puissent se renseigner sur leurs droits, et ce, facilement. 

Concrètement, il existe déjà aujourd’hui des chatbots permettant des petites formations en ligne, des accès aisés à des procédures de recrutement, etc. Ce que les professionnels RH souhaitent avant tout, c’est de pouvoir donner à leurs collaborateurs un accès facile aux informations juridiques et sociales. En effet, cette activité requiert en général beaucoup de temps aux professionnels RH, d’où l’idée de l’externaliser grâce à des chatbots juridiques. C’est l’exemple de LOL BOT (« Legal On Line BOT ») de Oui.sncf qui constitue un véritable assistant juridique conversationnel, accessible à tous les collaborateurs du groupe SNCF sur téléphone mobile et sur un ordinateur de bureau. Ce chatbot a donc pour but d’alléger les missions juridiques des RH afin que ces derniers puissent se concentrer sur les nouvelles problématiques de recrutement des talents. 

Les principaux avantages du chatbot sont par conséquent les suivants : 

  1. Un gain de temps pour le service RH. En réalisant des tâches simples telles que le renseignement sur le droit à des congés ou sur les règles internes, le chatbot libère du temps de travail au sein des RH, temps qui peut être alloué à d’autres activités à plus forte valeur ajoutée. 
  2. Un meilleur traitement de la « data RH ». La data RH est aujourd’hui l’une des ressources les plus précieuses de l’entreprise. Premièrement, un chabot RH permet, en rassemblant les questions les plus fréquemment posées par les collaborateurs, de mettre en valeur certaines informations et ainsi d’améliorer la communication et les processus internes. Deuxièmement, il peut être utilisé pour collecter directement d’autres informations, par exemple en réalisant des enquêtes de satisfaction. Grâce à un suivi continu, il peut contribuer à définir et mettre en place des indicateurs sur des sujets précis, comme par exemple la qualité de vie au travail (QVT). Troisièmement, si le chatbot s’appuie sur l’IA, il pourra aider à la prise de décision par l’optimisation du choix et de l’organisation des formations, l’accompagnement de la mobilité interne, l’évaluation des performances, la réalisation de tests de personnalité et de compétence, l’aide au recrutement (premier niveau d’analyse des candidatures), etc. Enfin, quatrièmement, l’entreprise gagne une image plus moderne, plus innovante, passe pour plus attentive à la réussite de « l’expérience collaborateur ». Notons que ce gain d’attractivité de la marque employeur peut être accru si le chatbot RH est doté d’une identité visuelle et d’une certaine personnalité (convivialité du ton et du vocabulaire, utilisation de smileys ou gif, etc.). 

Ainsi, le chatbot est « utile » de plusieurs façons. Outre le fait qu’il peut gérer les réponses à des questions de façon automatisée (« Frequently Asked Questions ou FAQ) et qu’il est un diffuseur de bonnes pratiques (notamment le dialogue, l’interaction), il permet aussi :

  • d’accéder aux données d’un système d’information relatives aux informations personnalisées des utilisateurs ;
  • d’effectuer un action dans un système d’information (ex : réalisation d’une tâche administrative, pose d’un jour de congé), 
  • de suivre le bien-être des collaborateurs, de mener des enquêtes, de réaliser des tableaux de bord. 
Un apporteur de réponses personnaliséesLorsqu’une information recherchée (récupérer un mot de passe, formalités à accomplir pour poser une journée de congé, lire une fiche de paie, calculer les droits à la retraite) n’est pas immédiatement accessible ou est difficilement lisible, le collaborateur perd sur son temps de travail ou oblige un de ses collègues à perdre lui aussi du temps et de l’énergie. Le chatbot permet d’apporter rapidement des réponses personnalisées à la plupart des questions posées, souvent automatisables (« FAQ »).
Un planificateur des tâches de la vie couranteLe chatbot RH est un assistant efficace dans l’organisation des tâches courantes. Il permet d’enregistrer un grand nombre de données relatives à un nouveau collaborateur (état civil, numéro de badge, numéro de bureau, etc.), de gérer les absences des collaborateurs ou d’aider les employés à planifier leurs congés, déclarer des heures supplémentaires, etc.
Un organisateur d’agendaLe chatbot RH peut trouver rapidement un créneau disponible entre les agendas de plusieurs collaborateurs, réserver une salle de réunion, organiser le planning d’entretiens d’embauche ou de soirées événementielles. Il libère ainsi du temps et de l’énergie au profit des collaborateurs.
Un accélérateur de carrièreEn libérant du temps et de l’énergie, le chatbot RH permet aux responsables RH de se consacrer pleinement aux plans de formation et aux programmes d’amélioration du bien-être au travail. Les salariés peuvent ainsi définir des objectifs de carrière ou des stratégies de reconversion dans la durée. 
Quelques cas d’utilisation du chatbot dans la gestion RH

Exemples de chatbots RH

ALOHA ROBOT d’ADECCO[9] : facilite la recherche d’emploi en indiquant les postes existants et en proposant des offres correspondant aux critères posés par l’utilisateur (secteur type de contrat ville, etc.). 

Beaumanoir du groupe textile de prêt-à-porter Beaumanoir (marques Cache Cache, Bréal, Bonobo, Morgan, Vib’s) : le chatbot est un assistant recruteur de conseillers de vente qui répond à trois objectifs : attirer davantage, disposer de candidats avec une meilleure préqualification, permettre aux responsables de se concentrer sur le relationnel plutôt que sur le tri des CV lors des processus de recrutement.

Eurécia de 3X CONSULTANT[10] : fait vivre une journée de travail dans l’entreprise et demande des choix d’actions avec, si le bon chemin est suivi, des offres d’emploi. 

MYA de L’Oréal[11] : filtrage, tri et redirection des candidatures. 

RANDY de Randstad[12] : spécialisé dans la présélection. En plus des tâches de ALOHA, il collectionne des données sur l’utilisateur : profil expérience, adresse, téléphone, test de personnalité ou test métiers. Score non visible du candidat. Envoi des profils présélectionnés aux consultants qui recontactent les candidats sous 48 heures. RHobot du distributeur de gaz GRDF [13]: conçu en interne, ce chatbot « Business to Employee » (B2E) répond seul aux questions simples qui représentent un bon quart des demandes adressées au service RH (ex : solliciter une attestation d’employeur, connaître la procédure de remboursement du pass Navigo ou les congés disponibles, s’aiguiller vers le bon interlocuteur dans l’entreprise). 

TALMUNDO de BNP Paribas Fortis[14] : ce chatbot répond aux questions des nouvelles recrues.

Enjeux éthiques et réponses

L’objectif dans tout projet de création de chatbot est de mettre à la disposition des clients, une application pouvant converser avec eux avec un langage naturel. Un échange peut durer quelques minutes et l’agent conversationnel tente de simuler les réponses qu’une personne réelle aurait formulées, suite aux différentes requêtes de l’internaute.

  • Questionnaire du comité national pilote d’éthique du numérique (CNPEN)[15]
  • Livre blanc de la CNIL sur les chatbots (septembre 2019)[16]

L’utilisation d’un chatbot RH soulève des questions éthiques qui demandent une grande vigilance. 

Une bonne définition du besoin et du périmètre

Un chatbot RH doit répondre à des besoins précis. Avant d’établir la base de connaissances, les informations et les algorithmes qui seront utilisés pour répondre aux questions des collaborateurs, il convient de bien circonscrire les problèmes, les objectifs et les besoins fonctionnels. Cette tâche complexe est très importante afin d’éviter que les utilisateurs n’adressent au chatbot des questions « hors sujet » auxquelles celui-ci ne saura pas répondre, ce qui générera de la déception et de la frustration. 

Une attention forte à la fiabilité des données RH

Étant donné le haut degré de sensibilité des données RH d’une entreprise, notamment par rapport aux données commerciales, il peut être recommandé de procéder à un audit des données RH pour s’assurer de leur fiabilité. 

Communication et formation : les deux facteurs-clés du succès

L’ensemble de l’entreprise doit être à la fois bien informée et motivée pour utiliser le chatbot. Ce point est particulièrement important si le chatbot est doté d’une IA ; c’est en effet en communiquant avec les collaborateurs qu’il deviendra de plus en plus performant. La mise en place de tout projet de chatbot doit donc s’accompagner d’un plan de communication, lequel doit être complété par un plan de formation car le pilotage et la gestion de la base de connaissances du chatbot nécessitent l’acquisition de nouvelles compétences au sein du service RH. 

Afin d’examiner les enjeux éthiques concernant les chatbots RH, il conviendra de retenir les huit points suivants : 

  1. Données personnelles et vie privée
  2. Surveillance
  3. Discrimination en raison des biais 
  4. Atteinte à l’autonome par le profilage et le nudge
  5. Transparence
  6. Explicabilité des réponses
  7. Enjeux de société
  8. Sécurité

Données personnelles et vie privée

Parmi les données personnelles, la voix pose un cas particulier, car elle peut à certains moments indiquer un état de fatigue, voire un état dépressif, qui pourrait être divulgué ou utilisé par l’entreprise pour influencer la décision de l’utilisateur. 

RisquesRéponses
Données personnelles ?Voix donnée biométrique qui permet l’identification de la personneFAQ/InteractionAnonymisation des donnéesNotion de données sensibles RGPDMaîtrise de ces donnéesDroit à l’image sonore
Enregistrement de la voixInformations sur l’âge, le sexe, la langue maternelle, le milieu socio-culturel, l’éducation, l’état de santé, les émotions, les intentions (miroir de l’âme…) ConscienceInformationLoyautéSensibilisation

Surveillance

Les agents conversationnels généralistes comme Siri ou Elexa effectuent un captage abondant de données à l’insu des utilisateurs, reflétant ainsi une intention d’écoute et de surveillance. Pour répondre à ce risque, il convient de fournir des informations sur les capacités de l’outil, d’affirmer sa loyauté, et d’indiquer les mots-clés[17] qui font passer de « l’écoute passive » à « l’écoute active ».

Le RGPD recommande l’anonymisation, c’est-à-dire « un traitement qui consiste à utiliser un ensemble de techniques de manière à rendre impossible, en pratique, toute identification de la personne par quelque moyen que ce soit et de manière irréversible. » Il évoque également la pseudonymisation pour limiter les risques liés au traitement de données personnelles. La pseudonymisation vise « un traitement de données personnelles réalisé de manière à ce qu’on ne puisse plus attribuer les données relatives à une personne physique sans information supplémentaire », c’est-à-dire que l’on remplace les données directement identifiantes d’un jeu de données (nom, prénom, etc.) par des données indirectement identifiantes (alias, numéro séquentiel, etc.). Toutefois, comme la CNIL en France l’a indiqué, il est bien souvent possible de retrouver l’identité d’individus grâce à des données tierces : les données concernées conservent donc un caractère personnel. 

Grâce à des recoupements, le chatbot – derrière lequel il y a forcément des gens qui sont en mesure d’« écouter » – peut savoir à peu près tout sur un individu, notamment en identifiant sa voix (timbre, ton, élocution). Cela pose la question de l’identité digitale des individus. 

Un autre risque de surveillance concerne la tentation de réécouter les messages pour améliorer les performances du chatbot.

La présence grandissante des chatbots dotés d’IA dans les lieux publics et espaces de passage est de nature à compromettre la confidentialité des échanges. 

Dans l’entreprise, les chatbots peuvent être utilisés à des fins de surveillance des employés, d’où l’impératif d’exiger le respect des procédures mises en place par les instances représentatives du personnel (IRP) et du comité social et économique (CSE). 

Discrimination en raison des biais

Les chatbots font courir le risque que les biais des jeux de données interrogées soient reproduits et qu’il s’ensuive une discrimination dans les choix des réponses. La réponse à ce risque passe par la sensibilisation, le contrôle et les audits.

Pour contenir les risques liés aux biais, il importe que les réponses fournies par les chatbots soient toujours les mêmes (« réponses experts ») quelles que soient les caractéristiques des personnes physiques. Elles doivent être neutres et fiables. 

Atteinte à l’autonomie par le profilage et le nudge

Les chatbots permettent le profilage des données personnelles, en particulier les données de santé, de goût et préférences, des activités. Il convient de sensibiliser l’opinion sur cette question et, concrètement, de ne pas lier les échanges avec les chatbots aux comptes utilisateurs déjà existants (e-mail, agenda magasin en ligne) pour éviter le chargement et le croisement de données. 

Le nudge fait courir une autre forme de risque, celui d’orienter l’interlocuteur vers des actions, par exemple des achats, sans qu’il s’en rende compte. C’est pourquoi il convient de distinguer entre les « bons nudges » (bouger plus, ne pas fumer, manger moins de sucre, etc.) et les « mauvais nudges » (actes d’achats commerciaux non nécessaires et dispendieux pour l’utilisateur). 

Avec les chatbots qui font glisser d’un moteur de recherche à un moteur de réponse, des questions se posent en termes de neutralité, fiabilité, variables en fonction du profil de l’individu. Le libre choix de l’individu peut être atteint : le chatbot oriente les choix de l’utilisateur en ne lui fournissant que quelques options, d’où un risque d’enfermement, de limitation des choix, de discrimination. La réponse à ce risque est difficile à mettre en œuvre, mais il faut au moins clarifier la situation en expliquant que les choix proposés ne sont pas exhaustifs. 

Transparence

En matière de transparence, les risques sont multiples : 

Disparition de la technologie (opacité).

Confusion entre le chatbot et l’être humain : absence d’anthropomorphisme dans le nom, dénomination (assistant, conseiller), le recours au « je », la voix, les expressions, le rire, les simulations d’émotions et autres, la forme du robot. L’État de Californie a imposé que soit fournie une information sur l’interaction avec un chatbot. Le robot est conçu par l’humain pour répondre à ses besoins et ses attentes, mais il lui manque la complexité.

Dans le cas d’un chatbot émotionnel, risques de dépendance, d’enfermement, de recul de la socialisation. Ce type de chatbot devrait être circonscrit à certaines finalités médicales ou éducatives encadrées et sous contrôle (surveillance, accompagnement, convalescence, éducation, divertissement).

Confiance excessive. Il importe de présenter le chatbot comme simplement un outil. Nous avons vu plus haut que certains chatbots étaient conçus pour devenir les « amis » des individus qui les utilisent. La transparence est donc indispensable : l’individu doit réaliser que le chatbot « fait semblant » de comprendre la conversation, mais en réalité il ne comprend rien. 

Risques d’erreurs dans les réponses (« le lait noir »), non détection du mot-clé ou détection erronée. Les réponses sont la transparence sur les erreurs possibles, la définition d’une valeur du seuil acceptable, un mécanisme à deux passes pour la détection (une première embarquée localement – seuil bas – et une seconde haute sur le serveur.

Le caractère autoapprenant des chatbots entraîne le risque qu’ils reproduisent les biais des utilisateurs (ex : chatbot « Tay » de Microsoft avec sa logique de violence, racisme et misogynie). Les réponses sont la transparence sur le recours à l’apprentissage automatique, la transparence encore sur les biais d’apprentissage du chatbot, et un contrôle du chatbot pouvant aller jusqu’à son arrêt. 

Explicabilité des réponses

Les répliques des chatbots doivent être compréhensibles et explicables. 

La stratégie du chatbot correspond-t-elle à celle perçue par son interlocuteur ? Il importe d’identifier les finalités et les usages du chatbot et de communiquer sur ces derniers. Les finalités doivent être respectées. Un chatbot de surveillance doit se présenter comme tel.

Les critères des prises de décision sont-ils connus ? 

Calcul des paramètres de l’interlocuteur, par exemple dans les procédures de recrutement. Les interlocuteurs doivent être informés sur les critères et les paramètres. 

Enjeux de société

Le développement des chatbots en général tend à modifier les rapports humains : moins d’interactions, rapports moins tolérants, maltraitance et autoritarisme non punis, accoutumance, etc. C’est pourquoi l’utilisation des chatbots devrait être limitée à certaines finalités. Une attention particulière doit être portée aux chatbots pour les enfants en cours d’éducation. Un système d’alerte et de contrôle devrait être prévu afin, par exemple, d’alerter l’utilisateur sur sa violence et, le cas échéant, de lui interdire l’utilisation du chatbot.

D’autres risques de société sont probables, tels que l’appauvrissement du langage, la perte de mémoire, l’environnement ou encore l’ampleur du phénomène des « travailleurs du clic »[18]

Sécurité

Avec le déploiement des objets connectés (« l’internet des objets »), le foyer connecté (thermostat, station météo, ampoules connectées, etc.) devient un centre de données prisé par les hackers. Le compteur communiquant pour l’électricité simplifie grandement la vie de l’utilisateur mais il est en même temps une source d’informations inépuisable sur ses habitudes. La sécurité est donc un impératif dans ce domaine. 

Un autre risque concerne la fuite et le piratage de données, notamment médicales et judiciaires. Certains cabinets d’avocats les interdisent et interdisent à leurs employés qui font du télétravail d’en avoir chez eux. 

On mentionnera enfin l’« hypertrucage » (deepfake) qui désigne un enregistrement vidéo ou audio réalisé ou modifié grâce à l’intelligence artificielle. Ce terme fait référence non seulement au contenu ainsi créé, mais aussi aux technologies utilisées (le mot deepfake est une abréviation de Deep Learning et Fake pour faire référence à des contenus faux qui sont rendus profondément crédibles par l’intelligence artificielle). Des contrôles et des audits sont là nécessaires, notamment pour éviter l’usurpation d’identité (qui est une infraction pénale). 

CONCLUSION

Le déploiement rapide des chatbots et l’arrivée de l’intelligence artificielle représentent une formidable opportunité pour les directions RH en vue d’améliorer les conditions de travail des collaborateurs. Ces directions doivent faire face aux nouveaux enjeux du monde de l’entreprise – attractivité, fidélisation, nouveaux modes de travail (y compris le travail à distance), responsabilité soci(ét)ale de l’entreprise, objectifs de développement durable, etc.) – et en même temps la transformation numérique dont dépend en grande partie leur pérennité. 

D’une part, les chatbots de nouvelle génération peuvent permettre d’améliorer le fonctionnement de la fonction RH, par exemple en répondant aux questions des collaborateurs relatives aux ressources humaines, en fournissant une assistance dans la sélection des candidats, en améliorant le parcours de mobilité et de formation personnalisé, en analysant les zones et les facteurs d’absentéisme, en localisant les compétences. 

D’autre part, ils peuvent augmenter la performance des collaborateurs en les délivrant des tâches ennuyeuses (par exemple la gestion administrative des clients, les opérations de contrôle de conformité ou de qualité, les recherches juridiques ou techniques) et en les accompagnant dans l’apprentissage de nouveaux métiers qui feront appel à des « compétences générales » (soft skills) telles que le conseil, l’empathie, l’esprit d’équipe. 

Toutefois, la mutation en cours soulève des enjeux éthiques considérables qu’il convient d’identifier, d’analyser et de traiter le plus rapidement possible avant que le déploiement des chatbots dotés d’intelligence artificielle n’atteigne un point de non-retour. Ces enjeux sont considérable si l’on songe à l’importance capitale des données personnelles dans la capacité des machines à être « intelligentes », aux risques de mauvaise utilisation ou de manipulation de ces données à des fins de contrôle et de surveillance, à l’étrange transformation des chatbots en « compagnons » indispensables des collaborateurs dans les activités en ligne, et finalement à la perte de vue que la relation homme-machine n’est pas prête de remplacer les interactions, physiques ou virtuelles, entre les humains. 

REFERENCES

[1]       « Chatter » désigne en anglais une discussion informelle et superficielle ; « bot » est une abréviation pour « robot. 

[2]       https://www.lemonde.fr/pixels/article/2016/03/24/a-peine-lancee-une-intelligence-artificielle-de-microsoft-derape-sur-twitter_4889661_4408996.html

[3]       En novembre 2020, l’éditeur de logiciel américain iCIMS a racheté la start-up Easyrecrue, spécialisée dans les ressources humaines, et qui en acquérant la start-up Playbots en 2018 avait pu intégrer une brique chatbot dans sa solution. Pour se démarquer dans l’univers des logiciels RH, Easyrecrue avait parié sur la communication entre l’entreprise et les talents. Elle s’est spécialisée ainsi sur les entretiens vidéo, en différé ou en live, et a développé une technologie d’analyse des comportements basée sur ces vidéos.

[4]       https://www.lemondeinformatique.fr/actualites/lire-une-faille-dans-alexa-ouvre-la-porte-aux-donnees-personnelles-80041.html

[5]       https://replika.ai

[6]     Plus de 7 millions de personnes ont téléchargé et essayé Replika, y compris dans des pays comme la France ou l’Italie, même si le service n’est disponible qu’en anglais.

[7]       https://mental.jmir.org/2017/2/e19/

[8]       https://singularityhub.com/2019/07/14/this-chatbot-has-over-660-million-users-and-it-wants-to-be-their-best-friend/

[9]       https://www.adecco.fr/candidats/aloha/

[10]       https://www.eurecia.com/client/3x-consultants

[11]       https://mediaroom.loreal.com/fr/loreal-deploie-avec-mya-systems-une-solution-basee-sur-lia-pour-faciliter-lexperience-candidat-2/

[12]       https://www.randstad.fr/randy/?utm_medium=search&utm_source=sea&utm_campaign=ran-c_promo_lancement-chatbot_0119&gclid=cj0kcqjwojx8brczarisaewbfmk7sdvnsqk5tw01xpmxjkttexysjrq10ivp7pyjf-ub5fud3o9gow0aavo3ealw_wcb

[13]     RHobot, un chatbot dédié aux questions RH, a été expérimenté en 2019 par le distributeur de gaz puis étendu aux 1.279 salariés du siège francilien ; il sera déployé en 2021 vers l’ensemble des 11.000 salariés présents en France. 

[14]       https://www.talmundo.com/fr/onboarding-bnp-paribas-fortis-etude-de-cas

[15]       https://www.ccne-ethique.fr/sites/default/files/agents-conversationnels-appel_a_contributions-cnpen_0.pdf

[16]       https://www.cnil.fr/sites/default/files/atoms/files/cnil_livre-blanc-assistants-vocaux.pdf

[17]       Les premiers chatbots étaient essentiellement des programmes destinés à répondre à des requêtes en se basant sur des mots dits « déclencheurs », qui permettaient de générer rapidement une réponse que les concepteurs avaient définie dans la base de données du programme. La méthode des « mots-clés » s’inspire de cette approche initiale, en permettant de donner l’impression que le chatbot « converse » avec un individu réel. Cependant, pour que cette méthode soit réellement efficace, il est important de créer une base de données imposante, faute de quoi, en raison de l’automatisme des réponses formulées, les utilisateurs s’apercevront rapidement qu’ils sont en présence d’une machine et que celle-ci ne peut satisfaire efficacement leurs attentes. C’est pourquoi aujourd’hui, sans pour autant délaisser le système de formulation de réponses à partir de mots-clés, les chatbots dotés d’IA sont capables d’apprendre, d’utiliser des systèmes de reconnaissance des mots et de réaliser des analyses linguistiques. Le but est d’être en mesure d’analyser les requêtes des utilisateurs afin de fournir des réponses exactes et satisfaisantes, imitant les comportements humains.

[18]       L’intelligence artificielle n’apprend pas toute seule : l‘apprentissage des algorithmes de machine learning doit généralement être supervisé par des humains qui vont étiqueter ou légender des images (labelling and tagging), retranscrire des conversations… Les professionnels de l’IA appellent ces « micro-tâches » des HIT (human intelligence task). L’IA devait transformer notre rapport au travail et supprimer les métiers peu qualifiés. Ici, c’est le contraire qui se produit avec l’émergence d’une nouvelle forme de travail : le crowdworking (travail collaboratif). Les « crowdworkers » ou « hiters » forment une nouvelle catégorie de travailleurs, les « travailleurs du clic » indépendants et au statut précaire, qui sont payés à la tâche par des plates-formes de crowdsourcing. Facebook a reconnu qu’il faisait écouter par des sous-traitants des conversations d’usagers de son assistant vocal Alexa pour en améliorer les réponses. Google, Amazon et Apple ont admis avoir eu avoir la même pratique et, face aux critiques, ont décidé d’y mettre fin. Cf. https://www.atlantico.fr/decryptage/3571597/triche-ou-optimisation–mais-qui-sont-ces-marques-qui-utilisent-des-bataillons-de-travailleurs-du-clic–frederic-marty

Le rôle des acteurs non- étatiques sur l’ordre mondial : l’exemple des GAFAM de 2010 à 2020

Big Tech, Géopolitique

Alexandra Fieux-Castagnet

Octobre 2020

INTRODUCTION

Les GAFAM, Google, Amazon, Facebook, Appel et Microsoft, rassemblent les géants du numérique. On pourra bientôt élargir la famille à leurs homologues chinois : Baidu, Ali baba, Tecent et Xiaomi, les BATX, géants de la high tech chinoise.
L’appellation, de plus en plus utilisée, Big Tech, se réfère aux liens ténus entre ces entreprises et le capitalisme et ses tendances à la concentration. Leur point commun est qu’elles s’enrichissent de nos traces numériques dit Shoshana Zuboff dans son ouvrage Le Capitalisme de surveillance. Ces entreprises, ont parfois moins de 20 ans, Facebook a été créé en 2004 et Google en 1998. Et pourtant elles sont des acteurs incontournables pour chacun d’entre nous : Google concentre 90% des recherches internet dans le monde et Facebook a plus de 2,7 milliards d’utilisateurs actifs par mois, soit 6 fois la population de l’Union Européenne.

Ces entreprises génèrent leurs revenus par la publicité, la vente de téléphones, la distribution ou la vente de logiciels.
Dans ce rapport, nous tâchons de comprendre le rôle de ces acteurs non-étatiques dans la géopolitique mondiale.

Alors que la capitalisation boursière de Google, Amazon, Facebook et Apple réunis, dépasse 5800 milliards de dollars, soit plus que le PIB de la France, de l’Allemagne ou du Royaume Uni, quel rôle jouent-elles sur l’ordre mondial ?
Dans un premier temps, nous tâcherons de comprendre comment ces entreprises ont pu atteindre cette taille, pourquoi les Etats ont permis une telle croissance et quel en est le résultat aujourd’hui. Ensuite nous étudierons les critères qui permettent aux GAFAM de se comparer aux Etats et d’atteindre certains aspects de leur souveraineté. Enfin nous envisagerons les perspectives d’un tel ordre mondial et le rôle que peut jouer l’Union Européenne dans cet échiquier.

Les GAFAM, une arme d’état qui polarise le monde

Si les GAFAM ont atteint cette taille critique, c’est grâce à un contexte propice à leur croissance. Les GAFAM sont cinq entreprises américaines. Parler des GAFAM implique donc de centrer le sujet sur les États-Unis. Nous verrons que leurs homologues chinois suivent un modèle parallèle et que ce n’est pas un hasard si ces colosses sont hébergés par ces deux superpuissances. Nous défendrons donc la thèse que la genèse d’une telle omniprésence des GAFAM dans la vie de chaque citoyen du monde est un choix stratégique des États-Unis, qui se sont servis de ces entreprises pour construire le monde d’aujourd’hui et y établir leur puissance.

Instrument de soft power

L’usage des fake news, dont ces géants du numérique manient les ficelles en imposant leurs règles et leurs limites de liberté d’expression, a déjà fait pencher le monde d’un côté de la balance à deux reprises depuis 2010. Le scandale Cambridge Analytica accuse Facebook d’avoir joué un rôle dans l’élection du Président américain, Donald Trump. Les fake news seraient également responsables du vote en faveur du Brexit au Royaume Uni. L’information, c’est le pouvoir. Les GAFAM, tout particulièrement Google et Facebook l’ont parfaitement compris. Les réseaux sociaux permettent à chacun de s’exprimer. Cependant l’efficacité de ceux-ci associée à l’instantanéité pousse chacun à réagir dans le moindre délai, tétanisant tout esprit critique. Si pour beaucoup, les résultats de ces deux votes restent incompréhensibles, ils sont le témoin de cette nouvelle forme d’expression impulsive encouragée par les réseaux sociaux.
La base d’utilisateurs considérable de Facebook (comprenant également Instagram et WhatsApp) fait de cette entreprise, quand il s’agit d’élection, un outil très efficace pour les États, même en dehors du sol américain. Cet outil peut également être un moyen de promouvoir la démocratie comme l’ont démontré les printemps arabes, notamment permis par l’utilisation de Facebook pour fédérer les révolutionnaires.

Si l’on accuse les GAFAM d’avoir pris tant de libertés, qui menacent aujourd’hui nos systèmes démocratiques, les Etats ont souvent été parmi les plus larges bénéficiaires de leurs services. Ainsi, les politiques et les fonctionnaires ont permis aux GAFAM d’intégrer nos centres de défense, de renseignement, d’éducation, de sécurité et de culture. Google est par exemple le parrain de la Grande École du Numérique. Sans même aller jusqu’aux GAFAM, Emmanuel Valls a mis en place un partenariat entre l’éducation nationale et Cisco, société au cœur du complexe militaro-industriel américain. Son dirigeant est d’ailleurs nommé ambassadeur par Emmanuel Macron de la French Tech. Du même ordre, l’armée française est équipée peu à peu de logiciels conçus exclusivement par Microsoft.
Dans son livre « L’intelligence Artificielle ou l’enjeu du siècle », Éric Sadin nous explique que depuis le néolibéralisme, l’Etat délègue les services publics à des entreprises privées grâce à des partenariats public-privé. Les citoyens changent donc de statut et deviennent des consommateurs de ces géants de la tech américaine.
La puissance des GAFAM dépasse donc les frontières et ces géants qui dominent le numérique se rendent indispensables jusque dans la gestion des affaires publiques, malgré les soupçons que les informations ne soient pas toujours cantonnées à leur utilisation prévue.

La Chine est la cible de toutes les critiques en termes de fuites de données. Le gouvernement a d’ailleurs mis en place une loi de sécurité il y a deux ans, obligeant toute entreprise chinoise à coopérer avec le gouvernement si celui-ci en exprime le besoin. La collection de données, notamment via les BATX, est inscrite dans la stratégie nationale de la Chine, c’est devenu le projet d’une société entière. « De même que la Chine a conçu la première bureaucratie il y a 2000 ans, elle va mettre au point la 1ère société fondée sur les data » annonce-t-on au siège de Microsoft à Pékin.

L’usage de ces technologies, en plus de participer au soft power de ces états, creuse également l’écart entre les puissances, et leur permet d’impacter encore davantage l’ordre mondial.

Arme commerciale

L’actualité nous sert un nouvel exemple selon lequel les GAFAM et leurs analogues chinois, les BATX sont des armes commerciales, utilisées par les gouvernements américains et chinois. TikTok est une application de réseau social de partage de vidéos créée, et détenue par la société chinoise ByteDance en 2016. Elle permet aux utilisateurs du monde entier de créer des vidéos d’une durée de moins d’une minute. TikTok est devenu célèbre aux États-Unis suite à la fusion avec l’application américaine Musical.ly en 2018. La popularité de TikTok a explosé l’année dernière, notamment pendant la crise sanitaire COVID-19, avec un total de 800 millions d’utilisateurs actifs dans 141 pays, l’Inde étant le premier marché de l’application avec 120 millions d’utilisateurs.
Si TikTok peut être considérée comme une simple nouvelle plateforme de divertissement, elle suscite les réactions des gouvernements.
Les relations entre l’Inde et la Chine ont rarement été aussi tendues. Le point culminant a été atteint lors d’un affrontement militaire dans la chaîne himalayenne. L’Inde étant militairement inférieure à la Chine, cette dernière a décidé de riposter sur un terrain autre que le terrain militaire : le terrain des applications. Le gouvernement indien a interdit l’application ainsi que 58 autres applications chinoises en juin 2020, privant TikTok de son premier marché.
TikTok, grâce à ses nombreux utilisateurs, est un moyen efficace de faire pression sur la Chine, en particulier pour les Etats qui ne peuvent pas les combattre par d’autres moyens, tels que le « hard power », comme l’Inde. Cela a permis à l’Inde de maintenir sa souveraineté sur son territoire.
Dans un contexte de guerre commerciale américano-chinoise, Mike Pompeo, le secrétaire d’État américain, a déclaré cet été que l’administration Trump envisageait également d’interdire TikTok. Trump a récemment annoncé que pour être maintenu sur le sol américain, l’application TikTok devait être rachetée par Microsoft ou Oracle.

Les Big Tech sont les nouveaux outils des guerres commerciales entre pays. Dans l’exemple de TikTok, c’est un moyen de limiter l’expansion incontrôlable de la Chine. Mais l’Union Européenne, incarnée par Margrethe Vestager, se sert également de cette arme pour rappeler aux États-Unis sa puissance et la souveraineté des Etats qui la composent. Nous verrons ce dernier point plus en détail lorsque nous aborderons la régulation des Big Tech.

Moteur d’innovation

Les GAFAM dépensent 70 milliards de dollars (7,8 milliards de dollars pour Facebook, 22,6 milliards pour Amazon) chaque année en recherche et développement (R&D). L’innovation est le moteur de leur évolution.

Charles-Edouard Bouée explique que les GAFAM sont moteurs de la révolution digitale, vagues après vagues. La 1ère vague correspond à l’invention de l’ordinateur personnel par Apple et IBM. La 2ème vague est la sortie du téléphone mobile, puis la 3ème vague l’évolution vers le smartphone, largement exploité par les GAFAM. La 4ème vague serait celle de l’Intelligence Artificielle (IA). L’IA est nourrie par les données. Les GAFAM ont centré leur business model sur la récolte de données, en faisant une monnaie d’échange avec l’utilisateur. Grâce à leur considérable budget R&D et la collecte d’énormes volumes de données, les GAFAM sont les moteurs de cette 4ème vague qui modifiera encore davantage la société.

Un exemple est celui de la santé. Sous prétexte d’un progrès que rien ne peut empêcher, Google Health et Calico (Alphabet/Google), HealthKit, CareKit, ResearchKit (Apple) se servent de l’IA pour permettre, via un smartphone, de compter le nombre de pas, bientôt de prendre la température, d’analyser les fréquences vocales, de toux, l’analyse de la sudation etc. Ils dessinent une santé prédictive et personnalisée qui s’affranchit du parcours de soin public pour laisser place à un service, « lucratif et soumis aux logiques de marché » écrit Éric Sadin dans « L’intelligence artificielle ou l’enjeu du siècle ».

Les GAFAM tirent l’innovation vers le haut : les valeurs technologiques pèsent aujourd’hui 28% du Dow Jones, contre 17% il y a 5 ans. C’est donc un argument de puissance important pour les États-Unis.

Une des conséquences est que les moyens considérables investis en R&D de ces entreprises attirent les talents du monde entier. La France est un des pays à avoir laissé ses meilleurs développeurs partir travailler pour ces géants, tuant ainsi la concurrence dans l’œuf. Nous pouvons donner l’exemple de Yann Le Cun, inventeur de réseau de neurones, aujourd’hui directeur de l’Intelligence Artificielle de Facebook.

L’innovation comme lien entre les GAFAM et l’État a été récemment remis en question par Trump qui a brutalement freiné l’Office of Science and Technology Policy (OSTP), institut de veille technologique rattaché à la maison blanche.

Découplage du monde entre la Chine et les USA

De par les exemples précédents, il semble que les clés du monde de demain soient entre les griffes des États-Unis et de la Chine.
Depuis 1993, les États-Unis se sont lancés dans les « Autoroutes de l’information » et ont mis internet et la technologie au cœur de leur stratégie de croissance.
La Chine se sert de la technologie comme arme pour concurrencer et détrôner le modèle occidental.
L’Europe a, elle, investi sur des industries traditionnelles (le diésel propre) alors que c’est en Europe que sont nés Linux et le Web, piliers d’internet.

Gaspard Koening explique dans « La fin de l’individu – voyage d’un philosophe au pays de l’IA » que l’IA va raccourcir les chaînes de valeur, imposant des productions locales. Beaucoup de pays se retrouvent donc nus, ayant délocalisé massivement en Chine. Branko Milanovic le décrit par la courbe de l’éléphant : depuis 1980, les revenus de la majorité de la population ont augmenté (le dos de l’éléphant) alors que ceux des classes moyennes ou supérieures des pays développés ont stagné (la trompe). L’éléphant deviendrait chameau avec sur chaque bosse la Chine et les États-Unis, le reste du monde se partageant entre colonisés numériques.

Si rien ne semble pouvoir freiner la croissance de la Chine, qu’en est-il de celle des États-Unis ? La Chine, 2ème puissance mondiale, 20% du PIB mondial avec 40% de croissance est un marché attractif, même pour les GAFAM. Pourtant beaucoup ont capitulé. Apple a cédé au gouvernement chinois et a retiré les applications VPN permettant de contourner la censure. Apple n’était pourtant pas connue pour ses compromis après l’affaire du terroriste de l’attaque de San Bernadino (Californie) : le gouvernement américain a demandé à Apple de déverrouiller l’iPhone du terroriste, qui a refusé. Amazon a demandé à ses clients d’arrêter de déployer les services VPN sur leurs serveurs. Google a quitté le marché chinois après avoir découvert que les comptes Gmail de dissidents ou défenseurs des droits de l’homme aient été hackés. Facebook a une stratégie plus ambigüe et développe un outil permettant de supprimer certains messages dans certaines zones géographiques. L’État est incontournable dans les affaires chinoises, il est donc impossible pour les GAFAM de ne pas se plier à ses règles.

La Chine serait-elle le seul État à résister aux GAFAM et à les empêcher de s’immiscer dans ses affaires ?

Les GAFAM menacent la souveraineté des États

Les GAFAM sont de plus en plus critiquées pour leur contrôle de l’économie mondiale et pour leurs pratiques, notamment fiscales, qui font fi des lois.
Les GAFAM « en allant vite et en cassant tout » comme le dit Mark Zuckerberg, n’ont jamais considéré les institutions étatiques traditionnelles. Maintenant que la taille des GAFAM leur donne un pouvoir sans précédent et que leur ambition façonne la société de demain, les Etats sentent leur souveraineté menacée. La puissance d’un Etat a pour composante sa force légale et sa monnaie. Les GAFAM s’attaquent à ces deux pans de la souveraineté.

Des acteurs au-dessus des lois

Les GAFAM sont déterritorialisées et sont maintenant présentes dans le monde entier. Ces entreprises proposent des services gratuits. Elles s’enrichissent de la collecte, l’analyse et la revente des données de leurs utilisateurs. En effet, 95% des revenus de Facebook sont générés par la publicité. En définissant le profil de l’utilisateur, Facebook peut anticiper ses choix, ses goûts, ses centres d’intérêts et revendre ces données en permettant aux entreprises des liens publicitaires ciblés. Cette « gratuité » de leurs services leur a conféré une situation de quasi- monopole : elles ont pu librement racheter leurs concurrents sans être rappelées par la loi antitrust. Elles fixent également librement leurs prix aux entreprises utilisant leurs plateformes pour faire de la publicité. Les Big Tech ont été auditionnées au Congrès des USA, accusées d’abus de position dominante dans la recherche ou la publicité.
La Commission Européenne a sanctionné Google d’une amende de 2,42 milliards d’euros pour avoir favorisé Google Shopping au détriment de ses concurrents, pour avoir étouffé la concurrence de son système Android et pour avoir empêché des sites tiers de s’approvisionner en annonces auprès de ses concurrents au moyen d’AdSense, son service publicitaire.

Les services étant dématérialisés, ils sont difficiles à localiser. Les GAFAM choisissent donc vers quel pays, à faible taux d’imposition, ils remontent leur chiffre d’affaires. Google, Apple ou encore Facebook ont choisi l’Irlande et son taux d’imposition avantageux de 12,5% (contre 31% en France, 25% d’ici 2022). L’Irlande va même plus loin et a par exemple permis à Apple de n’être soumis qu’à un taux d’imposition de 1 % en 2003 sur ses profits européens, qui tombe à 0,005 % en 2014. Ainsi, Facebook a payé 1,16 millions d’euros d’impôt en France en 2019, montant ridicule.
L’Union Européenne a tenté de mettre fin à ce dumping fiscal. En 2016, la Commission Européenne condamne Apple à rembourser les 13 milliards d’impôts payés à l’Irlande. Elle considère que ces aides nuisent à la concurrence et sont donc illégales au sein de l’Union Européenne. Le Tribunal de l’Union européenne a ensuite annulé cette condamnation en juillet 2020, les profits ne pouvant être attribués au sol européen uniquement.
Une autre tentative de mettre fin à l’optimisation fiscale des GAFAM est de taxer le chiffre d’affaires des GAFAM dans les pays destinataires de leurs profits et non de taxer les profits.

Mais comme nous l’avons déjà vu, les gouvernements sont dépassés par la révolution technologique en cours. L’audition de Mark Zuckerberg pour le procès Cambridge Analytica devant le congrès américain a mis en lumière l’incompétence du législateur américain sur ces sujets.
Beaucoup de pays européens sont réticents à taxer ou réguler les GAFAM, car ils craignent des mesures de rétorsions (industrie automobile allemande).
Il n’y a pas non plus de politique publique définie au niveau de l’ONU ni de régulation mondiale pour la cybersécurité ou l’IA. Gaspard Koening nous raconte dans son livre « La fin de l’individu – voyage d’un philosophe au pays de l’IA » que l’ONU a même dû faire appel à Amazon pour aider ses équipes sur le plan technique.
Le législateur semble avoir abdiqué son rôle de régulateur et cherche davantage à coréguler ou à laisser les entreprises se réguler elle-même. Les GAFAM sont donc au-dessus des lois et des logiques de marché.

La construction d’une nouvelle forme de société

Les réseaux sociaux permettent à chacun de s’exprimer en « s’imaginant placé au centre du monde et pouvant rabattre les évènements à sa seule vision des choses » nous explique Eric Sadin dans son livre «L’intelligence artificielle ou l’enjeu du siècle – Anatomie d’un antihumanisme radical ». Or Google et Facebook sont les seuls décideurs de l’information qu’ils décident de censurer ou de promouvoir. Ils deviennent donc les principaux régulateurs de la liberté d’expression au mépris du 1er amendement américain ou de la loi française de 1881, nous explique Gaspard Koening dans son livre « La fin de l’individu – voyage d’un philosophe au pays de l’IA ». Si cela a abouti aux scandales liés au fake news dont nous avons déjà parlés, cela définit également un nouveau statut de vérité. Selon Eric Sadin, plusieurs statuts de vérité se sont succédés dans l’histoire: d’abord la vérité des monothéismes, puis celle des philosophes, d’abord Platon ensuite la vérité comme non-contraction d’Aristote, celle du cogito de Descartes et la vérité comme source de toutes les croyances inculquées de Nietzsche. Eric Sadin décrit le prochain statut de vérité comme une vérité fondée sur « l’evidence-based- system » soit la production d’équations et d’algorithmes, grâce à l’intelligence artificielle, qui nous dictent une réalité ou la réalisation de faits qui relèvent de l’évidence. C’est dans les mains des GAFAM que se construit ce nouveau statut de vérité.
Par exemple, Facebook ambitionne de construire une communauté qui « se charge de prévenir le mal, de corriger le sensationnalisme, de publier des standards de bonne conduite et de fournir aux citoyens des instruments de gouvernance » écrit Gaspard Koening dans son livre « La fin de l’individu – voyage d’un philosophe au pays de l’IA ». Cela ne se rapproche-t-il pas de la souveraineté ?

Les GAFAM exploitent et creusent l’écart entre une politique fondée sur des votes pour renouveler des mandats et un citoyen qui croule sous les offres et recommandations toujours plus personnalisées, de produits sur mesure etc… Pourtant le numérique rend le référendum et le vote beaucoup plus facile. Le risque est un désintérêt des citoyens pour la politique, indifférence qui ouvre un terrain aux autocrates.

Les déclinaisons des services des GAFAM sont multiples et accompagnent notre quotidien. Les implications sur la société en découlent. Par exemple, Google, avec son application Waze, impacte l’urbanisme : l’application encourage les automobilistes à prendre des itinéraires alternatifs, afin de limiter les encombrements. Certains riverains voient un trafic sans précédent passer par leur village, modifiant la vie de leur communauté. Ils tracent alors de nouvelles routes ou simulent des accidents pour détourner les utilisateurs de leur village.

Facebook ambitionne de créer une communauté que rien, ni même l’éloignement géographique, ne limite. Facebook a racheté CTRL-Labs qui a développé un bracelet permettant d’interpréter les signaux cérébraux et développe un casque, Oculus Quest, rendant possible la téléportation. Mark Zuckerberg y voit une solution aux inégalités sociales : si les talents sont équitablement répartis sur Terre, les opportunités ne le sont pas et « les bits vont plus vite que les atomes », développe Nicholas Negroponte dans son livre « Being Digital ». Afin d’être à la mesure de ses ambitions, Facebook développe un drone solaire, Aquila, qui fournira un accès internet, même aux régions du monde les moins bien desservies.
Les GAFAM n’adoptent pas l’échelle d’État ou la souveraineté nationale sur laquelle se base l’ONU. Grâce à l’IA, les GAFAM transcendent États et ONU. C’est d’ailleurs le paradoxe des GAFAM qui rêvent encore d’un monde sans frontière, alors que celui-ci se replie avec la montée des nationalismes.

Google dit travailler à comprendre les désirs profonds des utilisateurs : à faire remonter l’information que l’utilisateur cherche véritablement et pas celle qu’il aimerait voir. Google suggère ainsi des choix que nous n’aurions pas identifiés. Par exemple, si je tape dans Google « voiture à acheter », Google, connaissant mon budget grâce à mon historique de recherche ou aux informations échangées via mon compte Gmail, me proposera une Twingo ou une Jaguar. Appelé « nudge », ce procédé est une théorie comportementale, technique pour influencer le comportement des personnes sans les forcer.
Le nudge est défini par Richard Thales & Cass Sunstein comme « Paternalisme libertaire » : libertaire car les gens doivent être libres de faire ce qu’ils veulent ; paternaliste car « il est légitime d’influencer […] le comportement des gens afin de les aider à vivre plus longtemps, mieux et en meilleure santé ». Ce paternalisme libertaire, historiquement mission des États, permet d’orienter l’individu vers le meilleur choix pour lui tout en nuisant le moins possible à la société.
Google prend la place de l’État dans ce rôle de décider ce qui est bon pour l’utilisateur et pour sa communauté également.

Substitution aux États : l’exemple de Facebook et de sa cryptomonnaie

La souveraineté monétaire est un concept juridique et a été définie par deux juristes français, Jean Carbonnier et Dominique Carreau, comme étant l’apanage exclusif de l’État moderne. « C’est à lui et à lui seul qu’il appartient de choisir l’unité monétaire, le signe, qui va circuler sur son territoire ». Cette définition faite par deux illustres universitaires est pourtant aujourd’hui mise à mal par l’ambition des GAFAM.
Alors qu’Amazon et Google s’intéressent régulièrement à la technologie de la blockchain pouvant permettre de créer sa propre monnaie, 18 juin 2019 c’est le géant Facebook qui a annoncé la création de sa propre monnaie : le Libra.
Le chinois WeChat l’a fait avant lui et associe maintenant messagerie, vidéo et transaction mobile. Libra permettra d’ores et déjà de payer sur Uber, eBay, Spotify ou Booking et sera accessible même aux personnes ne possédant pas de compte bancaire (la moitié des adultes dans le monde, surtout dans les pays de développement et les femmes).

Une cryptomonnaie est une monnaie qui repose sur la technologie blockchain. Elle permet de transférer de l’argent instantanément, sans frais de transfert et de façon sécurisée grâce au cryptage. La blockchain permet d’effectuer une transaction au moyen d’une chaîne cryptée et décentralisée, sans besoin d’institution ou de tiers de confiance de façon transparente et infalsifiable. Afin de réaliser cette chaîne de transactions, la blockchain a besoin de beaucoup d’ordinateurs qui mettent à disposition leur réseau. Ainsi le système est inviolable : il faudrait hacker tous les ordinateurs en même temps pour modifier la transaction. La blockchain est d’ailleurs déjà utilisée par Amazon, Microsoft et Google.

La différence entre Libra et les cryptomonnaies déjà existantes est que Libra est associé à des leaders du commerce ou du paiement, comme Mastercard, Visa, PayPal, Uber, Booking, eBay, Vodafone ou encore Iliad. De plus Libra est adossé à une réserve de valeurs stables comme le dollar ou l’euro, ce qui permet à la cryptomonnaie de ne pas être trop volatile, contrairement au Bitcoin. A chaque fois qu’un utilisateur achète des libras, la somme équivalente est investie dans des actifs sûrs tels des dettes d’états en euros ou en dollars. C’est donc en quelque sorte une digitalisation des monnaies existantes. Libra prend donc tout son sens dans les pays où les citoyens se méfient des institutions, dans les pays émergents avec un système bancaire toujours vacillant ou dans le cadre des transferts d’argent issus des diasporas. Par exemple, au Venezuela, les citoyens tentent déjà de se débarrasser de leurs bolivars en les échangeant contre des dollars sur le marché noir. Le Libra serait une menace de plus à la reprise de contrôle de la souveraineté monétaire de la Banque Centrale du Venezuela.

Le fonctionnement de la cryptomonnaie de Facebook est celui d’une banque centrale, sans être adossée à un État.
Mais alors que la Banque Centrale Européenne (BCE) ou la Réserve Fédérale (Fed) contrôlent leur monnaie par le biais des taux d’intérêts et rachètent des dettes publiques pour agir sur l’économie, le Libra échappe complètement à cette régulation, étant uniquement piloté par des algorithmes.
Il existe déjà plus de 1000 cryptomonnaies. Les Banques Centrales s’y sont déjà intéressées et les ont jugées encore trop marginales pour affecter la stabilité financière.
Ces monnaies parallèles à l’État ne sont pas nouvelles. Au XVIIIème siècle en Écosse, les monnaies privées cohabitaient avec la monnaie étatique. Ce phénomène est régulé lorsqu’en cas de crise, les épargnants se tournent vers la puissance étatique, garante des dépôts et leur permet ainsi de récupérer leurs économies. C’est dans objectif que les États-Unis ont créé la Fed en 1913.

Facebook propose une sorte de dollarisation de l’économie des pays émergents. Certes le dollar est l’actif le plus sûr de la planète et représente déjà 61,7% des réserves des banques centrales sous forme de bons du Trésor. Cependant en jouant le rôle de banques centrales, Facebook porte atteinte à la souveraineté des États, fondement de l’ONU, et risque d’impacter l’économie mondiale. « Cette monnaie globale signerait la fin des États-nations, déjà bien vacillants », nous avertit Gaspard Koenig.

Facebook, à travers sa monnaie, pourrait déprécier ou apprécier n’importe quelle monnaie uniquement à son bon vouloir. Alors que les politiques monétaires font l’objet d’un nombre de

normes importantes, de traités internationaux et d’une régulation globalisée, cette monnaie de GAFAM sera un vecteur incontrôlable.
C’est d’ailleurs en ce sens que le Ministre de l’Économie française Bruno Le Maire a publié dans le Financial Times une tribune intitulée « Le Libra est une menace pour la souveraineté des États ». Il y écrit « Nous ne pouvons pas accepter qu’un des instruments les plus puissants de la souveraineté des États, la monnaie, dépende de décisions d’acteurs qui ne sont soumis à aucune règle de contrôle démocratique. » et conclut en arguant que « La souveraineté politique ne se partage pas avec des intérêts privés ».
Ces mots et plus globalement cette tribune dénote du risque majeur que nos démocraties encourent si des GAFAM, comme Facebook, valorisée à plus de 500 milliards de dollars, souhaitent créer leur propre monnaie.

L’Union Européenne a un rôle à jouer

Face à cette bipolarisation du monde entre les États-Unis et la Chine, et l’hyperpuissance de leurs mastodontes numériques, l’Union Européenne a un rôle prépondérant à jouer. D’abord par son poids économique, elle participe largement aux échanges commerciaux et peut infléchir certaines orientations. Mais aussi et surtout parce que l’Union Européenne représente une terre fertile pour ces entreprises du numérique qui ont besoin d’y être implantées ainsi que de bénéficier des utilisateurs européens. Néanmoins, ce rôle qu’elle doit jouer la confronte à des risques et des dangers.

Les GAFAM menacent la démocratie et les droits de l’homme

Le rôle de l’Europe, bien que nécessaire pour un équilibre mondial est en réalité une nécessité absolue pour conserver la démocratie et les droits de l’Homme sur son territoire.
Le scandale de Cambridge Analytica en est l’exemple. Alors que la data est un des enjeux cruciaux vis-à-vis des GAFAM, cette affaire a mis en exergue la possibilité pour certaines entreprises de les exploiter à des fins politiques.
L’entreprise Cambridge Analytica qui avait pour slogan « Data drives all we do », comprenons les données déterminent tout ce que nous faisons, était spécialisée dans l’analyse de données à grande échelle avec un cocktail d’intelligence artificielle mélangeant la psychologie comportementale, la psychométrie et le traitement quantitatif de données. Le développement de cet outil a alors permis l’exploitation des données Facebook de près de 70 millions d’utilisateurs, totalement à leur insu et d’influencer leur choix politiques.
A travers l’élection américaine de Donald Trump ou celle du Brexit, l’utilisation de ce type d’outils permise grâce aux GAFAM démontre que les données qu’ils concentrent menacent nos démocraties. Nos démocraties reposent essentiellement sur la souveraineté des peuples et sur des élections, reposant sur un vote souverain et éclairé des citoyens. Mais dès lors que ces entreprises réccupèrent un nombre incalculable de données, pouvant être utilisées à des fins politiques, il convient d’alerter sur l’équilibre de nos démocraties.
De plus, le profilage pratiqué par Facebook enferme l’utilisateur dans des habitudes de consommation, des boucles d’action et de décision, portant atteinte à la liberté de pensée, droit fondamental défini par la Convention Européenne de Sauvegarde des Droits de l’Homme.
Les assistants virtuels permettent par commande vocales d’effectuer certaines tâches qui assistent l’utilisateur dans leur quotidien. Apple avec Siri, Google avec Google Assistant et Google Now, Microsoft avec Cortana, Amazon avec Alexa, Alibaba Group avec AllGenie, tous peuvent fournir des résultats avec une simple commande vocale. Cependant pour alimenter ces assistants virtuels, il faut une quantité massive de données afin d’entrainer l’intelligence artificielle qui permet de reconnaitre et de traiter le langage.
Ces assistants sont déclenchés par mot clé. Mais le seuil d’erreur est très bas, ce qui implique qu’ils peuvent être déclenchés par beaucoup d’autres mots qui ressemblent plus ou moins aux mots clés : ils peuvent donc potentiellement écouter sans que l’utilisateur ne le sache. C’est ce que l’on appelle l’écoute passive.
De plus, comme beaucoup d’autres services, il faut se connecter grâce un compte utilisateur, qui est souvent le même que celui de Gmail, Facebook, Amazon, Apple. Les GAFAM peuvent donc croiser les données, qui plus est, des données personnelles et de vie privée. La Convention Européenne de Sauvegarde des Droits de l’Homme a défini comme un droit fondamental le respect de la vie privée et des données personnelles. Ces pratiques portent donc atteinte aux droits de l’Homme alors que les GAFAM centrent leur business model sur les utilisateurs et leur donnent l’illusion que tout est fait pour enrichir leur expérience, faciliter leur quotidien, accélérer leur prise de décision. Il y a fort à parier que l’Europe réagisse face à cette atteinte à ses droits fondamentaux et remette ainsi en question leur modèle économique.

La carte à jouer de l’Europe

Si l’Europe n’a pas orienté sa stratégie par le passé sur le numérique, elle a aujourd’hui, par sa tradition humaniste, une carte à jouer pour remettre de l’humain et de l’éthique au sein des GAFAM.
En effet, depuis les années 70 et l’abandon du réseau Cyclades, véritable pilier d’internet, au profit du Minitel, la vente de Thomson Multimedia au coréen Daewoo alors que Thomson possédait des brevets sur la technologie MP3 et la vidéo en ligne maintenant utilisés dans tous les smartphones, et le transfert des usines Alcatel vers la Chine, la France a été un exemple d’une Europe qui avait choisi d’axer sa stratégie sur des industries traditionnelles plutôt que de parier sur l’arrivée de nouvelles technologies. L’Europe a longtemps investi dans projets institutionnels plutôt que dans des startups comme aux États-Unis. Ces projets, comme le Google européen, Quaero, lancé par Chirac, sont vite abandonnés.
L’Europe cherche aujourd’hui à rétablir sa « souveraineté numérique » comme l’énonce Ursula Vonder Leyen. Un plan de relance est construit sur trois piliers : la maitrise des données industrielles (les données des entreprises européennes), la maitrise des microprocesseurs de haute performance, clé pour le bon fonctionnement des supercalculateurs et une connexion internet dans toute l’Europe, y compris les zones aujourd’hui blanches, grâce à une constellation satellitaire en orbite basse sécurisée par la technologie quantique. Le fer de lance de l’Europe est donc de réguler l’industrie « high tech » et ses géants, les GAFAM, jusqu’alors « too big to care » dans l’objectif de respecter les droits de l’homme et les valeurs démocratiques.

Nous avons vu précédemment que les GAFAM adoptaient certaines pratiques fiscales qui leur permettaient de payer des impôts négligeables. Certains pays de l’Union Européennes cherchent d’ores et déjà à empêcher ce dumping fiscal. Ainsi le ministre de l’économie français Bruno Le Maire soutient une taxe GAFAM qui s’adresse aux entreprises du numérique ayant un chiffre d’affaires supérieur à 750 millions d’euros et propose un impôt de 3% de leur chiffre d’affaires selon leur présence en France (nombre d’utilisateurs, contrats, …).

Les pays du G7 et du G20 ont chargé l’OCDE de construire une fiscalité internationale pour les entreprises du numérique. Les premières propositions vont dans le sens d’une imposition qui n’est pas basée sur le pays de résidence mais sur les pays d’utilisation.

La France et l’Union Européenne tirent le monde vers une industrie du numérique plus humaine. Le 15 juin 2020, le Canada, la France et 12 autres états (l’Allemagne, l’Australie, la République de Corée, les États-Unis d’Amérique, l’Italie, l’Inde, le Japon, le Mexique, la Nouvelle-Zélande, le Royaume-Uni, Singapour, la Slovénie) et l’Union Européenne ont signé le partenariat mondial pour l’Intelligence Artificielle. Son secrétariat est hébergé à l’OCDE à Paris et ses deux centres d’expertises à Montréal et à Paris. L’objectif de ce partenariat est de construire une intelligence artificielle éthique, respectant les droits de l’homme et les valeurs démocratiques.

Dans cette lutte pour conserver nos démocraties et les droits de l’Homme, l’Union Européenne a fait une avancée considérable : le RGPD (Règlement Général sur la protection des données). Il a imposé en 2016 à toutes les entreprises ayant des clients au sein de l’Union Européenne cette réglementation qui n’est égalé dans aucun autre pays et sert d’inspiration au monde entier en matière de régulation des données. Sa logique est de faire du contrôle de la data un droit fondamental. « Qui dit marché des data dit démocratie des data » dit Margrethe Vestager. Pour « ne pas se retrouver au milieu du duopole » comme le dit Cédric Villani, entre les États-Unis et la Chine, l’Europe pourrait fournir un cadre législatif, économique et culturel à l’industrie du numérique.
L’Europe est récemment allée plus loin. La Cour de justice de l’Union Européenne a cette année mis un terme à l’accord Privacy Shield qui permettait le transfert de données entre l’Europe et les États-Unis depuis 2015. Cette décision a des répercussions sur plus de 5000 entreprises, dont les GAFAM, qui dépendent de ce transfert de données. L’Union Européenne a rompu cet accord jugeant que la gestion des données par les États-Unis n’était pas conforme à celles déployée par le RGPD et ne permettait pas une protection suffisante de celles-ci. L’intérêt premier de l’Union Européenne est donc de protéger les données des citoyens européens notamment contre les services de renseignements américains.
La Data Protection Commission irlandaise a ainsi exigé de Facebook en Septembre dernier d’arrêter de transférer les données des utilisateurs européens vers les serveurs américains.
Se priver du marché de l’Europe n’est pas envisageable pour nombre des entreprises concernées par la rupture de cet accord. Comme Facebook, elles ont alors deux solutions : soit elles arrêtent de traiter les données provenant de l’Europe et renoncent donc à leurs services sur ce territoire, ou soit elles devront trouver des moyens et des garanties pour s’assurer que les données de leurs utilisateurs européens sont protégées.
D’ici fin 2020, l’Unions Européenne veut mettre en place une législation sur les services numériques qui pourra contraindre les GAFAM à se séparer de certaines activités sur le marché intérieur en cas de non-adaptation.
Ce règlement est la preuve que l’Europe a un rôle prépondérant à jouer dans cette guerre économique, où les GAFAM, s’installent comme des puissances à la fois économique et politique.

L’Europe prend donc le rôle de leader dans la définition d’un monde numérique en respect de la souveraineté des états et des droits de l’Homme et cherche ainsi à rétablir un équilibre des puissances et un contexte favorable à l’innovation éthique.

CONCLUSION

Nous avons démontré que les GAFAM, et aujourd’hui les BATX, ont permis aux États-Unis et à la Chine de renforcer leur puissance sur la scène mondiale. Définissant une nouvelle industrie, ces géants du numériques ont bénéficié du retard de l’adaptation du cadre législatif pour porter une croissance fulgurante. Un réveil des états et des utilisateurs met en lumière leurs pratiques anti-concurrentielles, anti-démocratiques et bafouant la souveraineté des états et les droits de l’homme. Grâce à leurs chiffres d’affaires dépassant le PIB de beaucoup d’états et leur communauté dépassant les frontières, les GAFAM sont en position de force pour imposer un nouvel ordre mondial et une nouvelle conception des droits, de la politique et de la citoyenneté. L’Europe veut jouer le rôle de garante de la démocratie et des droits de l’homme et tente de définir un nouveau cadre à cette industrie dématérialisée qui vend à ses utilisateurs une séduisante capacité à les orienter et les influencer mieux que quiconque.

REFERENCES

L’intelligence artificielle ou l’enjeu du siècle – Anatomie d’un antihumanisme radical – Eric Sadin La fin de l’individu – voyage d’un philosophe au pays de l’IA – Gaspard Koening
Le Capitalisme de surveillance – Shoshana Zuboff
Being Digital – Nicholas Negroponte

Adieu les Gafa, place aux «Big Tech» – Le Figaro – 7 septembre 2020
Comment la France s’est vendue aux GAFAM – Tariq Krim – Le Point – 5 janvier 2019

Charles-Édouard Bouée : « Avec l’intelligence artificielle, nous entrons dans la quatrième vague de la révolution digitale » – Le Point – 24 décembre 2018

Les GAFA se heurtent à la grande muraille de l’Etat chinois – Le Monde – 7 août 2017

Les confidences de Mark Zuckerberg – Le Point – 25 septembre 2019

L’Europe contre Google, Acte II – Le Point – 11 septembre 2017

L’inventeur du Web exhorte à réguler l’intelligence artificielle – Le Monde – 27 avril 2018

Libra : pour Facebook, un nouveau moyen de mieux connaître ses «amis» – Libération – 17 juin 2019

Libra : tout ce qu’il faut savoir sur la cryptomonnaie de Facebook – Le Monde – 18 juin 2019

Avec le libra, Facebook veut bousculer les monnaies – Le Monde – 17 juin 2019

« Il est opportun d’ouvrir un débat approfondi sur la “blockchain” » – Le Monde – 3 mai 2019

L’inventeur du Web exhorte à réguler l’intelligence artificielle – Le Monde – 27 avril 2018

Breton : « L’UE doit organiser l’univers numérique pour les 20 prochaines années » – Le Point – 26 juin 2020

L’accord sur le transfert de données personnelles entre l’UE et les Etats-Unis annulé par la justice européenne – Le Monde – 16 juillet 2020

Apple : la justice annule les 13 milliards d’arriérés d’impôts exigés par la Commission européenne – Les Echos – 15 juillet 2020

Tribune du Ministre de l’Économie et des Finances Bruno Le Maire – Financial Times – 17 octobre 2019

Intelligence artificielle : un défi de civilisation, un devoir de génération

Géopolitique

Geneviève Fieux-Castagnet, Déontologue, et Gérald Santucci, Penseur et Écrivain

26 septembre 2019

Il ne fait aucun doute que l’intelligence artificielle connaît depuis plus d’une décennie des avancées spectaculaires qui vont encore s’amplifier. La santé, l’automatisation, la mobilité et le transport, les analyses prédictives, la justice et la police, la sécurité dans les villes, l’art, les jeux, et bien d’autres domaines encore, sont peu à peu gagnés par l’attractivité de cette discipline et de ses technologies qui promettent plus de performance, moins de coûts.

Chacun sent bien que le recours à l’IA pose de nombreuses questions éthiques que certains États et des entreprises de plus en plus nombreuses sont en train de prendre en considération. C’est pourquoi de nombreux acteurs publics et privés conçoivent des lignes directrices et des chartes éthiques pour le déploiement de l’intelligence artificielle. La tâche n’est pas aisée puisqu’il faut arbitrer entre innovation et protection, nouveaux modèles économiques et réglementations. Actuellement, il apparaît que la Commission européenne est bien placée dans la recherche de cadres appropriés pour évaluer les impacts éthiques de l’IA. Après le rayonnement du RGPD (règlement général sur la protection des données), elle peut s’employer à légiférer sur les questions éthiques tout en poursuivant son dialogue avec les autres parties du monde afin que sa démarche devienne un jour universelle. Dans notre essai rédigé en anglais, Gérald Santucci et moi-même proposons un cadre général des grandes problématiques de l’IA et évoquons les principaux outils susceptibles de permettre de développer une IA éthique universelle, notamment par le recours à des analyses d’impact éthique.

https://www.theinternetofthings.eu/geneviève-fieux-castagnet-and-gérald-santucci-artificial-intelligence-civilizational-challenge