Paris AI Action Summit – A few key takeaways

Big Tech, Géopolitique

by Gérald Santucci

“You were given the choice between war and dishonor. You chose dishonor, and you will have war.”

Winston Churchill (to Neville Chamberlain directly after Munich)

Now that the Paris Artificial Intelligence (AI) Action Summit, held on 10-11 February 2025 at the Grand Palais in Paris, is behind us the time has come to draw a first assessment. Here follow our key take-aways.

No compass

First, we should regret the lack of will from all major countries to acknowledge the legacy of the previous similar events. Indeed, the AI Action Summit, co-chaired with India and signed by 61 countries, including China, was the third AI Summit organized so far. It followed the AI Safety Summit 2023 (1-2 November 2023), hosted by the United Kingdom at Bletchley Park (the birthplace of the digital, programmable computer) and signed by 28 major countries and the European Union, and the AI Seoul Summit (21-22 May 2024), co-hosted by the Republic of Korea and the United Kingdom and signed by 10 countries and the European Union. The impression prevails that each of these summits, which are basically international convenings of senior government officials, tech executives, civil society, and researchers to discuss the safety and policy implications of the world’s advanced AI models, has been a sort of political posturing without at the end a genuine pledge to achieve common goals for humanity.

Global vs. International

Second, the US and the UK have refused to sign the Paris AI Action Summit Declaration, in a blow to hopes for a concerted approach at global level to developing and regulating the technology and its usages. UK “hadn’t been able to agree all parts of the leaders’ declaration” and would “only ever sign up to initiatives that are in UK national interests”. Let’s recall that the UK had previously been a champion of the idea of AI safety, with then prime minister Rishi Sunak holding the world’s first AI Safety Summit only 16 months ago. Apparently, the new UK Government doesn’t care much about the risk to undercut its hard-won credibility as a world leader for safe, ethical and trustworthy AI innovation. Though it rejected the suggestion that Britain was trying to curry favor with the US, but in most chancelleries the idea is floating that UK considers it has little strategic room but to follow the US, hence not taking an overly restrictive approach to the development of the technology, in order to keep the commitment from US AI firms to engage with UK regulators. Not surprisingly, US Vice President JD Vance told delegates in Paris that too much regulation of AI could “kill a transformative industry just as it’s taking off” and that AI was “an opportunity that the Trump administration will not squander”. He added that “pro-growth AI policies” should be prioritized over safety and leaders in Europe should especially “look to this new frontier with optimism, rather than trepidation.” In other words, Vice-President Vance reiterated the Trump administration’s commitment to keeping AI development in the United States “free from ideological bias” and ensuring that American citizens’ right to free speech remains “protected”.

In this context, it was clear that phrases in the Elysée communiqué such as “sustainable and inclusive AI” would be unacceptable by the Trump administration.

The Paris AI Action Summit has become a key battleground for international AI governance, exposing sharp divides in global AI strategy: the US, under President Donald Trump, promotes a hands-off, pro-innovation policy; Europe is pushing for stricter AI regulations while boosting public investment in the sector; China is rapidly expanding its AI capabilities through state-backed tech giants, seeking global leadership in AI standard-setting.

The Volatility of AI Policy Nouns and Verbs

Third, it’s interesting to pay attention to the nouns and verbs that were heralded at each of the three AI Summits so far. The Bletchley Declaration put the cursor on “safety”: “We affirm that, for the good of all, AI should be designed, developed, deployed, and used, in a manner that is safe, in such a way as to be human-centric, trustworthy and responsible.” It mentioned the “significant risks” posed by AI. The AI Seoul Summit reinforced international commitment to “safe” AI development and added “innovation” and “inclusivity” to the agenda of the AI summit series. Some criticism was voiced that the addition of topics other than AI safety was leading to a dilution of what had made the UK AI Safety Summit unique among a crowded landscape of international AI diplomatic initiatives – attendance was indeed down and news coverage a bit lower. However, if the UK AI Safety Summit’s achievement was establishing the idea of an AI Safety Institute, the Seoul AI Summit marked the moment that the idea reached significant international scale as a cooperative effort.

The Paris AI Action Summit has “identified priorities and launched concrete actions to advance the public interest, to close all digital divides, to accelerate progress towards the Sustainable Development Goals (SDG) and to protect human rights, fundamental freedoms and the environment and to promote social justice by ensuring equitable access to the benefits of AI for all people.” Signatories pledged “to foster inclusive AI as a critical driver of inclusive growth. Corporate action addressing AI’s workplace impact must align governance, social dialogue, innovation, trust, fairness, and public interest…” Companies committed indeed to the following objectives: promoting Social Dialogue; investing in Human Capital; ensuring Occupational Safety, Health, Autonomy, and Dignity; ensuring Non-Discrimination in the Labor Market; protecting Worker Privacy; promoting Productivity and Inclusiveness Across Companies and Value Chains. French President Macron did not hesitate to tell investors and tech companies attending the summit “to choose Europe and France for AI”, adding that the European AI strategy would be “a unique opportunity for Europe to accelerate in the technology.”

On her side, European Commission president, Ursula von der Leyen, said in a speech that she wants “Europe to be one of the leading AI continents. And this means embracing a way of life where AI is everywhere. AI can help us boost our competitiveness, protect our security, shore up public health, and make access to knowledge and information more democratic.” She welcomed the European AI Champions Initiative that pledges EUR 150 billion EUR from providers, investors and industry and announced that the European Commission, with its InvestAI initiative, “can top up by EUR 50 billion”, which means a total of EUR 200 billion for AI investments in Europe – “it will be the largest public-private partnership in the world for the development of trustworthy AI.”

Science vs. Geopolitics

When “big data” appeared some 20 years ago with its “Vs” (validity, value, variability, variety, velocity, veracity, versatility, visibility, volatility, volume and vulnerability), it was expected that decision making would be based on scientific evidence. Thanks to the Internet of Things and Artificial Intelligence, big-data-based processes would confer more persuasion and significance to knowledge or decisions.

This dream seems to have been destroyed.

Concerns over AI’s fast-paced evolution, and its potential risks, loomed over the Paris summit, particularly as nations wrestle with how to regulate a technology increasingly entwined with defense, cybersecurity, and economic competition. Even the European Commission has begun to soften its tone towards regulation: “AI needs the confidence of people and has to be safe … Safety is in the interest of business (but) we have to make it easier, we have to cut red tape.” The last phrase, though quite understandable, might be perceived by other countries as an admission of weakness in front of the US power play and (less and less) hidden threats.

On 23 January 2025, President Donald Trump signed an Executive Order eliminating “harmful Biden Administration AI policies … that hinder AI innovation and impose onerous and unnecessary government control over the development of AI” and “enhancing America’s global AI dominance.” At the same time, he announced the Stargate Initiative, a $500 billion private sector deal, spearheaded by tech giants OpenAI, SoftBank, and Oracle, to expand US artificial intelligence infrastructure. Stargate is said to represent the largest AI infrastructure project in history. But the longstanding feud and personal animosity between Elon Musk (the CEO of Tesla, SpaceX and xAI, the richest person in the world, and a Trump ally) and Sam Altman (the CEO of OpenAI) exposed itself in front of the world’s media. (Altman and Musk co-founded OpenAI but later split over its direction. While Musk argues that OpenAI has strayed from its nonprofit roots, Altman insists the company must evolve to secure the funding required for AI advancements.) In February 2025, the ChatGPT-maker’s CEO dismissed a $97.4 billion bid from a Musk-led consortium.

What we have seen since the beginning of 2025 is the largest tech US companies swearing allegiance to the President of the United States, and their leaders – a restricted group of billionaires and oligarchs that control the world’s largest digital platforms, social networks and traditional media – carrying a new political ideology in the form of “a technosolutionism that privileges technological solutions, including whimsical ones, and even sometimes a political reorganization, without necessarily listening to science.”[1] On 11 February 2025, Elon Musk provocatively paraded his 4-year-old son Lil X around the Oval Office as President Trump signed an Executive Order requiring federal agencies to cooperate with the Elon Musk-led Department of Government Efficiency (DOGE) and the effort to slash costs. (Compared to this, the iconic original photo of President Kennedy seated at his desk in the Oval Office while John, Jr., peers through a ‘secret door’ at the front of the desk is just a good laugh.)

At the Paris AI Action Summit, in response to President Trump saying in his inauguration address that the US will “drill, baby, drill” for oil and gas under his leadership, President Macron replied that in Europe “it’s plug, baby, plug. Electricity is available.”

A bit earlier, UK Premier had said the AI industry “needs a government that is on their side, one that won’t sit back and let opportunities slip through its fingers … In a world of fierce competition, we cannot stand by. We must move fast and take action to win the global race … Our plan will make Britain the world leader.”

So, it becomes sadly obvious that showbiz politics is today dominating science-based decision making, national interests are dominating international cooperation, corporate interests are dominating the search for the common good, fierce innovation is dominating ethics, and so forth.

The Paris AI Action Summit could have been the defining moment when a fair balance would be found between AI innovation and AI governance and ethics. In IoT Council we dearly believe that the combination of IoT and AI – AIoT – offers tremendous opportunities for sustainable economic growth, prosperity, human health and wellbeing, but also for the good of all living species, nature and biodiversity. It would be irresponsible, turning our back to science and cooperation and getting excessively entangled in the dangerous realm of unleashed AI, that these opportunities are eventually lost while all sorts of AI risks (malicious use risks, risks from malfunctions, and systemic risks) would have full ‘freedom of expression’.

With respect to AI, 2025 could be the year of all dangers.


[1]      Source: “Intelligence artificielle, innovation, recherche… la science dans l’étau des tensions géopolitiques”, in Le Monde, 10 February 2025.

Answers to INTERVIEW QUESTIONS, by Gérald Santucci

Big Tech

Dr. Ken SAKAMURA
Founder, INIAD (Toyo University, Information Networking for Innovation and Design)
Professor Emeritus, The University of Tokyo
Leader, TRON Project

Gérald SANTUCCI
President of ENSA (European Education New Society Association) – Member of IoT Council – Member of Global Forum Association – Member of PromEthosIA – Former Head of Unit for IoT and Adviser at European Commission (DG CNECT).

QUESTION 1:

Last year, 2024, marked the 40th anniversary of TRON Project which started its activities in 1984, based on the philosophy of “Open Architecture.”

Could you please tell us what have been its biggest achievements over four decades, particularly the impact of Real-time Operating Systems (RTOS) for IoT nodes?

ANSWER 1:

The project started to create an RTOS for emerging 16-bit microprocessors to be embedded in industrial machinery and consumer electronics for control purposes. It began in 1984 and has been going on for 40 years. But its vision was much wider. We wanted to design and create the appropriate future computer architecture that would take advantage of the 16-bit and 32-bit microcontrollers for embedded systems in the 1990s and beyond.

As part of the effort, we obviously needed a small RTOS for microprocessors and that was the first major output from TRON Project.

I will focus my answer to this question on the RTOS.

The first version of the RTOS from TRON Project was called ITRON (Industrial TRON), and it was a specification of a small memory footprint RTOS for then emerging 16-bit microprocessors.

The RTOS offerings from companies that conform to the ITRON specification became very popular in Japan and basically became a de facto standard in the Japanese computer industry for embedded computer systems applications.

The specification was made available as well as a sample implementation.

The RTOS has evolved and there have been versions called ITRON, micro-ITRON, T-Kernel and µT-Kernel over the years.

Standardization

After ITRON specification became a de facto standard for embedded computers in Japan, we made the newer member of the TRON RTOS family, μT-Kernel (read micro T-Kernel), which is an IEEE Standard today. That standardization took place in 2018. The standard is called “IEEE Standard for a Real-Time Operating System (RTOS) for Small-Scale Embedded Systems” and is based on the μT-Kernel 2.0 specification.

Open Nature

The source code of the newer members of the TRON RTOS family are available on the TRON Project website. They have been downloaded by many parties around the world so far.

Design Wins

There have been many products in the market that are using the members of the TRON RTOS family.

TRON Forum has tried to keep track, but since it initially let people use the TRON RTOS family without formal requirement for reporting the usage, the forum simply doesn’t know how many units are used worldwide. But it is sure that the number of products that use the TRON RTOS family is very large.

Note: see [1], [2] and [3] for details.

QUESTION 2:

When we first met in 2007, I immediately thought that TRON Project fitted perfectly to realize the “open Internet of Things” (IoT), i.e. an IoT based on open source, open data and open API, and hence was free from constraints of organizations and applications.

To what extent has this goal been achieved in the (i) international collaboration, (ii) academia-industry cooperation, and (iii) standardization?

ANSWER 2:

International Collaboration

I noticed that there is another question regarding City Platform as a Services: integrated and open (CPaaS.io), an EU-Japan collaboration project, so I will focus my answer to this question on other regional activities.

Aside from Europe, we have worked with partners in the following countries/regions to promote the technologies coming out of TRON Project for the last 20 years or so.

  • United States
  • Singapore
  • Taiwan
  • Malaysia
  • China, and
  • Indonesia
  • India

We have also visited Australia and other countries for technology transfer purposes.

Academia-Industry Cooperation

We have encouraged the members of TRON Project to tackle leading-edge technological development. The University of Tokyo and Toyo University where I have worked have been collaborating with many partners in the industry to explore the future computer systems for various applications.

Lately, smart building and smart city projects have emerged, and we work with real estate developers and a former government-run housing agency to explore the house of the future. (see [4])

Also, we have established a consortium for the open data application of public transportation operators and this consortium has been joined by the transportation operators, IT industry partners, and government agency observers. (see [5])

This consortium was created after a series of open data contests held in cooperation with the Tokyo Metropolitan government and public transportation operators in the Tokyo area.

TRON Project since inception has enjoyed the participation of many computer chip makers in the project to help produce the specification of the ITRON specification OS.

I think the Academia-Industry Cooperation has worked very well in TRON Project so far, and I would like to see it grow in the future as well.

Standardization

As part of our open approach, we published the specifications from the TRON Project website (and in print before that).

We have also tried hard to turn the specifications into international standards.

Our achievement in this area is twofold.

One is the standardization of IEEE Standard 2050-2018, “IEEE Standard for a Real-Time Operating System (RTOS) for Small-Scale Embedded Systems” in 2018, which is based on the μT-Kernel 2.0 specification.

The second is the ITU-T standardization of the so-called “ucode” identification system, which is used to identify objects (furthermore, places and concepts) using unique numbers.

A series of so-called Recommendations (standards in ITU-T parlance) have been formally adopted from the proposal we have pushed from YRP Ubiquitous Networking Laboratory.

‘ucode’, a number, is used to identify tangible objects and non-tangible objects that are not covered by existing ISO and other standards, and is very important in the IoT environment where many objects created by the users are distributed in our surroundings.

QUESTION 3:

Some 15 years ago you launched a famous trial in Tokyo’s Ginza shopping district. You had developed a system using RFID and other auto-identification technologies to provide sightseers and shoppers with information and directions for sites and retailers of interest, and to inform individuals with disabilities about accessibility options.

Your system employed many different types of automatic-ID tags embedded in posters throughout Ginza’s pedestrian walkways. This was clearly for me a mark of your commitment and dedication to making the IoT something good for humanity and the planet.

What have been the results of this unique experience, and how the lessons learnt have been later introduced in the work of YRP Ubiquitous Networking Laboratory (YRP UNL)?

ANSWER 3:

The readers are referred to some booklets that were written circa 2010 that describe the state of the art back then. They cover many experiments and the technologies behind them. (see [6])

I would like to note, for the Ginza experiments and other experiments, we had already developed a hand-held terminal, called Ubiquitous Communicator (UC) to execute the experiments. UC may be called a precursor of today’s smartphone. UC is described in the booklets I have mentioned. We were ahead of the world in applications that would become popular when smartphones would be available to the masses in the 2010s.

Simple applications we developed in the early 2000s were emulated and have become popular, and I shall say that they are the norm.

During the development of these experiments that used RFID tags and other types of tags, the need for an identification system to identify objects in the IoT environment became very acute, and the ucode identification system was developed.

ucode identification system was proposed as a series of standard drafts including a scheme of how the code shall be used typically, and it has been adopted as ITU-T Recommendations. Subsequently, ucode version 2 has been proposed to fit the computing environment of clouds of today and has been used in Japanese applications and beyond.

As for the support for individuals with disabilities, TRON Project has addressed accessibility issues from the early days.

We expected the computer architecture of the future (as viewed in the early 1980s) to permeate society and be used by EVERYBODY. So, computers must be used by people with disabilities, too.

TRON Project has hosted an annual symposium called Enableware symposium for many years and has discussed a variety of ways to make computer systems support people with disabilities. It has discussed Human-Interface issues for people with disabilities, for example.

I have learned that the EU is very advanced in terms of the design of computer systems that pay attention to universal access. So, I think we will welcome input from EU researchers in this area.

QUESTION 4:

In 2016-2018 YRP UNL contributed to an EU-funded project̶CPaaS.io̶which aimed at establishing common smart city platforms for deployment in smart city use cases.

The resulting “City Platform as a Service” (CPaaS) provides a smart city data infrastructure that can support many regional and even global applications.

What has been your personal experience from this EU-Japan collaborative research and development (R&D) on open smart city platforms?

ANSWER 4:

Right now, Smart Building, and Smart City are hot research and application topics. Toyo University, where I have a position now works with real estate developers and housing corporation to design and create future housings. (see [4])

Personally, I have learned the importance of sharing/building common knowledge at the start of the EU-Japan project. The cultural difference, the difference of used terminologies in different countries, etc. need to be overcome. For this purpose, a somewhat relatively long initial phase when the common vocabulary and shared understanding of ideas are nurtured is very important. It may feel slow at the beginning, but it is a necessary step.

I have learned this valuable lesson from CPaaS.io.

QUESTION 5:

In January 2023, you received the “IEEE Masaru Ibuka Consumer Technology Award,” and the “TRON Real-Time Operating System (RTOS) Family” was recognized as an IEEE Milestone in May 2023.

These are all indications of the high regard in which TRON Project efforts which you led over 40 years are today considered by the world IoT community.

How do you see the mid- to long-term future of the IoT and, more specifically, the role that TRON Project can still play in IoT development and deployment?

ANSWER 5:

Let me explain the respective award and milestone recognition first.

“IEEE Masaru Ibuka Consumer Technology Award” has been named after one of the founders of SONY Group Corporation, Dr. Masaru Ibuka.

It was established in 1987 and has been awarded since 1989 to those who have made excellent contributions in the consumer electronics field.

The past recipients include the following names with whom I am sure you are familiar.

  • 2021 STEVE WOZNIAK, “For pioneering the design of consumer-friendly personal computers.”
  • 2020 EBEN UPTON, CEO, Raspberry Pi, “For creating an inexpensive single-board computer and surrounding ecosystem for education and consumer applications.”
  • 2018 LINUS BENEDICT TORVALDS, “For his leadership of the development and proliferation of Linux.”

I received this award sponsored by Sony Group Corporation because IEEE recognized my contribution to consumer electronics by way of the TRON RTOS family. The citation of my award reads as follows.: “For leadership in creating open and free operating systems for embedded computers used in consumer electronics.”

So basically, it recognized TRON Project, of which I have been the leader since 1984, and the TRON RTOS family that has been used extensively in the embedded computer system market, especially consumer electronics sector. (see [7] for details.)

The IEEE Milestone is not given to me personally. The IEEE Milestones in Electrical Engineering and Computing program honors significant technical achievements in all areas associated with IEEE. It is a program of the IEEE History Committee, administered through the IEEE History Center. Milestones recognize technological innovation and excellence for the benefit of humanity found in unique products, services, seminal papers and patents.  Each milestone recognizes an achievement that occurred at least twenty-five years ago and had at least regional impact.

“TRON Real-time Operating System (RTOS) Family, 1984” is the official title of the IEEE Milestone given to the TRON RTOS family. The milestone has recognized the contribution of the TRON RTOS family has made since 1984 to the present day.

The Milestone citation reads as follows.: In 1984, a computer architecture project team at the University of Tokyo began designing The Real-time Operating system Nucleus (TRON) OS family and helping external partners commercialize it. Specifications and sample source code were provided openly and freely, facilitating innovations by developers and users. The TRON RTOS family copies have been adopted worldwide in billions of embedded computer devices, including aerospace and industrial equipment, automotive systems, and home electronics. (see [1] for details.)

To answer your questions regarding goals, in the short term, TRON Project will be active promoting the current projects in smart buildings, and smart city area. Updating the TRON RTOS family so that it will be a good fit in this age of cloud computing is one of the short-term goals. I see the role of TRON Project as coordinator of the research activities. We hope that TRON Project can be a conduit to coordinate the research activities in these aspects of research activities.

The long-term goal is hard to describe.

Back in the 1980s, we predicted how the computer systems in the future would be like and how they should be built for the benefit of ordinary users including the people with disabilities. Such visions guided the initial research direction of TRON Project.

Since then, the general computing environment has evolved very much. Cloud computing was not imagined back then. But the introduction of the cloud and widely available ubiquitous network connectivity has changed the role of IoT computing edge node significantly.

Thanks to the ubiquitous fast network connection, many computing tasks that were done on the edge node can be carried out in the cloud today, instead.

The balance of the computing power between the clouds and the edge nodes will change over time, and we need to strike the balance every step of the way.

The division of labor of AI application between the clouds and edge nodes will be affected by the general computing trend, for example.

TRON Project will again stop to think about what the computer systems will be like in the next 10-20 years and how they should be designed so that everyone can enjoy the benefit. Then we will try to propose the design and implement such systems with partners.

QUESTION6:

It was announced in late June 2024 that there is another IEEE Milestone bestowed on another TRON Project achievement: TRON Intelligent House.

Can you tell us about it and the impact it has on today’s research?

ANSWER 6:

The Milestone itself is called “The Pioneering TRON Intelligent House, 1989.”

TRON Intelligent House was a smart house built in 1989.

The citation of the Milestone reads as follows:

The first TRON Intelligent House was based on the concept of a Highly Functionally Distributed System (HFDS) as proposed in 1987. Built in Tokyo in 1989 using about 1,000 networked computers to implement Internet of Things (IoT), its advanced human-machine interface (HMI) provided “ubiquitous computing” before that term was coined in 1991. Feedback by TRON’s residents helped mature HFDS design, showing how to live in an IoT environment.

TRON Intelligent House was built in Tokyo in 1989. It had about 1,000 computers, and many sensors and actuators in a 333 square meter space. It was built by a group called TRON Intelligent House Study Group, consisting of 18 member companies, which understood the concept of Highly Functionally Distributed System (HFDS), essentially today’s IoT.

I proposed the concept of HFDS in the 1980s, and had a paper written in English published on it in 1987 [8]. This HFDS concept was the true pioneer of today’s IoT vision. It preceded the birth of the phrase “ubiquitous computing” coined by Marc Weiser in the 1990s.

What is HFDS?

In the vision of HFDS, many objects in our surroundings are embedded with computers. They are called intelligent objects. They talk to a local network (and with outside if such a connection is available), and to other intelligent objects to offer coordinated activities together. Intelligence can be in the Intelligent objects themselves or in the servers accessed via networks. Therefore, various functions become distributed in our surroundings, thus Highly Functionally Distributed System.

HFDS is essentially today’s notion of the IoT.

The old figure in [9] is shown here.

Of course, today, the Intelligent Object Network in a building or house is connected to the Internet.

In the TRON Intelligent House, computers were hidden as much as possible to create a friendly atmosphere. People lived in the house so that we could obtain valuable feedback about the computer-controlled living environment. There have been many off-the-shelf housing components developed later from the prototype created for the TRON Intelligent House. The TRON Intelligent House had an impact on smart house R&D in Japan and elsewhere.

We held the Milestone plaque dedication ceremony in November 2024. The plaque is now displayed next to the plaque of “TRON Real-time Operating System Family, 1984.”

I am very proud that both the top-down approach and bottom-up approach of TRON Project have been recognized by IEEE Milestones.

Top-down approach is the gathering of the application requirements and using them to guide the basic research. TRON Intelligent House was a big application project to hammer out the requirements of HFDS, i.e., IoT environment.

The bottom-up approach is creating RTOS for microprocessors as an infrastructure.

Thus, we have created the TRON RTOS family.

It is not often a project receives two IEEE Milestones in a row.

QUESTION 7:

Can you tell me more about the subsequent development related to smart houses and buildings, and cities in the years that followed?

ANSWER 7:

Of course, in the wake of the TRON Intelligent House in 1989, newer TRON Intelligent House projects followed over the years.

These past projects were explained based on the contemporary views in the appendix of references [9].

But let me explain them in historical order.

TRON INTELLIGENT HOUSE had a direct lineage version 2 in Japan called TOYOTA PAPI, which was built in 2004, explained in Appendix I of [9], and version 3 called Taipei u-home in Taipei, Taiwan was built in 2009, explained in Appendix II of [9]).

PAPI was explained in Appendix I of the IEEE Milestone Proposal [9]. Here I will show more photos of PAPI.

Taipei u-home Version 3 of the TRON Intelligent House was in Taipei.

It is called TLDC u-home. TLDC stands for Taiwan Land Development Corporation.  It was built in 2009 and was shown to the public.

It is also explained in Appendix II of [9].

There were more smart house and building activities in Taiwan: Projects in Hualien (花蓮). New IoT houses were designed with the cooperation with Arup Group Limited (ARUP) and Bjarke Ingels Group.

QUESTION 8:

Obviously, the IEEE Milestone proposal could not touch the details of recent R&D activities much.

Can you possibly explain more recent R&D projects?

ANSWER 8:

Let us explain the work done with UR and Haseko.

UR stands for Urban Renaissance Agency.

It is a semi-governmental organization originally established in 1955 as Japan Housing Corporation to address urban and housing agendas in Japan.

UR has led large-scale urban development and housing projects as such.

There are a number of large condominiums built by UR near where Faculty of Information Networking for Innovation And Design (INIAD), Toyo University is located. I have held a position at Toyo University since 2017. The land in which the faculty campus is located was owned by UR before the university purchased it from UR.

So, we had contact with UR, and we started projects in steps.

The projects with UR proceeded with a prototype project first and a project to build a livable house. The prototype project was called Open Smart UR Startup Model (2019), and the later livable house project is called Open Smart Monitoring Housing (2022).

Open Smart UR Startup Model (2019)

UR rebuilt the Akabanedai housing complex built by its former self, Japan Housing Corporation, and we were consulted to create future housing there, which led to the Open Smart UR Project. In 2019, we created a concept room as a « start-up model, » in the so-called Star House, a historical building remaining today.

This was a research prototype for demonstration, and it was not meant for someone living in it for prolonged time.

We converted a 44 square meter Japanese-style room into a single room and designed a living space with 44 sensors and computers to measure the changes of various environmental factors.

Open Smart UR Living Monitoring Housing (2022)

In 2022, UR asked us to build something that people could live in, and we created an experimental dwelling called “Living Monitoring Housing.”

It is only 39 square meters because it uses the space of an old so-called “apartment complex” dwelling. In the past, people slept on futons in tatami mat rooms, and in the morning, they would fold the futon and stow it away and bring out a tea table to eat their meals. So, people used to be able to get by with this small space, but now beds are the norm, so it is impossible.

We therefore re-designed the entire room in a modern style, incorporating robotic furniture.

Various appliances and furniture can be controlled by computers. When you say, “OK Google, good night,” a Tatami bed moves out to the living room side. When you say, “Alexa, good morning,” the bed is put away, the curtains open, and so on. Not only Google, but also Amazon Alexa and other devices based on open API can be connected.

IoT + AI Smart Housing (2023)

Recently (in 2023), we built an AI Smart House in an apartment building called “Sustaina Branche Hongyotoku” by Haseko Corporation.

Here, too, the living space is not very large, so we built a TV stand that moves with robotic furniture, so that when people move, the TV follows them toward where they are.

Smart houses are equipped with many sensors and cameras to monitor the environment, but they are designed to be discreet and neatly hidden.

Designed as a residential experimental house in Haseko Corporation’s “Sustaina Branche Hongyotoku.”

QUESTION 9:

You obviously did research on smart buildings as an extension of smart houses naturally. Can you explain a bit about it?

ANSWER 9:

There were earlier intelligent (office) building designs.

Smart Building

The design of the TRON Intelligent Building, commissioned by a construction company, Hazama Corporation (at that time), in the 1980s attracted so much attention that it was later imitated by a famous overseas architect. The concept was to have a semi-outdoor garden office on the top floor, with lots of greenery planted inside, and semi-outdoor terraces in slit-like areas.

On a more realistic note, I did many concept designs for offices in the TRON Intelligent Building. For example, from that time on, I said, “There will be robots moving around the office carrying things.”

We developed a prototype autonomous driving tea-feeding robot in 1991, but many smaller, more compact, autonomous transport robots are now in practical use.

Let me explain a few IoT-enabled Campus buildings.

So-called IoT campus buildings or simply IoT campus buildings were built in 2014 and 2017 in Japan (Appendix VII of [9] explains only the one in 2017), and the latest research goes on which inherits the knowledge of the first TRON Intelligent House and the later projects.

Daiwa Ubiquitous Computing Research Building (2014)

The Daiwa Ubiquitous Computing Research Building, built at the University of Tokyo in 2014, is an extension of this PAPI.

I was a vice dean of the Interfaculty Initiative in Information Studies (III) of the University of Tokyo, and the building was donated to the study of the IoT or ubiquitous computing by Daiwa Industry.

Sensors and actuators are left bare without a ceiling to facilitate their replacement in research.

Around the time of PAPI (2004), we built our own UC terminal and used it as a human-machine interface.

By 2014, smartphones and tablet devices were becoming popular, and the user interface to control the facilities using these devices became important, so we elaborated on graphic design.

The idea of using personal devices such as smartphones to control equipment around us is now commonplace, but it was not so widespread until around 2010.

QUESTION 10:

You had this very innovative campus building called INIAD HUB-1 in the last several years.

Can you give us an overview of it?

ANSWER 10:

Yes.

INIAD stands for Information Networking for Innovation And Design.

INIAD is a new faculty created in 2017, and the campus and the building were also newly developed. I designed the concept and building and constructed the curriculum.

The exterior of the building was designed by Kengo Kuma, as was the case with the University of Tokyo.

I served there as the first dean until March 2024.

The main school building of INIAD is called the “INIAD HUB-1.” It was built in 2015.

INIAD aims to develop human resources who can contribute to today’s ever-evolving society by providing education that fosters basic computer science skills, mathematical knowledge that is fundamental to data science and AI, and the ability to communicate with people from different fields of expertise and cultural backgrounds.

We have applied what we did at Daiwa Ubiquitous Computing Research Building on the campus of the University of Tokyo to INIAD HUB-1.

We created a library without paper books, since paper-less operation is pushed at INIAD. About a hundred thousand electronic books are available there.

At INIAD, computers, projectors, and digital signage are everywhere. So, when someone asks, “How do I get to that place?” you can display a sign saying, “This way.”

Most of the classrooms are small classrooms. I designed all of the classroom furniture, and we can customize what is mass-produced.

Because of the COVID-19 outbreak, we incorporated partitions inside rooms, so that we can hold video conference in the partitioned space.

When you approach an elevator, the elevator control screen appears on your smartphone, and by operating it there, you can call the elevator car and go to the floor of your choice.

The INIAD HUB-1 is equipped with a number of what are called sensor cameras, which allow for dynamic recognition – knowing who is doing what and where in the building

In these studies, some people have pointed out that privacy may not be protected, but this is not a public space, but a quasi-public̶and not a completely common̶space. For example, in London, there are many surveillance cameras installed, and because they are open data, anyone can see them. But when you install such cameras in our surroundings, you need to obtain agreements of the parties involved on the rules for their deployment.

The INIAD IoT Test Hub, a hands-on training facility, has LED displays on the floor, and the students operate self-driving robot cars on the roads shown on the displays.

Cooperation with Neighboring Communities

INIAD is located in Akabanedai, Kita city Tokyo, next to a UR housing complex, and as part of its activities to enliven the city of Akabane, INIAD also supports computer education by inviting many people from the UR housing complex and their children. 

QUESTION 11:

Smart city R&D activities are everywhere.

Can you explain a bit about the early activities with which you have been involved?

ANSWER 11:

TRON smart city concept was created around 1989-1990, commissioned mainly by construction companies who asked us to make an impact on their planning.

The designs were created for reference as conceptual design, and they were not actually modeled and built. However, this kind of design allowed us to experiment with the future and nurture ideas for the actual buildings and houses we would build later. 

These were old research projects. Of course, today, the INIAD HUB-1 and other buildings, and houses I have designed will be important elements of smart cities in the future.

List of references

[1]  For the history of TRON Project, I would like the readers to refer to the following page for the details. Section 3 of the following page explains TRON Project briefly.
https://www.tron.org/ieee-milestone/

[2]  The interested readers might want to visit the TRON Project website and explore its various aspects in full
https://www.tron.org/tron-project/

[3]  The thirty years’ anniversary site might give the readers a perspective we had 10 years ago of TRON Project.
https://30th.tron.org/en/tronproject.html

[4]  Open Smart UR concept page (in Japanese)
https://www.ur-net.go.jp/rd_portal/OpenSmartUR/ur2030/index.html

[5]  ODPT: https://www.odpt.org/en/

[6]  More on Ubiquitous ID Technology
https://www.tron.org/more-on-uid/

[7]  Ken Sakamura, TRON Forum Chair is the recipient of the 2023 IEEE Masaru Ibuka Consumer Technology Award.
https://www.tron.org/blog/2022/11/ken-sakamura-tron-forum-chair-is-the-recipient-of-2023-ieee-masaru-ibuka-consumer-technology-award/

[8]  Ken Sakamura: “The Objectives of TRON Project: Open-Architecture Computer Systems,” Proceedings of the Third TRON Project Symposium, Springer Verlag, pp. 3-16., 1987.

[9]  IEEE Milestone proposal: The Pioneering TRON Intelligent House, 1989
https://ieeemilestones.ethw.org/Milestone-Proposal:TRON_Intelligent_House

AI Safety and Regulation: If Only Cultural Differences Were Acknowledged Rationally?

Géopolitique

Gérald Santucci ; Geneviève Fieux-Castagnet

January 2025

“Hastily we swipe
Up down left and right,
Virtual voyeurs in a collective gripe.
Numbing as we scroll
Mindless
Down the rabbit hole…
Forgetting, the deeper we fall,
This desperate interconnectedness
That binds us all.”

Lara Srivastava and Rob van Kranenburg,
Empathy, The Little Coffee Book of Robot
Design, 2024 (to be published)

We live in a time of unparalleled global turmoil. From the impacts of climate change, biodiversity loss and ecosystem collapse, to pandemics, involuntary migration, technological acceleration, cyber-attacks, geopolitical conflicts, societal polarization, and the spread of artificial intelligence (AI) misinformation and disinformation, today’s leaders in government, industry and civil society are confronted with entirely new categories of challenges. In this context, the rapidly evolving agenda of issues that touches upon various aspects of AI development and deployment requires the close attention of all people who are concerned with its safety1 and governance.

In the mid-2000s, three disruptive elements converged to create the AI boom and, consequently, its ubiquity and its inherent risks. Indeed, algorithms known as convolutional neural networks (CNN) met the power of modern-day graphics processing units (GPUs) and the availability of big data. From a distance, Europe is relatively strong in algorithms, U.S. is relatively strong in chips and software, China is relatively strong in big data. Such specific strengths among countries are currently a reason to compete fiercely – we believe that they should rather be a reason to stimulate coopetition.

Boston Consulting Group (BCG) evaluated the readiness of different countries to effectively integrate AI as well as the exposure of different sectors to it within them. The study highlights that most countries are not ready to unlock the full value of AI or manage the disruption from it. With only few “pioneers” and a relatively small number of contenders, there is a risk of a global AI polarization – which is confirmed by the proliferation of international/ multilateral / regional / national / local initiatives aiming at governing and regulating AI.

Out of 73 economies assessed by BCG, only five – Canada, Mainland China, Singapore, the UK, and the United States (US) – are categorized as “AI pioneers”. They have reached a high level of readiness by blending elements like investment and infrastructure, turning disruption into a lasting competitive edge. In principle, they would be in a unique position to guide the world forward in innovation, talent development and AI regulation and ethics.

The US-China race for technological advantage

It seems that the two biggest “AI pioneers”, US and China, are rushing in an escalating cycle of confrontation sounding like an alarm for the whole world and humanity. Indeed, the US and China have a long history of economic rivalry, but since 2017 the Trump and Biden administrations’ challenges to China’s business activities, and subsequent retaliatory tariffs and export bans by China, have triggered a full blown economic and trade war.

In December 2024, the US Commerce Department (DoC) has expanded the list of Chinese technology companies subject to export controls to include many that make equipment used for computer chips, chipmaking tools and software. The so-called “entity list” now includes 140 companies, for example the Beijing Institute of Technology, the Beijing Computational Science Research center, Chinese chip firms Piotech and SiCarrier, which are all based in mainland China though some are Chinese-owned businesses in Japan, South Korea and Singapore. (The addition to the “entity list” means that export licenses are denied for any US company trying to do business with the targeted Chinese companies.) In response, China has decided to strengthen export controls on critical dual-use items to the US, such as gallium, which is used in semiconductors (China accounts for 94% of gallium’s world’s production) and germanium, which is used in infrared technology, fiber optic cables and solar cells (China accounts for 83% of germanium’s world production). As a result of these moves, the Chinese and US economies are in danger of decoupling, which poses a grave danger to the whole world economy – these “back and forth curbs” could create chain disruption as well as inflationary pressures because of their consequences on global trade.

President-elect Trump’s nomination of podcaster and former PayPal chief operating officer David Sachs to be his White House AI and crypto ‘czar’, en passant a close friend of Elon Musk, is probably not good news for those who believe that legal guardrails should be established and enforced, both nationally and globally, to ensure AI safety and regulation.

The US-Chinese rivalry could prove to be catastrophic at the moment when people around the globe are reacting with both fascination and fear to the rapid and largely unpredictable deployment of Artificial Intelligence (AI). Over the last few years there has been a polarized discourse between the “AI accelerationists”2 and the “AI doomers”3. Even if the reality is probably more nuanced, the bitterness and brutality of the rivalry between the two biggest “AI pioneers” conveys the risk of a headlong rush that ignores the need for an ethical use and relevant governance of AI while unleashing innovation in all directions without limits.

The innovation and trade wars that are looming ahead, and which will inevitably spiral out of control towards all major countries of the world, in particular in the European Union (EU), dismiss the efforts of international and multilateral organizations to address AI safety and/or find a fair balance between innovation and ethics.

OpenAI vs. xAI: A ding-dong battle

Another aggravating factor concerns the intra-US war that is looming ahead in the domain of generative artificial intelligence between Sam Altman’s OpenAI, which started the AI boom in late 2022 with the release of its online chatbot, ChatGPT, and Elon Musk’s xAI, maker of a series of large language models (LLMs) called Grok. OpenAI, valued at $157 billion in October 2024, has about 1,700 employees and expects $3.7 billion in sales in 2024; it is financially supported by big organizations such as Microsoft, the chipmaker Nvidia, the tech conglomerate SoftBank, and the United Arab Emirates investment firm MGX. xAI, which is only two years
old and can benefit from familial ties with the social media platform X and the car company Tesla, is reported to be worth $50 billion. xAI brought recently a new supercomputer dubbed “Colossus” online designed to train its Grok. This new data center houses 100,000 Nvidia benchmark Hopper H100 processors, more than any other individual AI compute cluster. Elon Musk estimates this strategic lighthouse project could eventually earn Tesla $1 trillion in profits annually!

The fact remains, however, that the harsh, “lawfare” (rather than fair) competition between the two start-ups OpenAI and xAI is likely to generate a race for always more innovation in AI without much regard to the issues of safety and governance. It is not trivial that the cutthroat competition between Altman and Musk takes place less than two years after an open letter with signatures from hundreds of the biggest names in the tech industry, including Elon Musk, urged the world’s leading AI labs to pause the training of new super-powerful systems for six months due to “profound risks to society and humanity”. Today, even while he raises billions for xAI, Elon Musk says “that could be 10% to 20%, that AI goes bad”. In other words, we can expect
further extraordinary leaps in AI technology with OpenAI, xAI and other startups developing their own faster, smarter products with applications in various fields:

  • transportation (e.g., autonomous vehicles, “robotaxis”),
  • manufacturing (e.g., industrial robots),
  • healthcare (e.g., early detection of diseases, personalized treatment),
  • education (e.g., personalized learning, automation of admissions or grading
    assignments),
  • law (e.g., document analysis, predictive analytics, e-discovery to support evidence
    gathering),
  • media (e.g., content creation and curation, instant customer service enhancing audience
    engagement, fight against fake news),
  • customer service (e.g., exceptional, round-the-clock, personalized customer support).

It would be naïve to believe that these developments will enhance humans’ conversations with
technology without snubbing the way the technology might evolve.

Regulation! Regulation! Regulation! And so what?

Regulatory efforts can be traced in many countries and regions of the world, notably the EU, China, the US, Brazil, Canada, India, Israel, Japan, Saudi Arabia, South Korea, UAE, and the UK. In addition, global initiatives have been launched in the UN, OECD, G7, G20, AI safety summits (e.g., the Bletchley Declaration of 1-2 November 2023, signed by 28 countries including China and the US), and other frameworks aiming for international alignment.

On 10 and 11 February 2025, France will host the Artificial Intelligence (AI) Action Summit, bringing together Heads of State and Government, leaders of international organizations, CEOs of small and large companies, representatives of academia, non-governmental organizations, artists and members of civil society. After the Bletchley Declaration, this could be another opportunity “to strive, to seek, to find, and not to yield” (to quote Alfred, Lord Tennyson), i.e. to come to terms with cultural differences among countries and move beyond them in order to understand each other better without surrendering commonly acknowledged human values.

Also of particular relevance is the Council of Europe Framework Convention on Artificial Intelligence and human rights, democracy and the rule of law, opened for signature on 5 September 2024, already signed in particular by the US and the EU, which aims “to ensure that activities within the lifecycle of artificial intelligence systems are fully consistent with human rights, democracy and the rule of law, while being conducive to technological progress and innovation.”

The 2023 open letter and the many initiatives taken by government at all levels to regulate in some way AI technology, and by companies to propose proper codes of conduct, could be read optimistically as the signal that there exists across the globe sufficient awareness of the broad array of inherent risks that can arise in AI/MMLs, a true cooperative spirit to mitigate these risks, and hence a genuine commitment to exchanging information, sharing knowledge, and deploying the right governance strategies.

The EU Artificial Intelligence has indeed an unquestionably disruptive value as the world’s first legislative effort to regulate AI. When creating the legislative framework, without a precedent to refer to, the European Commission chose the product safety framework, making it part of the so-called harmonization legislation regulating products circulating in the single market. The text has evolved much since, making the final AI Act a rather hybrid form of legislation at the intersection between technical product safety legislation and legislation intended to protect fundamental rights.

The EU AI Act has established a complex governance model spanning supranational (EU) and national (Member States) level actors. Though complex, smooth collaboration between EU and national actors, with AI sector actors also in the loop (over 100 organizations have signed the European Commission’s artificial intelligence (AI) Pact, i.e. voluntary commitments that pave the way for compliance with the AI Act), can be expected to provide an effective implementation of the new legislation.

However, questions remain about the actual global impact of the EU regulatory approach (the “Brussels effect”4) and its articulation with the other international/ multilateral regulatory initiatives. Geopolitics (i.e. the global race for maintaining a technological advantage) and industry competition (i.e. the race for dominating the market by displaying a superior level intelligence) will produce a sort of centrifugal force to brake or curtail the impact of the initiatives aimed at improving AI safety and governance.

Moreover, two years after the AI enthusiasm generated by the release of ChatGPT, the mid- to long-term risks of AI have slipped down policymakers’ agendas, and we can now see that the focus is more on immediate concerns, all important ones but not “existential”, such as labor force disruption, “hallucinations” (false or misleading information), and surveillance.

“Technology for Good” should be the moral compass of humanity.

But let’s make it clear: in the current circumstances, even with the existing regulatory regimes, chances that this happens are dim.

The importance of context

We already mentioned geopolitics, competition, political agendas, but actually even if these realities were better acknowledged, understood and addressed, there would still be an enormous difficulty to provide AI safety, i.e. the ethics, governance, and regulation of AI are profoundly influenced by the cultural, political and economic contexts of each country/region of the world.

It is therefore essential to adopt a contextual approach in developing ethical principles and
regulatory frameworks that allows to meet the specific needs of every society. In Europe where the EU has been proactive in regulating AI, there is a strong emphasis on human rights. It is important to read and remember the first “Whereas” of the EU AI Act:

“The purpose of this Regulation is to improve the functioning of the internal market by laying down a uniform legal framework in particular for the development, the placing on the market, the putting into service and the use of artificial intelligence systems (AI systems) in the Union, in accordance with Union values, to promote the uptake of human centric and trustworthy artificial intelligence (AI) while ensuring a high level of protection of health, safety, fundamental rights as enshrined in the Charter of Fundamental Rights of the European Union (the ‘Charter’), including democracy, the rule of law and environmental protection, to protect against the harmful effects of AI systems in the Union, and to support innovation.”

In North America, though discussions are emerging about the need for strict regulation of AI, the approach is more liberal, putting innovation and entrepreneurship first and foremost. The emphasis is less on human rights, more on individual freedom and personal responsibility. In December 2024, US President-elect Donald Trump announced Federal Trade Commission (FTC) Commissioner Andrew Ferguson will chair the agency. The nomination supports what is expected to be a reversal of a majority of FTC policies and initiatives established in recent years under current FTC Chair Lina Khan. It is worth noting that President-elect Trump has vowed to roll back Joe Biden’s executive order in favor of innovation. “At the FTC, we will end Big Tech’s vendetta against competition and free speech,” Ferguson said. “We will make sure that America is the world’s technological leader and the best place for innovators to bring new ideas to life.” The proposed focus on innovation will likely lead to deregulation and a narrowed enforcement approach.

In China, the approach to AI regulation is centralized, authoritarian, emphasizing oversight and control. In other Asian countries like Japan and India, the approach is more collaborative, with a strong value placed on technology and economic progress. Ethical concerns may be less of a priority, particularly where economic development is prioritized. However, there is a growing awareness of the implications of AI on society.

In Latin America, where human relations and community values tend to prevail, AI regulation is still under development, with initiatives aimed at protecting citizens’ rights and at ensuring ethical use. Discussions on ethics often focus on social justice, digital inclusion and personal data protection.

In Africa, there is a wide cultural and linguistic diversity, with a strong emphasis on community values in many countries. AI regulation is still developing, with initiatives varying from country to country. Often, countries face challenges of infrastructure and capacity to implement regulations. Ethical concerns include fair access to technologies, data protection and the impact of AI on employment and economic development.

Besides the cultural differences, the wealth factor is also important as rich countries worry about AI displacing human workers (“robots are taking over our jobs”) while countries with lean economies face shortages of skilled experts. Therefore, the cultural and economic differences between regions of the world are such that a common global approach looks like an unattainable goal. Yet it should be emphasized that the vision of bridging cultures to reach global harmony in AI development and deployment is a compulsory quest for the “inaccessible star” (to parody Belgian singer Jacques Brel).

The first objective: Building Trust by agreeing to the definitions of Ethics and Values

Leaving politics by the wayside, there is still hope that a compromise could eventually be struck between the AI “accelerationists” and the AI “doomers”. For this to happen, the global scientific community and civil societies should be mobilized around a common goal – the wellbeing of humanity. This is urgent if we refuse to overlook Prof Geoffrey Hinton’s prediction that there is a 10% to 20% chance that AI would lead to human extinction within the next three decades. (Interestingly, this confirms a recent forecast by Elon Musk.)

On June 10th, 1963, when he pronounced his Commencement Address at Washington, D.C.’s American University, in the context of the Cold War and the limited nuclear-test-ban treaty, John Kennedy said the following words that were prophetic in today’s context:

“So, let us not be blind to our differences – but let us also direct attention to our common interests and to the means by which those differences can be resolved. And if we cannot end now our differences, at least we can help make the world safe for diversity. For, in the final analysis, our most basic common link is that we all inhabit this small planet. We all breathe the same air. We all cherish our children’s future. And we are all mortal.”

The worst is never certain, but in the end, it occurs frequently, so it is urgent not to drop arms but rather try to look beyond the existing forces that cultivate an historic pessimism and fatalism by enabling people on Earth to keep their demands alive.

In particular, both scientists and internationally recognized experts from civil society should hold conversations, irrespective of their cultural and geographical contexts, in order to arrive at a series of “red lines” regarding the limits on what AI systems should be allowed to do, considering what is politically feasible, ethically legitimate, socially acceptable.

The priority here, we believe, is to agree some key definitions: What is Ethics? What are the Values that people on the planet would include into it? We will come back to these questions in a separate paper in the context of France’s upcoming AI Action Summit.

  1. We use here the word “safety” as a handy shortcut to cover the risks and complexities of AI – data protection,
    privacy, security, intellectual property rights, bias, information accuracy, energy consumption, and potential
    threats to humanity. ↩︎
  2. Marc ANDREESSEN: “The development and proliferation of AI – far from a risk that we should fear – is a
    moral obligation that we have to ourselves, to our children, and to our future” ↩︎
  3. Yuval HARARI: “AI isn’t a tool – it’s an agent. The biggest threat of AI is that we are summoning to Earth
    countless new powerful agents that are potentially more intelligent and imaginative than us, and that we don’t fully understand or control”. ↩︎
  4. Like the EU General Data Protection Regulation, the AI Act has a wide territorial reach, impacting operators
    within and outside the EU. It provides for significant sanctions, including high financial penalties and a strong
    regulatory enforcement framework. Some experts believe that in the near future substantial parts of the AI
    Act will become the “gold standard” for global AI regulation, making an early understanding of its requirements critical for organizations everywhere (hence the importance of the AI PACT). ↩︎

Les enjeux éthiques des transports collectifs autonomes

Non classé, Technique

Kamel Benthchikou ; Nathalie Douville ; Alexandra Fieux-Castagnet ; Geneviève Fieux-Castagnet ; Gérald Santucci ; Catherine Vidal

Avril 2022

Introduction

Cet article se concentre sur le scénario dit de la mobilité collective, ce que l’on désigne le plus souvent sous l’appellation « transport collectif autonome ». 

Rappelons tout d’abord la définition du véhicule autonome : « Véhicule connecté qui, une fois programmé, se déplace sur la voie publique de façon automatique, sans intervention de ses utilisateurs ». 

Quant au « véhicule connecté », il s’agit d’un « véhicule doté de technologies lui permettant d’échanger en continu des données avec son environnement ». Tous les mots importants sont là : véhicule, technologies, échanger, continu, données, environnement. C’est-à-dire que lorsqu’on parle de véhicule connecté l’on fait référence à trois choses : le véhicule lui-même, son environnement (c’est-à-dire les infrastructures de réseaux de transport) et les interactions entre les deux (c’est-à-dire les infrastructures et services de réseaux de communications). Ce dernier point est essentiel : le véhicule connecté intègre en effet des systèmes de télécommunications sans fil qui lui permettent de collecter de nombreuses informations qu’il pourra enregistrer, traiter, exploiter et relayer vers d’autres véhicules ou envoyer vers l’infrastructure routière. Les données collectées sont bien sûr liées au pilotage, comme l’information sur la distance avec un autre véhicule mesurée par un radar, mais aussi à la géolocalisation et même à la vie à bord du véhicule, par exemple le transfert de musique stockée sur un smartphone ou d’un film. La voiture connectée est d’ores et déjà répandue dans plusieurs parties du monde ; on estime que 80% des véhicules sont des véhicules connectés ! Cette évolution n’est pas près de s’arrêter puisque la nouvelle génération de réseaux mobiles (5G, en attendant la 6G, déjà en gestation dans les cartons des instituts de recherche) permet des échanges de données beaucoup plus rapides entre les utilisateurs et les objets connectés.

Il peut s’agir, on va le voir, de métros, taxis, trains, autobus, navettes, avions-cargo, navires ou encore drones de livraison.

Les degrés d’autonomie varient selon le type de véhicules : 

  • Pour les navettes autonomes, le niveau 0 concerne les véhicules ne bénéficiant d’aucun système d’automatisation. La conduite reste donc entièrement sous le contrôle du conducteur. Certains dispositifs, comme l’avertisseur de changement de voie (déplacement latéral), de proximité d’un obstacle, d’une voiture dans l’angle mort, apportent une aide au conducteur, mais en aucun cas ne le remplacent dans la prise de décision.
  • Le niveau 1 voit également le conducteur garder l’entière responsabilité des manœuvres, en lui laissant la possibilité de déléguer au système, c’est-à-dire à l’intelligence artificielle du véhicule embarqué, certaines tâches comme par exemple le contrôle longitudinal du véhicule (repérage des obstacles devant et derrière le véhicule), la régulation de la vitesse en fonction des indications routières. A ce stade, le conducteur est obligé de rester attentif car il est de sa responsabilité de reprendre les commandes quand le système les lui redonne (via un signal lumineux ou sonore).
  • Le niveau 2 permet d’entrevoir une autonomie qui laisse le conducteur un peu plus spectateur de la conduite. En effet, l’entièreté des manœuvres est déléguée au système, bien que supervisées par le conducteur qui doit pouvoir reprendre la main quand cela est nécessaire. Par exemple, l’aide au stationnement : quand le véhicule arrive devant une place libre, détectée soit par le système soit par le conducteur, ce dernier a le choix entre laisser le véhicule se garer seul ou reprendre les commandes et effectuer la manœuvre seul. Dans ce cas également, le conducteur est entièrement responsable de son véhicule et de sa conduite, le cas échéant.

La première véritable « disruption » s’opère lorsque l’on passe du niveau 2 au niveau 3.

  • Au niveau 3, le conducteur peut déléguer la conduite sur les deux dimensions de guidage, longitudinal et latéral. C’est à partir de ce niveau qu’il devient un peu plus « passager », même s’il garde la responsabilité, in fine, des actions entreprises par son véhicule. Le système assurant le maintien du véhicule dans sa voie, le respect de l’allure et l’appréhension des conditions de trafic, le conducteur peut se permettre d’abaisser son niveau de vigilance et même se consacrer à d’autre tâches, certes brièvement. Le niveau 3 est celui où le véhicule commence à « comprendre » son environnement à un degré très supérieur à celui des stades précédents. Il va de soi que les fonctionnalités du niveau 3 sont activées en fonction de la législation de chaque pays. 
  • Le niveau 4 d’autonomie désigne un niveau hautement automatisé dans lequel le conducteur n’intervient plus. Il peut détourner entièrement son attention de la conduite pour se livrer à d’autres tâches, même celles qui exigent une attention soutenue. Cependant, ce niveau d’automatisation ne concerne que certains modes de conduite et n’opère que sous certaines conditions. En effet, le niveau 4 n’est actif que sur des zones de circulation très spécifiques, comme les parkings et les autoroutes. La principale évolution concerne le rôle du conducteur. Au niveau 4 d’autonomie, si le système restitue le pilotage au conducteur mais que ce dernier ne répond pas, le véhicule doit être capable de s’autogérer et d’aller se garer sur un parking ou une aire d’autoroute sans intervention humaine. 
  • Le niveau 5, enfin, constitue le rêve de l’autonomie en matière de conduite : l’automatisation est totale. Dans cette configuration, l’humain n’intervient plus, ni dans le contrôle, ni dans la supervision de la tâche de conduite ou de navigation. Toute la responsabilité et le contrôle incombent alors au système. Le véhicule doit être capable de se déplacer d’un point à un autre, quel que soit le type de route, de circulation. Il n’y a même plus de volant ou de pédale dans le véhicule, et celui-ci peut opérer sans présence humaine. 

Aujourd’hui, les véhicules ont au mieux un degré d’autonomie de niveau 3. Nous l’avons vu, ce niveau induit un guidage longitudinal (vers l’avant et vers l’arrière) et un guidage latéral (vers la gauche et vers la droite) automatisés, que l’on ne retrouve pas sur les niveaux précédents. Cela leur permet de doubler une voiture, de respecter les distances de sécurité, de maintenir le véhicule dans sa voie. 

Les véhicules autonomes de niveaux 3 et 4 sont actuellement testés dans diverses configurations et sont attendus sur le marché au cours de la décennie en cours. Les véhicules pleinement autonomes, quant à eux (niveau 5), ne devraient pas s’imposer avant 2030, voire, selon certains, 2050.

On notera qu’en ce qui concerne le train autonome, les degrés d’automatisation sont le plus souvent ramenés à quatre :

  • Conduite manuelle contrôlée.
  • Conduite semi-autonome (i.e. automatisation de l’accélération et du freinage du train, supervisée par un conducteur).
  • Conduite automatisée, avec personnel à bord.
  • Train totalement autonome (dès 2023 !).

La SNCF considère que l’automatisation des trains va se traduire par des bénéfices concrets pour les clients du ferroviaire :

  • Une plus grande capacité, car faire circuler plus de trains permet de transporter plus de voyageurs et de marchandises.
  • Un gain de fluidité et de régularité, grâce à une circulation harmonisée et à une vitesse optimisée, permettant de mieux faire face aux imprévus.
  • Un transport plus écologique, grâce à une diminution de la consommation d’énergie et au report de la route vers le rail. 

 Soulignons d’ores et déjà qu’il est vraisemblable que le « transport » va rapidement laisser la place à la « mobilité ». Ce changement syntactique est aussi une rupture sémantique : les objets connectés (ou internet des objets), les nouvelles formes d’énergie, mais surtout l’intelligence artificielle vont permettre l’autonomie des véhicules, mais également une meilleure efficacité énergétique ainsi que des services à forte valeur ajoutée, comme par exemple la maintenance prédictive qui rendra ces véhicules quasiment hermétiques aux pannes. 

Dans le contexte d’une révolution sociologique prenant en compte le doublement de la mobilité d’ici à 2050, l’accroissement de la population urbaine, et par conséquent une congestion automobile insupportable dans de nombreuses villes, il est probable que la mobilité va évoluer vers ce que l’on appelle une « mobilité en tant que service » (MaaS selon l’acronyme en anglais). Il s’agit de permettre à l’usager d’accéder à une mobilité multimodale, fluide et en temps réel, gage de grande efficacité, lui permettant, à un instant précis, de se déplacer d’un point A à un point B en associant divers modes de transport allant de la marche jusqu’aux transports en commun en passant par le vélo, le Véhicule de Tourisme avec Chauffeur (VTC) ou autres.

Cette révolution des transports collectifs autonomes et de la mobilité va inévitablement s’accompagner de nouveaux enjeux éthiques dont nous pouvons d’ores et déjà établir un catalogue et les lignes de force, mais dont, par prudence étant donné la vitesse du changement, nous nous garderons de suggérer que nous en avons brodé tous les tenants et aboutissants.

Les enjeux éthiques des véhicules collectifs autonomes sont nombreux. Nous évoquerons ci-après ceux liés :

  • au sentiment de surveillance généralisée qu’ils peuvent susciter, la perte d’anonymat étant susceptible de limiter l’exercice des libertés fondamentales, 
  • à l’atteinte à la vie privée et aux données personnelles non seulement des utilisateurs, mais aussi du personnel de véhicules et des autres usagers de véhicules dans de l’environnement de conduite des véhicules collectifs autonomes,
  • à la perte d’autonomie et de compétences du personnel, et à sa surveillance,
  • à la difficulté éthique en cas d’accident à déterminer quelle vie il faut sauver (« dilemme du tramway »),
  • à la sécurité de ces véhicules, et à la robustesse de ces systèmes notamment à l’égard des risques de cybersécurité,
  • à la transparence sur leur réelle autonomie et sécurité,
  • à leur impact sociétal lié notamment au bouleversement progressif de la société induit par ces nouveaux modes de transport sans réel débat démocratique,
  • à leur impact environnemental.

Surveillance

Les systèmes de vidéosurveillance existent déjà dans les gares et dans certains trains. A titre d’exemple, le Groupe SNCF investit depuis de nombreuses années dans des systèmes de vidéoprotection installés dans les gares et à bord des trains. Les espaces publics SNCF sont ainsi aujourd’hui équipés de plus de 60 000 caméras : environ 17 000 sont installées dans les gares et environ 45 000 sont embarquées à bord des trains. 

Tous les transports collectifs autonomes seront à terme et au stade ultime de leur développement sans conducteur ni même sans contrôleur à bord, ce qui pose la question de la façon dont devra être assurée la sécurité des passagers à bord de ces véhicules collectifs. Il est prévu de recourir aux systèmes de vidéosurveillance[1]. Toutefois, ces systèmes de vidéoprotection sont de plus en plus remplacés dans le monde du transport par des dispositifs de vidéo augmentée ou de vidéo intelligente[2].

Quand bien même il ne serait pas fait usage de la reconnaissance faciale, le recours à de tels systèmes pose un certain nombre de questions éthiques précisément identifiées en France par la CNIL. C’est ainsi qu’elle relève le risque de surveillance généralisée, particulièrement sensible dans les espaces publics où s’exercent les libertés individuelles, alors que c’est l’anonymat qui permet de préserver ces libertés (notamment droit à la vie privée, droit à la liberté d’aller et venir, droit d’expression et de réunion, droit de manifester, droit à la liberté de conscience et d’exercice des cultes). Elle insiste sur le fait que cette technologie permet non seulement de filmer les personnes mais également de les analyser et de les profiler.

Elle ajoute que « L’intégration d’algorithmes dans ces systèmes vidéo, analysant de manière systématique et automatisée les images issues des caméras, a pour conséquence d’élargir considérablement la quantité d’images traitées et des informations qui peuvent en être inférées. 

Ces nouveaux outils vidéo peuvent ainsi conduire à un traitement massif de données personnelles, parfois même de données sensibles. Les personnes ne sont donc plus seulement filmées par des caméras mais analysées de manière automatisée, en ce qu’elles sont ou ce qu’elles font, afin d’en déduire, de façon probabiliste, un grand nombre d’informations permettant, le cas échéant, une prise de décisions ou de mesures concrètes les concernant. 

Par ailleurs, la vidéo « augmentée » peut constituer une technologie invisible et « sans contact » pour les personnes. Si les citoyens peuvent constater et, d’une certaine manière, appréhender l’installation de différentes caméras vidéo dans leur quotidien, ils n’ont pas de moyen d’avoir conscience que celles-ci peuvent, non pas seulement les filmer, mais également les analyser. 

En outre, les technologies de vidéo « augmentée », comme tout traitement algorithmique, présentent un potentiel de versatilité qui doit être pris en compte dans leur perception globale. Ces technologies sont en effet techniquement capables, parfois par de simples réglages, de changer de fonctions : un dispositif de vidéo « augmentée » initialement installé pour réaliser une analyse de la fréquentation d’un lieu (comptage des personnes et segmentation par genre et tranches d’âge) pourrait, assez simplement, permettre également le suivi du parcours des personnes au sein de ce lieu. 

La CNIL relève que le droit d’opposition des personnes d’être ainsi filmées est très difficile à mettre en œuvre dans les espaces publics et que de tels systèmes doivent faire l’objet d’un encadrement et d’une règlementation spécifique.

Des recommandations peuvent être faites pour limiter à bord des véhicules collectifs autonomes les risques éthiques de surveillance généralisée, de perte d’anonymat, de profilage, de détournement d’usage énumérés par la CNIL. 

Doivent être bien définis : la finalité de traitement, le cas d’usage envisagé, la nature des données traitées, leur conservation éventuelle, leur durée de conservation, le recours à un humain formé et habilité pour procéder à l’analyse finale et à la prise de décision, l’absence de recours à des données biométriques pour identifier les personnes (la SNCF utilise par exemple un système d’identification des personnes par leurs vêtements), et un contrôle systématique et traçable de tous ces éléments.

Il faut évoquer également le recours à des algorithmes permettant de prédire les actes d’agression et de violence, qui font l’objet de nombreux développements et qui sont déjà utilisés dans certains pays. Le risque éthique consiste ici en l’utilisation de données d’entrainements biaisées, utilisées dans un autre cadre, pour un autre usage ou dans un autre lieu, et qui sont susceptibles de prédire des comportements violents en fonction de critères liés à des éléments non pertinents pour la situation, stigmatisant ainsi des personnes innocentes. La recommandation qui peut être faite ici est d’avoir recours à des données les plus objectives et pertinentes possibles pour la situation, de les contrôler régulièrement pour identifier les biais et corriger ainsi l’apprentissage des algorithmes.

Il est fort probable que d’ici quelques années ces caméras intelligentes utilisées à des fins de sécurité auront recours systématiquement à la reconnaissance faciale[3] pour apporter plus de précisions dans les résultats d’identification des agresseurs, plus de rapidité dans cette identification et donc plus d’efficacité dans leurs poursuites. Elle est déjà utilisée dans certains pays pour assurer des fonctions de sécurité. La plupart des gares de chemin de fer dans le monde prévoient d’utiliser un logiciel de reconnaissance faciale pour combattre la criminalité. Le système est d’ores et déjà expérimenté dans le pôle technologique de Bangalore où un demi-million de visages sont scannés chaque jour puis comparés aux visages stockés dans les bases de données de la police. La reconnaissance faciale devrait être utilisée aussi à bord des trains au moyen de caméras de vidéosurveillance installées dans un premier temps à l’intérieur de 1 200 des 58 000 compartiments de trains. En outre, des capteurs seront testés pour détecter certains sons tels que les cris ou éclats de voix émanant de disputes[4].

Grâce à ces systèmes automatisés, l’identification et la vérification de l’identité d’individus peuvent s’effectuer en seulement quelques secondes à partir des caractéristiques de leur visage : écartement des yeux, des arêtes du nez, des commissures des lèvres, des oreilles, du menton, etc., y compris au milieu d’une foule ou dans des environnements dynamiques et instables. 

Bien qu’il existe d’autres signatures biométriques (empreintes digitales, scan de l’iris, voix, numérisation des veines de la paume de la main, ou encore analyse du comportement), la reconnaissance faciale s’impose comme la plus efficace des références en matière de mesures biométriques : elle est facile à déployer et à mettre en œuvre ; il n’y a pas d’interaction physique requise par l’utilisateur final ; les processus de détection et de correspondance du visage (pour la vérification / identification) sont très rapides.

L’identification répond à la question : « qui êtes-vous ? ». La personne est identifiée parmi d’autres en comparant ses données personnelles aux données d’autres personnes qui sont contenues dans la même base de données ou éventuellement dans des bases de données reliées. 

L’authentification, quant à elle, répond à la question : « Êtes-vous bien la personne que vous prétendez être ? ». La biométrie permet ici de certifier l’identité d’une personne en comparant les données qu’elle présente avec les données préenregistrées de la personne qu’elle déclare être.

Les risques éthiques présentés plus haut sont ici encore plus importants. Comme le souligne la CNIL « les dispositifs de reconnaissance faciale sont particulièrement intrusifs et présentent des risques majeurs d’atteinte à la vie privée et aux libertés individuelles des personnes concernées. Ils sont par ailleurs de nature à créer un sentiment de surveillance renforcée ». (CNIL, « Reconnaissance faciale : pour un débat à la hauteur des enjeux », 15 novembre 2019.

Outre les risques de surveillance généralisée, de profilage et d’atteinte aux libertés fondamentales, apparaît ici un autre risque qui est le « faux négatif » (la technologie ne parvient pas à faire correspondre un visage avec celui figurant sur une liste de surveillance, en conséquence de quoi des suspects ne sont pas détectés) et le « faux positif » (la technologie aboutit à des erreurs d’identification). Le faux positif pourrait laisser croire qu’une personne a commis une infraction et porter ainsi atteinte à sa dignité. Or, l’on sait que les faux positifs ou les faux négatifs sont plus fréquents chez les personnes de couleur, ce qui peut générer une forme de discrimination. 

Certains programmes pour l’analyse faciale sont entachés de biais de nature sexiste ou raciale qui se traduisent par un faible taux d’erreur pour les hommes à peau clair, mais un taux élevé d’erreur pour les femmes à peau foncée[5]. En cas d’apprentissage machine, des biais pourraient s’introduire et stigmatiser une partie de la population.

La collecte de données biométriques qui constituent un des attributs du caractère unique d’une personne peut être vécue comme une autre atteinte à la dignité. Plus le système se généralisera, plus il y aura un risque de sentiment de perte d’individualité ; le visage qui exprime les émotions et la sensibilité d’une personne prendra la dimension d’un simple outil parmi d’autres outils, générant ainsi un sentiment de « dépersonnification » et de déshumanisation. La matière première de cette technologie n’est rien moins que nos visages. Peut-on considérer que le visage d’un utilisateur constitue une « data » comme les autres ?

Le recours à la reconnaissance faciale pour identifier les personnes sans consentement préalable est interdit aujourd’hui au sein de l’Union Européenne sauf si une loi l’autorise. Les limites apportées par la loi à aux droits et libertés fondamentales doivent respecter le contenu essentiel de ces droits et libertés, être nécessaires, proportionnelles, et répondre à des objectifs d’intérêt général reconnus par l’Union Européenne ou au besoin de protection des droits et libertés d’autrui. La convention européenne des droits de l’homme cite les objectifs d’intérêt général qui peuvent être dans une société démocratique la sécurité nationale, la sûreté publique, le bien-être économique du pays, la défense de l’ordre et la prévention des infractions pénales, la protection de la santé ou de la morale.

Au regard de ces textes, la reconnaissance faciale dans les véhicules collectifs autonomes ne devrait pas pouvoir se développer en dehors d’un cadre légal, sauf possibilité de recueillir le consentement préalable individuel des passagers.[6]

Vie privée et données personnelles

D’après le Livre blanc sur le véhicule autonome publié par l’INRIA (2018), « les systèmes de véhicules autonomes et connectés vont produire d’énormes quantités de différents types : des données fournies par les capteurs embarqués sur les véhicules, des données de localisation, des flux d’images, mais aussi des courriers électroniques, des SMS, des données de divertissements. Un véhicule autonome connecté pourrait ainsi produire jusqu’à 1 Go par seconde. » Christian Long considère, quant à lui, que les véhicules autonomes vont produire plus de données en un an qu’il n’en a été produit de toute l’histoire de l’humanité. 

Dans le cas des véhicules collectifs autonomes, nous avons identifié trois types de données qui sont susceptibles d’être collectées :

  • les données des utilisateurs,
  • les données du personnel des véhicules,
  • les données des autres usagers de l’environnement.

Dans chacun de ces types de données, il existe des risques éthiques dus à leur mauvaise utilisation, des risques communs aux différents propriétaires de ces données, ou spécifiques. 

Risques communs aux différents types d’usage

Le premier risque est la difficulté d’anonymiser convenablement des données personnelles. En effet, le croisement des données produites par les systèmes utilisés notamment lorsque les données sont croisées avec celles d’autres banques de données privées (par exemple celles des grandes entreprises technologiques de l’Internet, GAFAM ou BATX, lors de l’utilisation de son GPS, de ses moyens de transports via smartphone, etc.) présentent un risque majeur de profilage massif des individus portant une très fort atteinte aux libertés et droits fondamentaux. 

La fiabilité et la précision d’une intelligence artificielle dépend en partie de la quantité de données qu’on aura pu collecter pour répondre à la problématique pour laquelle elle est utilisée. Il semble donc contre-intuitif d’envisager de supprimer toutes les données liées à l’utilisation des véhicules collectifs. Cependant, ces données, si elles ne sont pas supprimées, même pseudo-anonymisées, représentent donc de potentiels risques pour leur utilisateur. 

Un autre risque lié à la quantité massive de ces données nécessaires à l’automatisation des véhicules collectifs est lié à leur propriété, à leur stockage, à leur gestion par les pouvoirs publics ou par les entreprises privées. 

De plus, la dépendance à l’utilisation de ces données nous expose au risque de cyberattaque, qui pourrait concerner tous les utilisateurs de par l’utilisation de leurs données, mais également en mettant en péril leur sécurité. 

La limite entre transport privé et public deviendra moins nette, du fait de l’utilisation de voitures partagées, de robots-taxis. Comment imposer aux opérateurs privés les mêmes standards pour leurs solutions, surtout quand on sait que ce sont Google, Apple, Uber ou encore Tesla qui sont en train de s’imposer dans ces technologies et donc de créer une dépendance technologique à leur savoir-faire ?

Enfin, la valeur des résultats des intelligences artificielles (IA) est fonction des questions qui leur sont soumises : quiconque cherche des corrélations entre un faciès et n’importe quel type de données en trouvera nécessairement. L’asymétrie d’information exorbitante qu’implique cette technologie accroît les possibilités d’influence et de coercition émanant des autorités, que celles-ci soient politiques ou économiques. Un « Big Brother » (symbole du totalitarisme) ou un « Big Other » (symbole de l’« instrumentarianisme »), capable de reconnaître tous les individus et d’en obtenir instantanément le profil et les antécédents.

Risques spécifiques par catégorie de données

Concernant les données des utilisateurs

Le premier risque éthique a été précédemment évoqué : la reconnaissance faciale ne nécessite pas de consentement proactif (comme poser son doigt sur un capteur, parler dans un micro, prendre une photo etc.) de l’utilisateur. Il est donc difficile de permettre à l’utilisateur d’être informé et conscient de l’utilisation de ces technologies lors de son usage des transports collectifs. 

Ensuite, l’utilisation des transports collectifs peut être considérée comme un service de première nécessité qui répond à la liberté de circulation des individus. Dans le cas de l’absence de consentement de certains utilisateurs, une alternative à ces transports sera-t-elle possible et systématique ? Qu’en est-il pour les individus qui auront été identifiés comme fraudeurs ou potentiels fraudeurs ? Quelle solution leur propose-t-on pour préserver leur liberté ainsi que celles des autres utilisateurs ?

Du fait du rôle clé des transports collectifs dans nos modes de vie, les données liées à nos habitudes quotidiennes, nos préférences de trajet, nos utilisations et consommations des transports sont riches d’informations nous concernant et nous rendent donc facilement identifiables. Une utilisation abusive de ces données peut impacter notre libre-arbitre dans le laps de temps correspondant à notre temps de transport, entraînant ainsi éventuellement de la publicité ciblée, des suggestions de consommation, et nous limitant potentiellement à une boucle d’enfermement et donc de dépendance pour ce mode de transport ou ce trajet. 

Les véhicules collectifs autonomes peuvent impliquer l’utilisation de technologies qui nécessitent certaines conditions pour être utilisées. Par exemple, l’utilisation d’un smartphone pour l’accès aux véhicules via des cartes d’abonnement numérisées ou la géolocalisation : qu’en est-il des victimes de la fracture numérique ? Un autre exemple est l’utilisation de la vidéosurveillance qui suppose d’avoir son visage dégagé : qu’en est-il des utilisateurs portant un masque, des lunettes de soleil, des chapeaux, etc. ? Faut-il donc encadrer l’apparence physique des utilisateurs ?

Concernant les données du personnel des véhicules

L’autonomie des transports collectifs sera, dans un premier temps, vraisemblablement supervisée par un humain. Cependant, à court terme, les conducteurs, les contrôleurs, les techniciens en charge de la supervision risquent de voir leur champ d’action diminuer. Le risque est donc une perte de compétences et donc une dépendance à la technologie et à l’autonomie, rendant inadaptée l’intervention humaine nécessaire. 

A l’inverse, dans un modèle hybride entre l’utilisation de l’intelligence artificielle et l’humain, les données de conduite, par exemple, seront facilement collectées et analysées. Une comparaison entre les différents conducteurs, mais également l’identification de leurs faiblesses (inattention, réaction de peur, oubli, etc.) pourrait conduire à sélectionner le personnel de façon quasi automatisée, et ce sans forcément prendre en compte le contexte psychologique de l’employé, par exemple. En octobre 2020, un hacker ayant piraté une voiture autonome Tesla a révélé que la camera permettait d’analyser le visage du conducteur : si les yeux sont fermés, la tête baissée, là où porte le regard, l’utilisation du téléphone etc. 

Enfin, se pose une question de responsabilité. Sur le modèle des avions, des boîtes noires seront sans doute utiles pour comprendre certaines situations. Le tout récent règlement de l’ONU sur la conduite autonome oblige le véhicule à disposer d’un « système de stockage de données pour la conduite automatisée ». Ces boîtes noires pourront dans certains cas faire état d’une défaillance technologique, ou d’une faute professionnelle. Dans chacun des cas, à qui incombe la responsabilité en cas d’accident ?

Concernant les données des autres usagers de l’environnement

L’environnement permettant la circulation des véhicules collectifs autonomes doit être balisé afin d’être au maximum prédictible. L’utilisation de ces véhicules conditionnent donc tout notre environnement. Quel sera l’impact sur notre quotidien, sur nos organisations sociales, la préservation de nos territoires et de nos patrimoines ? Une co-utilisation de l’espace public entre véhicules autonomes et véhicules traditionnels sera-t-elle possible ?

Pour l’instant, le règlement adopté en 2020 par l’ONU impose aux véhicules autonomes de circuler sur des voies qui sont séparées par une barrière physique entre les deux sens de circulation. Mais cette obligation rend également nécessaire des travaux d’ampleur. A l’image des conflits d’usage engendrés par la simple création d’une bande cyclable, la question de la cohabitation se pose. 

Les véhicules autonomes supposent la vidéo de l’environnement dans lequel ils circulent afin d’enregistrer les données relatives à celui-ci et d’y évoluer de façon adaptative. Les limites respectives de l’espace public et de l’espace privé sont minces et difficiles à délimiter dans le cadre d’une vidéo. Comment distinguer ces données afin de respecter le cadre de la vie privée ? De plus, qu’en est-il des personnes présentes dans l’environnement lors du passage d’un véhicule autonome, non utilisatrices, dont le consentement, par conséquent, n’aura pas été requis ? Comment préserver leur anonymat sans utiliser les données relatives à leur comportement ?

De plus, l’implémentation des véhicules collectifs autonomes risque de générer des inégalités. En effet, une connectivité de grande qualité (5G), est nécessaire pour le bon fonctionnement des véhicules autonomes et pour assurer leur sécurité. Les échanges de données sont multiples : entre les véhicules (vehicule-to-vehicle ou V2V), entre les véhicules et l’infrastructure (vehicule-to-infrastructure ou V2I), et entre la mise à jour instantanée de la cartographie numérique à partir d’informations stockées sur le cloud et le pilotage à distance. Une récente étude de l’Apur indique qu’il y a un consensus sur la nécessité de développement de la 5G. Qu’en sera-t-il des territoires qui n’ont pas encore accès à la 5G et qui ne sont pas considérés comme prioritaires pour l’installation des réseaux de télécommunication privés permettant de disposer d’un excellent accès à l’internet ? A cela s’ajoute le coût des travaux nécessaires pour la récolte des données de l’environnement et l’adaptation de l’infrastructure. Il est donc possible d’imaginer un développement à deux vitesses. 

Autonomie

Neurotechnologies et « neurodroits »

Un domaine en plein essor est celui des neurotechnologies qui associent les neurosciences et les technologies numériques. Implanter des microprocesseurs dans le cerveau, décoder les signaux électriques produits par les neurones sont des outils très prometteurs pour compenser certains handicaps physiques et mentaux. D’autres applications des neurotechnologies sortent du domaine médical et concernent le « bien-être personnel » et la surveillance des états mentaux. Des startups développent des casques et des bandeaux munis d’électrodes pour enregistrer l’électroencéphalogramme, avec pour objectif de permettre à l’utilisateur de réguler son état de stress, son sommeil, sa concentration.

Il faut souligner que ces technologies d’enregistrement des ondes cérébrales avec des électrodes placées sur le crâne n’ont rien de nouveau. On sait depuis plus de 50 ans que les ondes de fréquence alpha sont associées à la détente et les ondes beta à la vigilance. Ce qui est nouveau, c’est la possibilité de traiter ces données en temps réel par des applications sur smartphone. Chaque type d’onde cérébrale est traduite en signaux sonores ou visuels qui renseignent l’utilisateur sur les activités de son cerveau. Celui-ci doit mobiliser son attention sur ces signaux et apprendre progressivement à les corréler avec son état cérébral : c’est la méthode du neurofeedback[7]. On notera que jusqu’à présent aucune validation de l’efficacité et de l’innocuité de ces dispositifs n’a été démontrée par des méthodes scientifiques rigoureuses.

Le développement des technologies d’enregistrement des ondes cérébrales est aussi l’objet d’applications dans le cadre professionnel pour contrôler le niveau d’attention sur certains postes de travail. Ainsi, la conduite de véhicules est déjà encadrée par des caméras et des capteurs qui renseignent sur l’état de vigilance du conducteur. Dans un futur proche, il est hautement probable que seront utilisés à cet effet des dispositifs d’enregistrement des ondes cérébrales qui pourraient s’avérer plus fiables : le constructeur automobile Nissan[8] et l’équipementier Hyundai Mobis[9] sont les plus avancés dans ce domaine. Ces technologies pourront être utilisées pour surveiller l’attention des conducteurs dans les véhicules collectifs qui ne seront pas encore autonomes où le conducteur exercera de moins en moins de fonctions avec un risque accru de baisse de vigilance.

A l’évidence, une vigilance éthique s’impose face au développement croissant des neurotechnologies[10] Une préoccupation majeure concerne l’exploitation sans consentement éclairé des données cérébrales, que ce soit dans le cadre médical, de la vie privée ou de la surveillance de la population. Les données cérébrales sont des données intimes et privées. Elles font partie intégrante des données personnelles au même titre que l’ADN et doivent être protégées face au risque d’être utilisées par les entreprises du numérique, les publicitaires, les sociétés d’assurance, la police etc. Concernant les conducteurs, leur consentement préalable pourra être sollicité ; mais ne seront-ils pas de facto contraints d’accepter cette technologie pour pouvoir exercer leur activité de conduite au sein de leur entreprise ?

Ce sujet est au premier plan du rapport publié en 2019 par l’OCDE (Organisation internationale de Coopération et de Développement Économique) sur les questions éthiques, juridiques et sociétales posées par les nouvelles neurotechnologies[11]. Le rapport recommande des mesures de protection spécifique des « neurodroits » (droit à la liberté cognitive, à la vie privée mentale, à l’intégrité psychique) dans l’esprit des principes de la Déclaration universelle des droits humains. En 2021, le Conseil de l’Europe et le Comité International de Bioéthique de l’Unesco (IBC) ont appelé à placer les « neurodroits » au premier plan des programmes d’actions stratégiques sur les neurotechnologies dans les secteurs publics et privés[12].

Dans cette mouvance, le Chili est devenu en 2021 le premier pays au monde à avoir voté une nouvelle loi inscrite dans la constitution pour protéger les données cérébrales et interdire leur exploitation sans consentement éclairé[13].

En France, la situation est encore éloignée d’une reconnaissance des « neurodroits ». En 2018, le comité consultatif national d’éthique (CCNE) s’est saisi du sujet à l’occasion de la révision de la loi de bioéthique initialement prévue en 2020. Le projet de loi recommandait l’encadrement de l’utilisation des techniques d’enregistrement des activités cérébrales, en limitant leur utilisation au « domaine médical et à la recherche scientifique ou dans le cadre d’expertises judiciaires », avec une mention particulière sur la protection des données cérébrales. La loi adoptée finalement en 2021 reprend ces principes mais la question de l’exploitation et de la protection des données cérébrales n’y figure pas explicitement[14]

Manifestement, l’évolution législative n’avance qu’à pas mesurés face aux bouleversements qui s’annoncent dans le domaine des neurotechnologies.

La question mérite donc d’être soulevée d’une définition et d’une mise en œuvre d’une législation particulière sur le sujet.

En cas d’accident, quelle vie sauver ?

Concernant les navettes autonomes, se pose la question de savoir quel doit être le comportement de la navette en cas d’accident susceptible d’engendrer des blessés ou des morts. La navette devra-t-elle avant toute chose préserver la vie des passagers qui sont abord quitte à blesser ou tuer des piétons ? Que devra-t-elle faire si pour éviter de blesser ou de tuer ses passagers, elle doit en blesser ou tuer d’autres ? C’est ce que l’on appelle communément le « dilemme du tramway » présenté par la philosophe Philippa Foot (1920-2010) dans un contexte tout autre. Elle utilisa ce raisonnement à propos de l’avortement. Selon elle, une personne peut effectuer un geste qui bénéficiera à un groupe de personnes A mais ce faisant nuira à une personne B. Dans ces circonstances, est-il moral pour la personne d’effectuer ce geste ?

La vision utilitariste inspirée de Jeremy Bentham considère qu’il faut épargner le plus de vies possibles tandis que le choix inspiré de la morale kantienne serait de dire qu’il n’est pas moral de sacrifier une vie, un acte étant moral quand il suit un principe universel qui serait ici le principe de ne pas tuer son prochain quoi qu’il arrive. 

Jean- François Bonnefon, directeur de recherche au CNRS, a eu l’idée de faire une consultation publique sur internet, en association avec le MIT, à travers la « machine morale »[15], pour connaître les grandes tendances de l’opinion publique. Pourquoi ne pourrait-on pas demain prendre en compte l’idée de la machine morale dans le cadre de la programmation des algorithmes gérant la conduite des véhicules autonomes en cas d’accident ? Ce site permet à tout un chacun de procéder à des choix à travers la simulation de scénarii très concrets. Sont présentés des dilemmes moraux où une voiture sans conducteur doit choisir le moindre de deux maux, comme tuer deux passagers ou bien cinq piétons, tuer 4 passagers ou 6 personnes âgées, tuer 5 chiens ou 3 êtres humains, tuer la mère et l’enfant ou une personne âgée, tuer le passager ou le piéton, tuer 3 passagers ou une vieille dame et deux enfants, tuer 4 passagers ou un médecin, une personne âgée et deux autres piétons. L’idée est de déterminer les préférences de la population : les internautes déterminent-ils plutôt leurs choix en fonction de la qualité de passager ou non, du fait de sauver le plus de vies possibles, du genre, de l’âge, du respect du code de la route, des espèces, de la forme physique, du statut social ? Jean-François Bonnefon conclut de l’expérience que la majorité des personnes font le choix de sauver le plus de vie possible. Ceci étant, des différences apparaîtraient selon les cultures, les Français ayant tendance à privilégier les femmes et les enfants alors que les Japonais ont tendance à sauver les piétons sans être forcément enclins à compter le nombre de vies. Cela fait ressortir les différences culturelles dans la perception de ce qui est moral et éthique, ce qui pourrait laisser ainsi à penser que la programmation des véhicules autonomes dans le cas d’accidents devrait être différente d’une culture à l’autre pour répondre à un comportement considéré comme le plus éthique possible selon la culture en question. Hubert Etienne a mis en lumière les biais des conclusions de l’expérience de la morale machine :

  • les personnes réagissent comme dans un jeu vidéo, ce qui ne saurait présager de leur réactions dans une situation réelle, 
  • la population qui a participé à l’expérience est principalement composée de personnes particulièrement intéressées par les véhicules autonomes, souvent de futurs propriétaires, ce qui induit des réponses protégeant les occupants des véhicules autonomes,
  •  les participants ne sont pas informés de l’usage qui sera fait de cette expérience (pourrait -elle être utilisée comme une aide à la conception des algorithmes de décision en cas d’accident ?).

Autant de raisons pour lesquelles de simples statistiques d’opinions publiques ne sauraient selon lui se substituer à un débat contradictoire et démocratique permettant une prise de décision politique et réglementaire[16]

Concernant les véhicules autonomes, plusieurs questions se posent : en cas de présence de conducteur au sein de la voiture, doit-on lui laisser reprendre la main en cas d’accident ? Pour tenter d’éclairer ces débats théoriques, Joshua Green (professeur de psychologie à Harvard) s’est tourné vers les neurosciences pour voir par IRM comment le cerveau réagit au « dilemme du trolley » dans la situation suivante : un trolley dont les freins sont hors d’usage dévale une pente ; s’il continue sa route, il va heurter cinq personnes présentes en aval sur la voie de chemin de fer :

  • Dans la situation A, le sujet auquel est soumis le scénario a la possibilité d’agir sur un aiguillage pour dévier le trolley sur une voie où se trouve une seule personne qui sera immanquablement écrasée. 
  • Dans la situation B, le sujet peut agir en précipitant d’un pont une personne sur les rails afin de stopper à temps le trolley et sauver les cinq autres situées en aval de la voie. 

Pour une vaste majorité de personnes interrogées, la situation A est jugée moralement acceptable, contre seulement 10% en faveur de la situation B. Comment l’expliquer alors que les deux situations mènent au même résultat ? Pour les philosophes, le dilemme oppose les « déontologistes » (qui se conforment aux normes morales) aux « utilitaristes » qui font primer les conséquences concrètes. Pour la situation A, on voit s’activer les régions cérébrales impliquées dans les émotions, alors que des zones dédiées à la cognition sont mobilisées dans la situation B. Greene conclut de son expérience que le jugement moral est le produit de mécanismes psychologiques qui s’opposent :

  • les processus émotionnels, intuitifs et non volontaires, qui interdisent de porter atteinte physiquement à une personne,
  • les processus rationnels, cognitifs et conscients, qui jugent qu’un mort vaut mieux que cinq.

Fort de ces résultats – très contestés car peu robustes méthodologiquement – l’expérience a été réalisée sur neuf personnes), Joshua Green plaide pour un renforcement utilitariste de la décision morale grâce à l’IA pour réaliser un système hybride homme-machine censé assurer une meilleure pertinence morale. 

 La théorie psychologique dualiste de Greene a fait l’objet de nombreux débats et critiques, tant sur le plan philosophique conceptuel (voir les revues de Hubert Etienne et Bernard Baertschi) que sur le plan neurobiologique (voir Antonio Damasio). Les travaux de recherche menés dans ces disciplines s’accordent pour considérer que raison et émotion sont inséparables dans le jugement moral.

 Ces arguments questionnent la pertinence de l’utilisation d’algorithmes pour prendre des décisions morales automatisées et décider de la conduite de véhicules autonomes placés dans les situations hors normes et non programmées. Si le dilemme se pose de sauver la vie des passagers de la voiture en tuant des piétons ou de sauver la vie des piétons en tuant les passagers, mieux vaut faire appel à l’être humain et à son cerveau, à la fois rationnel et émotionnel pour évaluer la situation. La dimension humaine de la prise de décision est fondamentale quand c’est le devenir d’un être humain qui est en jeu. Le danger est bien de déléguer un pouvoir de décision à une machine sous prétexte que l’IA est supposée neutre, impartiale, infaillible, autant de qualités qui feraient défaut aux humains. Or l’objectivité de l’IA est plus une croyance qu’une réalité avérée. Tout algorithme est le reflet de données qui lui sont fournies et des paramètres de son fonctionnement qui sont déterminés par des humains. De fait, il incorpore des biais qui sont liés aux objectifs de son utilisation (commerciale, sociale, politique) et qui peuvent être sources d’erreurs. Comme le souligne le bio-informaticien Rand Hindi : « Les IA font moins d’erreurs que les humains, mais elles en font là où les humains n’en auraient pas faites ».

Mais l’intervention de l’homme ne semble plus possible au dernier stade d’autonomie des véhicules, quand il n’y aura plus de conducteurs à bord. Le véhicule autonome réagira en fonction de la façon dont il aura été programmé. 

Dans ce cas, qui est légitime pour décider des règles ? Les programmeurs qui feront des choix personnels dans des situations abstraites et générales ? Le constructeur qui pour vendre ses véhicules protègera en priorité les passagers à bord ? Le gouvernement qui optera peut-être pour une minimisation du nombre de victimes ? Des commissions éthiques indépendantes qui pourraient utiliser des critères différents en fonction des cultures ou au contraire des organismes internationaux qui définiraient des critères universels ?

La commission éthique du ministère des transports allemands a considéré que les décisions à prendre ne pouvaient pas être clairement normalisées et par conséquent programmées pour qu’elles soient incontestables, en rappelant qu’il ne devait pas y avoir de distinction faite en fonction des caractères personnels (âge, genre, constitution physique ou mentale). Que penser d’une telle réponse ? N’est-ce pas là un moyen de reporter le débat au jour où les véhicules seront totalement autonomes, ce qui n’est pas le cas aujourd’hui, sauf pour les véhicules collectifs ? Comment ces difficultés éthiques sont-elles concrètement résolues dans ce cas ?

Demain la prise de décision pourrait-elle être faite avec une IA forte sans aucune intervention humaine, la machine apprenant en fonction des statistiques des situations passées ?

Sécurité et robustesse

Il existe un risque de cybersécurité et de captation malveillante des données produites par les systèmes de vidéo intelligente, et ce d’autant plus s’ils utilisent de la reconnaissance faciale qui peut conduire à des risques d’usurpation d’identité. Un détournement d’usage peut avoir des conséquences graves sur les droits et libertés des personnes : usurpation d’identité, diffusion d’images sur les réseaux sociaux, chantage, harcèlement etc.

Comme pour l’ensemble des acteurs du transport, la sécurité est une nécessité pour les véhicules autonomes.

Le véhicule est en mode autonome, il est autonome ! Pour autant, il peut être nécessaire, impératif, de pouvoir reprendre la main, la maitrise de la route et des différents éléments constitutifs. Ce qui n’est pas si facile, puisque « l’habitude », la promesse et l’usage principal du véhicule « autonome » est bien de laisser faire. Or, il se présente des cas régulièrement où il est nécessaire de « reprendre » la conduite manuelle. Côtés constructeurs, il est nécessaire de prévoir et fiabiliser les signaux d’alerte indiquant la désactivation du mode autonome, pour les rendre encore plus prégnants. Le sujet sécurité/robustesse est bien dans la nécessaire complémentarité entre l’autonomie et la reprise en main par l’humain dans les cas d’écarts de sécurité. 

Certes, les systèmes de conduite autonome réduisent l’erreur humaine et constituent donc une avancée indéniable pour la sécurité routière. Mais l’habitude de s’en remettre à la machine peut créer des accidents quand le système pèche. Il reste donc à trouver le moyen de stimuler efficacement l’attention des conducteurs, même quand ils délèguent le pilotage de la voiture à la machine[17].

La robustesse est aussi un véritable enjeu pour le déploiement des véhicules autonomes. Il s’agit donc de couvrir l’ensemble des risques. Y compris le risque lié au matériel et aux données échangées.

Le rapport de la Commission européenne[18] est édifiant. Il émet vingt recommandations qui concernent la réduction des dommages aux personnes, la révision des règles de circulation, la distribution statistique du risque en situation de dilemme, la possibilité pour l’utilisateur de choisir certaines options, la protection des données collectées, la non-discrimination quant à l’accès aux services, ainsi que l’attribution des responsabilités.

La « robustesse technique » est un pilier important pour les véhicules à conduite automatisée, notamment pour les systèmes « critiques » comme le freinage. Un problème est que les réglementations existantes ne couvrent pas toutes les technologies développées pour les véhicules à conduite automatisée, comme par exemple l’utilisation de l’apprentissage machine dans les fonctions critiques.

L’adaptation ou la révision de la réglementation devrait donc « imposer des normes strictes de développement, de vérification et de validation des systèmes, quelles que soient les technologies mises en œuvre », le but étant de pouvoir garantir un fonctionnement sûr, au moins du point de vue statistique.

Un exemple de ce qu’il ne faudrait pas faire : « l’apprentissage en continu en cours d’utilisation du véhicule doit être exclu compte tenu de l’imprévisibilité du comportement du véhicule qui pourrait en résulter ». Une manière de cibler Tesla sans le dire ouvertement ?

Cela veut dire qu’il est nécessaire de former les conducteurs et les parties prenantes (piétons, autres automobilistes, cyclistes, voire l’ensemble des- citoyens) à identifier les véhicules à conduite automatisée et à adopter son comportement dans l’espace public. N’est-ce pas une gageure, quand on sait combien de situations multiples sont possibles ?

Quant aux risques de cybersécurité, ils se situent à plusieurs niveaux :

  • au niveau du matériel (capteurs, …),
  • au niveau des logiciels,
  • au niveau des données.

Les véhicules autonomes (tout comme d’autres dispositifs) sont soumis aux défis de la sécurité et de la cybersécurité. Car ils peuvent être trompés, détournés…

Il faut préserver les matériels embarqués sur le véhicule autonome et à la fois garantir la fiabilité de l’IA en toutes situations[19].

Il convient de garantir une robustesse complète et un encadrement des véhicules autonomes sur toutes les dimensions. Comment avancer sur un déploiement en toute sécurité des voitures autonomes ? Cela veut-il dire qu’il faut confier aux institutions, notamment européennes, la charge de la conception de recommandations adaptées, et ce au risque de ralentir le déploiement de ce marché géant ? Faut-il leur confier également la responsabilité et la charge d’un audit régulier ainsi que d’un encadrement constant des évolutions variées ? Les prochaines années nous le diront[20].

Quoi qu’il en soit, chacun convient que la sécurité est un prérequis fondamental du déploiement des véhicules autonomes. Or, nul ne peut affirmer aujourd’hui sans la certitude d’être aussitôt contredit, que ces véhicules peuvent être commercialisés en toute sécurité.

Prenons l’exemple de l’Autopilot de Tesla, un système de pilotage automatique 2.0 qui utilise surtout des caméras pour détecter les lignes de marquage au sol ainsi que les autres véhicules et objets sur la route. Il ne s’agit pas ici d’un véhicule collectif autonome, mais les leçons à tirer de l’expérience récente en matière de véhicule individuel sont reproductibles dans les autres cas. Le système Autopilot est capable de diriger, de freiner et d’accélérer automatiquement sans intervention nécessaire du conducteur. En octobre 2016, Elon Musk annonçait lors d’une conférence de presse un nouveau système conçu pour « une conduite entièrement autonome »[21]. A l’époque, la firme Intel prédisait que les véhicules autonomes représenteraient d’ici 2050 un marché mondial de 7 000 milliards de dollars. Il était clair – et il le reste – qu’Elon Musk cherchait d’emblée à dominer le marché du véhicule autonome avant ses rivaux. Mais cinq ans plus tard, le 13 août 2021, la National Highway Traffic Safety Administration (NHTSA) américaine, qui fait partie du Département des Transports américain, ouvrait une enquête au sujet de 11 collisions impliquant des voitures Tesla à l’origine de 17 blessures et d’un décès. L’enquête couvre la quasi-totalité des véhicules Tesla vendus aux États-Unis, soit 765 000 véhicules, parmi lesquels se trouvent des modèles Autopilot. La NHTSA a opportunément rappelé au grand public qu’aucun véhicule motorisé disponible commercialement n’était capable actuellement d’être piloté de façon entièrement autonome : « Tous les véhicules disponibles requièrent un conducteur humain qui puisse garder à tout moment le contrôle des opérations ; toutes les lois des états tiennent les conducteurs humains responsables de l’utilisation de leurs véhicules. »[22]

Venons-en à la navette autonome. Elle semble promise à un grand succès, mais sans doute faudra-t-il pour que cela se réalise que des progrès substantiels soient réalisés dans le domaine de la sécurité. Ainsi, par exemple, lors des Jeux paralympiques de Tokyo 2020 qui se déroulèrent en fait du 24 août au 5 septembre 2021, un athlète japonais, Aramitsu Kitazono, fut percuté à une faible vitesse (1 à 2 km/h) dans le Village Olympique par l’un des bus autonomes « e-Palette » de niveau 4 SAE conçus par le constructeur automobile japonais Toyota. Le niveau d’autonomie de ce bus signifie qu’aucune assistance de la part des opérateurs (en l’occurrence, ils étaient deux à bord de celui qui causa l’accident) n’est requise dans des « conditions normales de circulation ».

A cause de cet accident, l’athlète – un judoka malvoyant – dut se retirer de la compétition, souffrant de plusieurs blessures et contusions au niveau de la tête et des jambes, alors qu’il s’apprêtait à participer à sa troisième édition des Jeux paralympiques. La firme s’excusa aussitôt de la « confiance excessive » qui avait conduit le bus à occasionner cet accident mais ne suspendit le service de transport que durant quelques jours.

Transparence

Citons encore l’exemple de l’Autopilot de Tesla. S’il faut en croire d’anciens employés de la firme américaine, qui ont témoigné en décembre 2021 dans les colonnes du New York Times, la vidéo qui en 2016 faisait la promotion du système de conduite autonome Autopilot 2.0 en le montrant conduire et éviter les obstacles sans aucune intervention humaine aurait été truquée : l’Autopilot utilisait en fait une carte numérique 3D de l’itinéraire qui avait été planifié à l’avance ; il n’était donc pas autonome ! En outre, les cartes tridimensionnelles ne sont pas disponibles sur la version actuelle du système Autopilot. Tout aussi alarmant, la voiture autonome aurait eu un accident à un moment du tournage, en heurtant de plein fouet une barrière routière. L’incident s’étant produit sur le terrain dont Tesla est propriétaire, il ne fut pas relevé par les autorités routières. L’accident subi par la Tesla, qui imposa de la réparer avant de reprendre le tournage, fut sciemment retiré de la vidéo de promotion finale. Déjà en 2016, les ingénieurs de Tesla avaient demandé aux équipes marketing de ne pas utiliser des termes comme « conduite pleinement autonome » (full self-driving) et « autopilot », trop mensongers pour les futurs clients.

Un tel manque de transparence, ou plutôt de vérité, masque un choix technologique contestable imposé par Elon Musk : selon le patron de Tesla, toutes les nouvelles voitures de sa firme seraient capables d’interpréter les images filmées par les caméras. Or, les ingénieurs prétendent le contraire : « les caméras ne sont pas des yeux » et un ordinateur n’est pas capable aujourd’hui d’interpréter des pixels. Le recours à un radar de proximité – une technologie abandonnée par Musk dans tous ses modèles de voitures électriques – serait nettement plus fiable. 

Impact sociétal et environnemental des véhicules collectifs autonomes

Impact sociétal

En permettant au plus grand nombre d’avoir accès aux transports en commun grâce à une meilleure capacité (volume de voyageurs pris en charge) et une meilleure couverture territoriale (ligne plus longues, arrêts ajustés selon la demande, …), les véhicules collectifs autonomes permettraient de lutter contre les inégalités sociales et territoriales. 

Le rapport « Étude des véhicules autonomes » du forum des vies mobiles de mars 2021 se focalise sur trois enjeux prioritaires : les territoires ruraux, les publics exclus de la mobilité́ qui ne peuvent pas acheter ou utiliser une voiture, et la non-concurrence avec les modes actifs (marche et vélo).

D’un point de vue économique, l’État a tout à gagner à généraliser l’automatisation des véhicules collectifs. En effet, requérant l’utilisation de la 5G, les opérateurs pourraient être situés dans des pays dont la main d’œuvre coûte moins chère qu’en France tout en étant qualifiée, l’Inde étant un exemple. La rentabilité économique d’un tel projet est donc possible. L’automatisation de la ligne 14 du métro parisien l’a par ailleurs prouvé. Les collectivités locales trouveraient donc un intérêt à remplacer les chauffeurs de bus par des véhicules collectifs autonomes pour assurer la mobilité sur leur territoire.

Cependant, des investissements pour créer ces réseaux de véhicules collectifs autonomes sont nécessaires et devront être supportés, au moins en partie, par les contribuables. Il est donc essentiel que les véhicules collectifs autonomes aient une plus-value importante pour la société en rendant la mobilité possible au plus grand nombre. 

Mais ce scénario de mobilité peut également aggraver certaines inégalités sociales. En effet, les emplois d’opérateurs seront pour la plupart remplacés, il y aura indéniablement un transfert de qualification et d’emploi, comme le qualifie le rapport Idrac de 2018. Il est donc nécessaire de permettre aux employés de ce secteur de se reconvertir et de les accompagner dans cette transition. La filière des transports au sens large compte 700 000 emplois selon ce rapport. 

De plus, afin de supporter les investissements initiaux importants, un moyen est d’augmenter la tarification, limitant ainsi l’accès à ce type de transport aux personnes ayant peu de ressources. Une autre approche serait de privilégier les axes les plus rentables et donc de ne pas desservir certains territoires, ce qui aggraverait leur enclavement. 

Enfin, si le marché est scindé en un service public et un service privé, les véhicules autonomes individuels ou partagés pourraient concurrencer les transports en commun et ainsi fragiliser leur modèle économique, retardant la possibilité d’avoir un réseau de transports collectifs autonomes efficaces et à la disposition du plus grand nombre. 

Impact environnemental

Saujot, Brimont et Sartor dans leur article « Comment accélérer la mobilité durable avec le véhicule autonome ? », paru en 2017, ont chiffré une potentielle évolution de la consommation d’énergie des transports (collectifs et individuels) qui pourrait au pire tripler, au mieux diminuer de moitié. 

D’après le rapport Idrac op.cit., le véhicule collectif autonome pourrait être une alternative écologique, de par ses caractéristiques techniques (électriques, légers, capacité optimisée, meilleure sécurité) mais également du fait de la fluidification du trafic et en favorisant le report des véhicules individuels sur les véhicules collectifs. 

Cependant, le rapport de la Fabrique Écologique pour le Forum Vies Mobiles, 2021, démontre que son impact écologique serait marginal et que le déploiement qui serait nécessaire pour avoir cet impact est peu probable avant 2050, objectif pour atteindre la neutralité carbone. Ce rapport dénonce même des conséquences sur l’écologie, du fait de la production des véhicules, des données nécessaires à son fonctionnement, du renouvellement du matériel et de la gestion des déchets et du potentiel effet rebond sur la congestion en s’ajoutant au trafic actuel. Un effet rebond est un paradoxe qui apparaît lorsqu’un progrès technologique permettant une meilleure efficacité énergétique entraîne une augmentation de la consommation d’énergie plutôt que sa réduction. Par exemple, les moteurs sont de plus en plus performants et consomment de moins en moins par kilomètre, mais la consommation totale des voitures a augmenté car les véhicules sont plus lourds, les distances parcourues sont plus grandes, etc.

Au sens plus large, il faut également prendre en compte l’impact énergétique de la modification de notre environnement et notre mode de vie. Le Gallic et Aguilera ont identifié en 2019 plusieurs conséquences telles que l’étalement urbain, l’augmentation du nombre et de la taille des maisons individuelles, l’augmentation des déplacements pendulaires domicile-travail, la destruction des sols et de la biodiversité, etc. qui pourraient avoir un impact énergétique considérable, pour l’instant jamais identifié. 

Cependant, restreindre le développement du véhicule collectif autonome nécessiterait une régulation très contraignante, sinon ce marché sera capturé par des entreprises privées. De plus, les pouvoirs publics délaissent les usages collectifs du véhicule autonome. En effet, à l’appel à projet national EVRA (expérimentation du véhicule routier autonome), sur 16 expérimentations, seules 2 sont à propos de la mobilité collective. Ces dernières sont pourtant les plus pertinentes d’un point de vue social et écologique. 

Le ratio bénéfice/risque de l’utilisation des véhicules collectifs autonomes est donc remis en question. Lors d’un débat citoyen en 2018 « des véhicules sans conducteur dans nos vies ? Débattons-en, ensemble ! », il en est ressort une attente de l’État :

  • de garantir un cadre politique qui fasse que cette révolution technologique soit équitable et égalitaire en termes de territoires et d’habitants (60%),
  • d’imposer des contraintes fortes en matière environnementales (45%),
  • d’encadrer l’usage des données personnelles (36%).

Il est regrettable qu’il n’y ait pas un débat démocratique beaucoup plus large et non réservé à une minorité de personnes interrogées, car le recours aux véhicules collectifs autonomes induit un certain environnement pour pouvoir fonctionner et donc une généralisation du recours aux véhicules autonomes. Ceci induit un changement radical de société radical avec de massifs transferts de données personnelles.

Comment pourrons-nous donc encadrer le déploiement des véhicules autonomes, impulsé pour l’instant majoritairement par le secteur privé ?

Conclusion

Nous avons identifié de nombreux enjeux éthiques qui s’attachent aux véhicules collectifs autonomes. Pour répondre à ces questionnements, nous avons émis quelques recommandations qui relèvent de la bonne volonté.

 Il existe d’ores et déjà certaines règlementations qui encadrent ces dispositifs, tels que la directive police-justice précitée ou le règlement européen sur la protection des données personnelles, précité également.

La Commission européenne a pour ambition de faire adopter un règlement européen qui contraindra les systèmes d’intelligence artificielle à haut risque à respecter certaines dispositions (cf. annexe 2).

Les véhicules autonomes présentant un risque pour la sécurité des personnes, les systèmes d’intelligence artificielle utilisés étant des composants de sécurité, et ces véhicules étant certainement à terme équipés de système de reconnaissance faciale, ils seront considérés comme des systèmes d’intelligence artificielle à haut risque.

Ils devront dès lors respecter un cadre règlementaire contraignant et non plus fondé sur le seul volontariat. Parmi ces obligations, figurent par exemple l’obligation de préserver la qualité des données, de garantir la traçabilité des résultats, d’informer les utilisateurs ou encore de garantir un niveau approprié de contrôle humain.

Le projet de règlement européen envisage de confier le contrôle du respect des nouvelles règles à des autorités nationales désignées dans chaque État membre, qui se réuniront au sein d’un Comité Européen de l’Intelligence Artificielle. Différentes sanctions administratives sont prévues en cas de manquement, pouvant aller pour certaines infractions jusqu’à 30 millions d’euros ou 6% du chiffre d’affaires annuel mondial de l’exercice précédent.

Le projet est à présent examiné par le Parlement européen et par les États membres dans le cadre de la procédure législative ordinaire.

ANNEXE 1 : Les véhicules collectifs autonomes

Le véhicule autonome et ses usages

Depuis quelques années le véhicule « autonome » – ou « automatisé » – fait l’objet à travers le monde d’un engouement extraordinaire. Il est présenté dans les salons de l’automobile et à travers les médias comme l’avenir de la mobilité motorisée en termes de sécurité, de services numériques à bord et de durabilité. 

Il importe de réaliser que la connectivité d’un véhicule peut avoir trois dimensions : l’intra-connectivité (i.e. la connectivité qui reste dans le véhicule pour analyser la conduite en temps réel), l’extra-connectivité (i.e. les liaisons avec l’extérieur, grâce notamment aux coordonnées GPS, qui permettent à un organisme de recevoir des informations sur le véhicule, comme par exemple le nombre de kilomètres parcourus), et enfin l’inter-connectivité (i.e. la connectivité qui permet l’info trafic en temps réel, les GPS communautaires, l’antivol GPS). 

Sur la base des progrès en matière de véhicules connectés, les futurs véhicules autonomes traiteront plusieurs giga-octets de données par seconde ! Mais il ne faut pas confondre « véhicule connecté » et « véhicule autonome ». Comme nous l’avons vu dans la définition donnée plus haut, le véhicule autonome est l’avenir du véhicule connecté, un avenir dans lequel le véhicule sera capable de se substituer à son conducteur pour se déplacer. 

L’idée de voiture sans conducteur n’est pas nouvelle ; elle est apparue aux États-Unis dans les années 1920, d’abord en réponse au fort taux de mortalité sur les routes, puis au cours des années 1950 comme moyen de libérer le temps du déplacement pour permettre aux familles de se retrouver. Aujourd’hui, les recherches sur le véhicule autonome portent sur de nombreux scénarios dont la réalisation dépendra, d’une part, des progrès technologiques accomplis mais aussi, d’autre part, des choix économiques et politiques qui auront été faits entretemps. 

Un véhicule autonome sur route peut être un véhicule individuel ou partagé (voiture en autopartage, robot-taxi, navette autonome). En dépit de la convergence des temporalités des débats et des initiatives concernant le véhicule autonome et le véhicule électrique, le véhicule autonome n’est pas en lui-même porteur d’une forme particulière de motorisation – thermique ou électrique – ni d’un certain type d’énergie (gaz naturel, hydrogène, etc.). En fait, de nombreuses incertitudes persistent sur les types de motorisations et d’énergie auxquelles le véhicule autonome pourra avoir recours.

Les différents types de véhicules autonomes

Selon le cabinet de conseil Oliver Wyman, si le marché des véhicules autonomes consiste principalement aujourd’hui de drones militaires sans équipage, d’ici quelques années les véhicules civils en représenteront la majorité, couvrant tous les domaines du transport : sol, mer, air, espace[23]. Les trois-quarts des véhicules autonomes devraient être utilisés pour le transport terrestre.

Cependant, les véhicules autonomes ne couvrent pas à eux seuls l’ensemble du marché de l’autonomie : il faut ajouter les infrastructures publiques, la gestion du trafic, de la flotte et des données, la défense et la sécurité, la maintenance, la réparation et la révision. Bref, l’arrivée de l’autonomie devrait générer un quintuplement du marché pour atteindre environ 3 000 milliards d’euros, avec à la clé une profonde transformation de l’industrie et de l’environnement concurrentiel. 

Les principaux usages des véhicules autonomes

Les nombreuses expérimentations déjà en cours – ainsi en France, par exemple, les tests du Bois de Vincennes et du site privé du CEA Paris-Saclay, sous l’égide de la RATP, le réseau de transport public de la métropole rennaise (ligne 100 de Star, exploitée par Keolis), ou encore la navette autonome électrique sur le parc d’activité de Gaulnes, près de Lyon – permettent de mesurer l’ampleur des usages des véhicules autonomes[24] :

Zones urbaines : centres villes piétonniers, routes étroites.

Aéroports : transfert intérieur ou extérieur des passagers, déplacements du personnel.

Hôpitaux : transport des patients et de leurs proches, depuis une station de transport public ou un parking, jusqu’au centre hospitalier ; déplacements du personnel sur le site.

Campus universitaires : transport des étudiants entre une station de transport public éloignée et l’université ; déplacements à l’intérieur du campus.

Parcs d’attraction et sites touristiques : déplacements des visiteurs entre les différents centres d’intérêt et vers les parkings.

Sites industriels : transport du personnel au sein des sites entre les différents points d’intérêt (lieu de travail, cantine, etc.).

Centres commerciaux : transport des clients d’un centre commercial depuis/vers une station de transport public.

Les scénarios d’évolution du véhicule autonome

Trois scénarios sont aujourd’hui pris en considération pour le développement du véhicule autonome :

  • celui d’une mobilité individuelle avec des voitures à usage privé, porté sans surprise par les constructeurs automobiles ;
  • celui d’une mobilité à la demande s’appuyant sur des flottes de robots-taxis, porté par les acteurs du numérique ;
  • celui enfin d’une mobilité collective avec des navettes autonomes, porté par les acteurs publics (collectivités et opérateurs du transport).

Ces trois scénarios ne sont évidemment pas exclusifs les uns des autres et il est vraisemblable qu’au moins au cours des deux à trois prochaines décennies ils cohabiteront. Mais selon que le curseur se déplace plutôt en faveur de l’un ou de l’autre de ces scénarios nous verrons se dessiner un certain modèle de société. 

La mobilité individuelle

La voiture privée est dans le prolongement des tendances observées depuis la fin de la Seconde Guerre mondiale, et ce n’est pas un hasard si la société américaine de développement de technologies de conduite autonome Waymo LLC, filiale d’Alphabet Inc., la société mère de Google, se lança à partir de 2009 dans le véhicule autonome privé, reflet supposé des préférences américaines. Elle le fit grâce à des investissements coûteux dans les caméras haute résolution et la technologie Lidar (light detection and ranging), grâce également à des volumes très élevés de données d’apprentissage (training data), collectées à partir de millions de miles de conduite sur route en vue de mieux percevoir à quoi s’attendre en ce qui concerne les mouvements des autres objets, ainsi que de données issues de la simulation (simulation data). A l’heure actuelle, les firmes américaines Waymo (Alphabet) et Cruise (General Motors) dominent largement le marché mondial des véhicules autonomes privés, suivies à bonne distance par Aurora et Argo AI, toutes deux basées à Pittsburgh, en Pennsylvanie. 

Il faut bien admettre cependant que les attentes en matière de véhicules autonomes privés, situées à un niveau très élevé au milieu des années 2010, ont été fortement déçues. Quelles qu’en soient les raisons – failles de la technologie, coût très élevé des simulations et de la collecte des données d’apprentissage, survenue d’accidents fatals, manque de coopération intégrale des constructeurs pour assurer l’interconnexion des véhicules, risques de piratage des véhicules, etc.), les autres scénarios de mobilité conservent leurs chances. 

La mobilité à la demande

Ainsi, la mobilité à la demande semble promise à un bel avenir, portée d’une part par les tendances lourdes de la demande sociale (flexibilité, individualisation, respect de l’environnement, confort) et d’autre part par les progrès du numérique (smart phones, connectivité omniprésente, applications de type « cloud computing », plates-formes de services de transport à la demande). Les sociétés du numérique se lancent dans la création de nouvelles plates-formes de mobilité offrant des informations sur les différents modes de transport ainsi que des options de réservation. Ce mouvement rejoint les préoccupations des pouvoirs publics, soucieux d’une gestion plus efficace du trafic et de l’espace et d’une bonne qualité de la vie dans les villes et les régions. A l’heure actuelle, dans les zones urbaines et sur les axes routiers hautement fréquentés, les transports publics offrent la meilleure solution, notamment avec l’autobus et le train. En revanche, dans les zones périphériques et aux heures creuses, ces modes de transport ne conviennent pas, en raison de la faiblesse de la demande ; c’est alors la voiture qui s’impose, mais les conséquences sont néfastes pour l’environnement (émissions de carbone) et pour la qualité de la vie (embouteillages considérables). C’est là qu’intervient la mobilité à la demande, qui permet à l’usager de satisfaire son besoin dans un délai très court, sans gros effort de planification, et indépendamment du moment de la journée. Il formule sa demande de déplacement en utilisant une application sur son téléphone portable tandis que par ailleurs un algorithme combine de façon optimale les diverses demandes en cours de façon à ce que plusieurs personnes puissent partager un même voyage. Le mode de transport utilisé – autobus, VTC, etc. – n’emprunte pas forcément le chemin le plus court mais plutôt le chemin optimal du point de vue de la demande collective exprimée. 

Source : Q_PERIOR, Mobility on Demand – Solution or Risk in the Mobility Turnaround?, 16/04/2021

L’évolution des technologies numériques a donc changé en profondeur le décor de la mobilité urbaine. En quelques années, des sociétés comme Uber, Lyft et DiDi ont imposé leurs modèles économiques et conquis une grande réputation à travers le monde, générant ainsi des affaires de plusieurs milliards d’euros. Elles ont attiré dans un premier temps les consommateurs jeunes, plutôt fortunés et passionnés de technologie numérique puis, dans un second temps, une large partie de la population en offrant des solutions de mobilité souples, rapides, de porte à porte, qui sont en outre plus sûres et moins coûteuses. Même si les conditions de travail précaires des conducteurs employés par ces sociétés et les incertitudes concernant la solidité à moyen terme de leur modèle économique soulèvent des controverses, il n’en reste pas moins certain que leur succès est incontestable. Cependant, le point le plus important est sans doute que l’évolution qu’ont accompagnée ces sociétés vers le transport individuel partagé constitue une menace redoutable pour les systèmes classiques de transport (voiture individuelle, transports publics, taxis), même si jusqu’à présent l’ensemble des options de transport ont semblé plus complémentaires que concurrentes. 

La conjonction des nouveaux besoins des consommateurs et la numérisation poussée par la quatrième révolution industrielle (objets connectés, données massives, intelligence artificielle, etc.) ont entraîné le développement et le déploiement rapide de solutions numériques de transport « à la demande 2.0 » et, de là, l’émergence de nouveaux acteurs : les plates-formes de services de transport qui, en utilisant l’analyse des données et l’intelligence artificielle, améliorent constamment la compréhension des besoins et des attentes des consommateurs. L’expérience du consommateur s’en trouve enrichie par des innovations telles que la facilité de réservation via une interface conviviale, des temps d’attente réduits, la visualisation de la prise en charge et de la dépose (« pick-up and drop-off »), une expérience à bord raffinée, une facilité de paiement et une résolution plus rapide des problèmes.

La mobilité à la demande devrait donc gagner du terrain par rapport à la mobilité individuelle, d’autant plus que l’introduction progressive des technologies qui permettent l’autonomie du véhicule, notamment l’intelligence artificielle, va gommer encore davantage les frontières traditionnelles entre solutions de transport publiques et solutions de transport privées. Nous assistons à l’avènement des taxis autonomes – ou robots-taxis – qui s’inscrivent dans un nouveau concept de mobilité « à la demande 3.0 ». L’arrivée des taxis autonomes pourrait être en outre un bon moyen de déterminer comment déployer sur les routes en toute sécurité des véhicules sans conducteur. 

La mobilité collective

A côté de la mobilité individuelle et de la mobilité à la demande se développe une nouvelle forme de mobilité, collective cette fois, qui constitue celle qui nous intéresse le plus dans ce travail, car elle combine plusieurs aspects, en particulier la technologie, l’économie, les différents modes de transport collectifs et enfin, last but not least, les enjeux éthiques. 

Ainsi, des véhicules électriques autonomes, aux performances plus modestes que le véhicule autonome privé, et souvent collectifs, devraient progressivement apparaître dans les villes et les zones périurbaines. De nombreux experts considèrent que le véhicule autonome doit faciliter l’accès aux transports en commun et non pas amplifier la congestion automobile dans les villes en générant des flottes de taxis autonomes. 

Cet aspect prend tout son sens au moment où la quasi-totalité des pays du monde se concertent sur les stratégies à adopter pour juguler le changement climatique dû aux émissions de dioxyde de carbone : objectifs de l’Accord de Paris[25], rapport « United in Science 2021 »[26], Pacte vert pour l’Europe de la Commission européenne[27], etc. Le véhicule autonome n’est pas conçu seulement pour substituer le véhicule au conducteur, indépendamment des avantages attendus en termes de sécurité et de confort, mais aussi, et surtout, pour contribuer à faire entrer le monde et ses habitants dans le vingt-et-unième siècle, celui d’une éthique de l’environnement, entendue comme champ de discussion planétaire et multidisciplinaire où les choix de valeurs et les normes collectives prennent le pas sur les seuls intérêts particuliers. Les priorités sont désormais accordées au changement climatique, aux dégradations majeures qui affectent les milieux naturels (pollution, érosion, pertes de biodiversité, déforestation…), la raréfaction de ressources inégalement réparties dans l’espace (ressources fossiles, eau, terres arables…). Le véhicule collectif autonome est perçu comme l’un des principaux facteurs de reprise en main de l’avenir de la planète par ses habitants.

Les degrés d’autonomie

Si le véhicule totalement autonome n’est pas encore aujourd’hui une réalité, les constructeurs développent des modèles qui s’en rapprochent de plus en plus. 

On distingue 6 degrés d’autonomie : de 0 à 5. Définie au départ par la NHTSA (National Highway Traffic Safety Administration), cette classification s’est rapidement imposée au niveau international. Son intérêt est d’observer le rôle dévolu à l’humain dans la gestion de la conduite. 

Les technologies qui rendent possible l’autonomie

Les véhicules automatisés sont équipés de technologies spécifiques qui rendent possible l’autonomie en accomplissant les diverses tâches nécessaires à la conduite : capteurs, caméras embarquées, ordinateurs de bord, GPS haute-précision, récepteurs par satellite ou encore systèmes radar à courte portée. 

Ces technologies sont indispensables pour optimiser la conduite, faire en sorte que le véhicule puisse « voir », comprendre son environnement et communiquer avec lui, et enfin s’adapter aux aléas, le tout avec une sécurité renforcée. On le constate : le défi est majeur, et ce d’autant plus que les technologies qui sont nécessaires pour rendre les véhicules autonomes se développent au même moment où, neutralité climatique oblige, tous les pays du monde, et notamment l’Europe, envisagent, selon leurs rythmes propres, d’atteindre le plus rapidement possible l’objectif d’une mobilité zéro émission (c’est-à-dire avec des véhicules électriques, à batterie ou à pile hydrogène). 

En ce qui concerne l’Europe, la Commission européenne a adopté le 14 juillet 2021 un ensemble de propositions visant à adapter les politiques de l’Union en matière de climat, d’énergie, d’utilisation des terres, de transport et de fiscalité de sorte à lui permettre de réduire ses émissions nettes de gaz à effet de serre d’au moins 55 % d’ici à 2030, par rapport aux niveaux de 1990[6]. L’ambition est de faire que l’Europe soit le premier continent à parvenir à la neutralité climatique d’ici à 2050 (« Pacte vert pour l’Europe »). Pour cela, en ce qui concerne la mobilité, il faut que tous les constructeurs automobiles planifient, à l’instar d’Audi, Volvo, Volkswagen ou encore Mini, de cesser de vendre des véhicules thermiques (i.e. motorisations essence et diesel). 

L’électrification

Le bouleversement technologique qui s’observe déjà concerne l’électrification du parc automobile. Conscients que l’industrie automobile ne peut pas continuer à reposer uniquement sur les technologies de propulsion, de nombreux constructeurs se sont lancés dans une transition énergétique disruptive : les voitures « analogiques » fonctionnant grâce à des carburants fossiles vont progressivement céder la place à des véhicules entièrement électriques et donc zéro émission. 

Ainsi, en Europe, où le secteur du transport représente environ un quart des émissions de gaz à effet de serre et 30% des émissions de CO2, dont 72% proviennent de transport routier, il a été évalué que l’objectif de neutralité climatique d’ici 2050 ne pourrait pas être atteint sans l’introduction de mesures ambitieuses visant à réduire la dépendance du transport vis-à-vis des combustibles fossiles. Par conséquent, le nombre de véhicules électriques et hybrides rechargeables devrait passer de 1, 8 millions en 2019 à plus de 30 millions en 2030. 

Batteries à l’état solide

Le développement des batteries à l’état solide disposant d’un électrolyte solide peuvent être rechargées sensiblement plus vite que les batteries traditionnelles lithium-ions. Cela devrait stimuler les ventes de voitures électriques qui souffrent pour le moment de longs délais de recharge et de prix très élevés. 

Recharge par induction

En dehors de la technologie des batteries à l’état solide, l’industrie automobile dispose également de plans pour accélérer le développement de la voiture électrique, notamment la recharge par induction, une technique encore perfectible qui permettrait de se débarrasser des câbles de rechargement. 

Technologies spécifiques de la conduite autonome

Nous voici dans le vif du sujet. L’un des plus grands défis technologiques à relever en ce qui concerne les véhicules entièrement autonomes est celui du traitement des données. Un véhicule autonome devra être en mesure de traiter tellement de données qu’il faudra faire appel pour cela à des unités centrales de traitement (CPU) capables d’offrir des vitesses de calcul de plusieurs téraflops. Le véhicule autonome de niveau 5 sera certainement connecté, mais il devra être aussi suffisamment indépendant afin de pouvoir interpréter lui-même toutes les conditions de circulation et réagir de façon adéquate à la situation. Autrement dit, l’intégration harmonieuse des véhicules et du cloud permettant au véhicule de fonctionner simplement grâce à la connectivité n’est pas réaliste ; en effet, les réseaux peuvent tomber en panne et l’on se retrouverait alors avec un véhicule autonome roulant aveuglément car ne disposant plus des données nécessaires !

Par conséquent, il reste encore de nombreux défis à relever pour que le véhicule devienne entièrement autonome : la nécessité de pouvoir compter sur davantage de capteurs, la fiabilité et la sécurité, la détection à 360 degrés dans toutes les circonstances, l’intelligence artificielle, la localisation et, bien évidemment, la législation qui devra définir les normes. 

Technologie V2V et V2I

Les véhicules autonomes utilisent des données qui vont bien au-delà de ce qui est détecté par les nombreuses caméras, lidars et radars, comme par exemple des données en temps réel sur le trafic, les embouteillages et les accidents. Ils doivent donc être connectés à un serveur. Grâce à la connectivité, plusieurs constructeurs automobiles ont déjà développé des voitures automatisées pouvant anticiper et donc ralentir de manière préventive, ce qui améliore le confort et la sécurité au volant. Grâce aux technologies dites V2V (Vehicle-to-Vehicle) ou V2I (Vehicle-to-Infrastructure), cruciales pour le développement de la conduite autonome, les voitures connectées sont donc averties (ou s’avertissent mutuellement) lorsqu’elles se rapprochent d’une zone dangereuse. 

Intelligence artificielle

Grâce à l’arrivée de l’intelligence artificielle (IA) et de l’apprentissage automatique (AutoML), la voiture autonome peut offrir à ses occupants, tout en les menant d’un point A à un point B, un maximum de confort et de divertissement. 

Pour que l’ordinateur puisse analyser chaque situation concernant un véhicule, il faut créer une infrastructure capable de gérer des flux de données considérables. 1h30 de conduite en véhicule autonome génère 4 téraoctets de données, soit l’équivalent de 3 000 personnes qui naviguent sur Internet pendant 24h. Un million de voitures autonomes représentent autant de données que toute la population mondiale connectée sur Internet !

Une fois l’analyse effectuée, l’ordinateur doit être capable de prendre une décision dans des conditions de fiabilité et de sécurité maximum, et pour cela il doit pouvoir réaliser un volume de calcul de 30 milliards de milliards d’opérations, soit une capacité équivalente à 3 cerveaux humains !

Enfin, l’IA des véhicules passe par l’hyperconnectivité de l’automobile : les véhicules devront dialoguer en permanence avec l’environnement, les autres automobiles, l’infrastructure routière et les systèmes de géolocalisation. Pour garantir une précision suffisante, l’ordinateur embarqué devra être en mesure de valider sa position sur route au centimètre près, quelles que soient les conditions routières. Le développement de l’IA doit donc passer par l’émergence de nouveaux systèmes de communication comme la 5G.

La 5ème génération de réseaux mobiles permet des échanges de données beaucoup plus rapides entre les utilisateurs et les objets connectés. Elle est appelée à prendre une importance considérable dans le futur déploiement des véhicules autonomes en permettant l’intra-connectivité (analyse de la conduite en temps réel), l’extra-connectivité (les liaisons faites avec l’extérieur) et l’inter-connectivité (l’échange de données dans les deux sens, par exemple pour l’info trafic en temps réel, les GPS communautaires, l’antivol GPS). Le trafic sera fluidifié par les véhicules autonomes et les objets avec lesquels ils échangeront des informations. Si tous les acteurs de la révolution de la 5G et des véhicules autonomes prennent leur part dans cette révolution, la route deviendra un lieu plus sûr pour les conducteurts, les passagers et les piétons. Mais comment garantir qu’il en sera ainsi ?

Selon certaines prévisions, le marché de l’intelligence artificielle automobile, qui représentait environ 2 milliards de dollars en 2020, devrait croître à un rythme régulier au cours des prochaines années pour atteindre 25 milliards de dollars en 2028, soit un taux de croissance annuel moyen de 37%. 

La Mobilité comme un Service (Mobility-as-a-Service)

Le concept de Mobility-as-a-Service, « MaaS » en abrégé, va devenir de plus en plus populaire dans les années à venir. Comme nous l’avons vu plus haut, cette notion de mobilité en tant que service permet aux usagers de sélectionner à la carte l’une des nombreuses solutions de mobilité disponibles, qu’il s’agisse de services de covoiturage, d’autopartage, de vélos partagés ou des réseaux de transports publics, qui peuvent être aisément réservés et payés à l’aide d’une seule application. 

Hydrogène

L’hydrogène est susceptible de devenir un carburant sans CO2 utilisable pour toutes les formes de mobilité à venir, des voitures particulières aux camions et même aux navires. Bien que le manque d’infrastructures de ravitaillement soit le plus grand obstacle à l’heure actuelle, l’utilisation des voitures à hydrogène augmente rapidement et la construction de stations de ravitaillement en hydrogène devrait se développer fortement dans les prochaines années. 

L’arrivée des véhicules autonomes

Depuis le milieu des années 2010 se sont accumulés les signes d’un changement de paradigme dans l’industrie du transport, avec notamment l’avènement du véhicule autonome (self-driving vehicle) allant de la voiture individuelle jusqu’au train en passant par différentes formes de navette.

Les prévisions d’évolution du marché mondial de la seule voiture autonome sont difficiles à estimer compte tenu des différences très fortes entre les différents spécialistes de l’industrie :

Fortune Business Insights : $1,45 milliard de dollars en 2020, + 31,3% de taux de croissance annuel moyen sur la période 2021-2028

Mordor Intelligence : $230,97 milliards en 2020, +22,75% de taux de croissance annuel moyen sur la période 2021-2026

Market Data Forecast : $56,21 milliards en 2021, +36,47 de taux de croissance annuel moyen sur la période 2021-2026

Plus significatif, le World Economic Forum (WEF) a récemment identifié cinq grandes tendances de l’industrie mondiale du véhicule autonome : 

  1. Le basculement du marché des robots-taxis vers les camions et les véhicules de livraison autonomes. La vision de la mobilité servicielle (MaaS) – des robots-taxis pouvant aller n’importe où – s’est trouvée contrariée par des considérations mal évaluées au départ : une demande de services de transport partagé insuffisante, affectée depuis 2020 par la pandémie du COVID-19 (distanciation sociale), et des obstacles technologiques significatifs. Face au « désenchantement autonome » (autonomous disillusionment), les investisseurs se sont tournés vers l’offre de services concrets tels que la livraison d’épicerie, restreignant les fonctions autonomes aux autoroutes.
  2. L’accroissement du déploiement dans les zones urbaines denses. Bien qu’actuellement la plupart des projets-pilotes se déroulent dans les quartiers périphériques où les conditions de test sont plus favorables, le succès futur de l’industrie du véhicule autonome devrait dépendre du déploiement de solutions MaaS sans chauffeur sur le « dernier tronçon » dans les zones urbaines denses comme Beijing, New York, San Francisco ou encore Londres. D’ores et déjà, les firmes Cruise Automation (filiale de GM), Zoox (filiale d’Amazon) et Waymo (filiale de Google) testent leurs véhicules autonomes dans les rues très fréquentées de San Francisco, Mobileye (filiale d’Intel) fait de même dans les rues de New York City, tandis que AutoXBaidu et Didi Chuxing accélèrent le déploiement de leurs projets en Chine.
  3. La progressivité du déploiement à grande échelle des systèmes de conduite autonome. Contrairement aux prévisions très optimistes émises par certains industriels au milieu des années 2010, en particulier Elon Musk, les experts de l’industrie s’accordent aujourd’hui pour dire que l’expansion du véhicule autonome sera progressive au cours des dix prochaines années et qu’elle se fera région par région, dans des catégories de transport spécifiques et avec de fortes variations à travers le monde. Pour le moment, il n’existe qu’un seul exemple de véhicule autonome en service, celui de Waymo One qui propose un service de robot-taxi (ride-hailing service) à Phoenix (Arizona, États-Unis). Cruise et Nuro (le spécialiste de la livraison des courses à domicile) devraient suivre prochainement, respectivement à San Francisco et sur les voies publiques de Californie.
  4. Une industrie en pleine structuration. Les véhicules autonomes s’appuient sur des technologies coûteuses et complexes qui requièrent des investissements massifs en recherche-développement. C’est ainsi qu’Amazon a racheté Zoox (septembre 2019), Aurora la division « véhicule autonome » de Uber (décembre 2020) et Toyota celle de Lyft (avril 2021). Un consortium Autonomous Vehicle Computing Consortium (AVCC) s’est constitué avec Arm, Bosch, Continental, GM, Toyota, Nvidia, NXP et Denso, soit des fabricants de véhicules automobiles, des fabricants de composants électroniques et des fournisseurs de premier rang de l’industrie automobile.
  5. La recherche d’une approche harmonisée pour le partage des données entre diverses tierces parties. D’instinct, les firmes qui sont en position de collecter des grands volumes de données à partir de leurs capacités de test, de leurs opérations et de leurs analyses des comportements du consommateur répugnent à partager ces données avec d’autres parties prenantes, ne serait-ce qu’en raison du respect de la vie privée, de la cybersécurité et du besoin de conserver un avantage concurrentiel. Toutefois, il ne fait aucun doute que la fusion et l’analyse de toutes ces données permettrait de créer une valeur considérable pour l’ensemble de l’écosystème. Il est par conséquent probable que dans les années qui viennent, les entreprises chercheront à trouver des formules gagnantes les incitant à partager leurs données tout en minimisant les risques perçus.

Sustainable Mobility: Policy Making for Data Sharing. Source: Sustainable Mobility for All.

Source : Sustainable Mobility for All 

Les prévisions en ce qui concerne les véhicules autonomes présupposent que les habitudes de voyage ne seront pas changées : les déplacements continueront tandis que les voyageurs pourront travailler ou regarder la télévision au lieu de faire attention à la route. L’idée sous-jacente est que le trafic sera amélioré puisque la conduite autonome permettra, par exemple, de supprimer les écarts entre les voitures. Or, une étude publiée par des universités californiennes a montré que cette idée est fausse : libérés de la conduite manuelle, les utilisateurs choisiraient en fait de voyager plus souvent (+60% en moyenne), ce qui aurait comme conséquence d’aggraver la congestion sur les routes. Les jeunes non détenteurs d’un permis de conduire pourraient utiliser la voiture pour voyager seuls ; les personnes âgées qui n’aiment pas conduire la nuit pourraient utiliser leurs véhicules davantage.

Selon Google, le nombre de tués sur la route à travers le monde est de l’ordre de 1,2 million chaque année. En théorie, la voiture autonome devrait entraîner une forte réduction de ce chiffre (environ la moitié, selon certaines études), ce qui d’ailleurs constitue son principal avantage, mais en réalité les statistiques ne prennent pas en compte les dangers pouvant survenir de changements de comportement. 

Pour que les risques de congestion soient jugulés, il faudrait pouvoir compter sur le partage des voitures. Mais qui peut garantir que les conducteurs seront prêts, dans une proportion importante, à troquer leur propre véhicule contre un robot-taxi ? 

En l’absence d’études d’impact sérieuses sur le sujet, il y a donc un risque éthique dans la mesure où la voiture autonome, en aggravant les problèmes de congestion, irait à l’encontre des objectifs de l’accord de Paris sur le climat et d’autres objectifs de politique publique au service du bien-être des citoyens.

Par contre, si l’on exclut la voiture autonome – ce qui est le choix fait dans cette étude – l’autonomie peut être considérée comme une option éthique : le bus autonome, la navette autonome ou encore le train autonome ne soulèvent pas a priori de problèmes pour la collectivité en termes de climat, d’environnement ou de confort. 

Les graphiques ci-après montrent que si les investissements dans les technologies de la voiture autonome sont considérables (autonomie, connectivité, électrification, mobilité intelligente), leur impact en termes d’efficacité serait compromis par le fait que le nombre de voyages par véhicule augmenterait de manière significative. 

Les enjeux du véhicule autonome en Europe sont considérables. En effet, comme l’a montré le rapport du parlementaire Damien Pichereau, publié le 30 juillet 2021, sur « Le déploiement européen du véhicule autonome : pour un renforcement des projets européens » : « La France, mais aussi l’Allemagne, l’Italie, l’Espagne, l’Estonie, et plus généralement l’Union européenne ont la chance de posséder non seulement une industrie automobile puissante, des opérateurs de transport de premier plan, mais aussi des entreprises et des acteurs dynamiques capables d’innover. Cette industrie regroupe les constructeurs traditionnels de véhicules individuels, de poids lourds et de véhicules pour le transport public, leurs équipementiers, mais aussi les nouveaux constructeurs de navettes et de systèmes de transport autonomes pour la mobilité partagée. » 

Le transport collectif autonome sur route : bus, tramway, navette

Pendant plusieurs années les voitures autonomes ont fait la « une » des médias, mais depuis que l’excitation diminue ce sont les véhicules publics collectifs, et notamment les « navettes autonomes », qui retiennent l’attention.

Pour commencer, il faut savoir que la règlementation internationale considère trois catégories de véhicules à moteur ayant au moins quatre roues et affectés au transport de personnes :

  1. les véhicules comportant huit places assises au maximum (catégorie M1),
  2. les véhicules avec plus de huit places assises et ayant une masse maximale n’excédant pas 5 tonnes (catégorie M2),
  3. les véhicules comportant plus de huit places assises et ayant une masse maximale excédant 5 tonnes.

Les véhicules des catégories M1 et M2 appartiennent aux classes suivantes :

  1. Dans le cas des véhicules ayant une capacité supérieure à 22 voyageurs outre le conducteur, il existe trois classes :
    1. « Classe I » : les véhicules agencés pour transporter des voyageurs debout, afin de permettre les déplacements fréquents de voyageurs ;
    2. « Classe II » : les véhiculkes essentiellement agencés pour transporter des voyageurs assis et conçs pour permettre le transport de voyageurs debout dans l’allée et/ou dans un espace qui ne soit pas plus grand que celui prévu pour deux sièges jumelés ;
    3. « Classe III » : véhicules exclusivement agencés pour transporter des voyageurs assis ;
  2. Dans le cas des véhicules ayant une capacité ne dépassant pas 22 voyageurs outre le conducteur, il existe deux classes :
    1. « Classe A » : véhicules conçus pour le transport de voyageurs debout ;
    2. « Classe B » : véhicules non conçus pour le transport de voyageurs debout. 

Dès lors, en inscrivant dans le code de la route français une nouvelle catégorie de véhicules avec moins de huit places assises mais avec passagers debout, le décret français numéro 2018-1045 du 28 novembre 2018 relatif aux véhicules de transports urbains de personnes a permis de traduire dans la règlementation l’invention d’un nouveau véhicule : la navette. L’article R. 311-1 du code de la route caractérise désormais dans son point 6-13 cette nouvelle catégorie de véhicules, dans les termes suivants :

« Navette urbaine : véhicule à moteur conçu et construit pour le transport de personnes en agglomération, ne répondant pas aux définitions des catégories internationales M1, M2 ou M3 et ayant la capacité de transporter, outre le conducteur, neuf passagers au moins et seize passagers au plus, dont quatre ou cinq peuvent être assis ».

La France est en pointe dans l’expérimentation des véhicules publics collectifs circulant sur route, avec notamment les sociétés Navya et Easymile, toutes deux fondées en 2014, mais aussi Milla ou encore Transdev (via sa filiale ATS, qui devrait développer une navette d’ici 2023 en partenariat avec la société Mobileye et Lohr).

Mais les autres pays européens ne sont pas en reste : ZF (Allemagne) a racheté en 2019 la société néerlandaise 2getthere, fondée en 1984 et qui a déployé sa première navette autonome en 1997 ; Sensible 4 (Finlande), fondée en 2017 ; Auve (Estonie), fondée en 2017, avec une navette comportant huit sièges et qui fonctionne à l’hydrogène.

Les firmes européennes ont, plus tôt que leurs concurrentes américaines ou autres à travers le monde, identifié les navettes comme un marché plus pratique que celui des voitures individuelles pour atteindre le niveau 4 d’autonomie (aucune intervention humaine, mais les itinéraires de voyages sont relativement limités). Aucune entreprise en Europe n’a cherché à cibler le niveau 5, préférant toutes adopter une démarche réaliste autour d’un modèle économique clair dès le départ.

Les véhicules autonomes utilitaires, en général de forme parallépipédique et capables de transporter 12 à 15 personnes, sont conçus pour suivre des itinéraires fixes, souvent dans des espaces non publics tels que les centres de loisirs, les entrepôts, les aéroports ou les petites communautés. Ce confinement géographique (« geofencing ») réduit les variables et les obstacles tout en procurant un service confortable et bon marché. 

Selon une étude du Boston Consulting Group (BCG) sur l’avenir de la mobilité dans les grandes villes, les navettes autonomes devraient avoir un impact important en termes d’amélioration de la sécurité, de réduction des émissions et de congestion du trafic, de stimulation de la santé et d’abaissement des coûts. Le BCG prédit qu’en 2035 il devrait y avoir 10 millions de véhicules autonomes sur les routes, dont 4 millions de navettes. 

Le développement du marché se heurte toutefois à trois obstacles : les navettes emportent au plus 15 personnes quand les opérateurs de transport souhaiteraient qu’elles atteignent la taille d’un minibus et à terme d’un bus (environ 60 personnes) ; le modèle économique n’est pas encore rentable (la présence à bord d’un opérateur de sécurité ne permet pas de compenser le surcoût liés aux matériels supplémentaires à installer ainsi qu’au logiciel) ; la vitesse est limitée à 15-20 km/h (en raison des contraintes liées au temps d’acquisition des données par les capteurs et de traitement par l’ordinateur de bord) alors que les opérateurs voudraient pouvoir atteindre 30 à 50 km/h. 

La prochaine étape importante pour les navettes, mais aussi pour les tramways et les bus ou minibus, consistera à retirer l’opérateur de sécurité présent à bord du véhicule et à vérifier sa conduite à l’aide d’un superviseur. 

Le train autonome

Quasiment plus personne aujourd’hui ne s’étonne de monter à bord d’une navette sans conducteur dans un aéroport ou d’un métro dans le réseau de lignes d’une grande ville. Par contre, le concept de « train autonome » surprend encore, et parfois suscite la méfiance, voire le rejet. L’idée pourtant n’est pas nouvelle : le premier service de trains autonomes a ouvert à Kobe, au Japon, en… 1981 ! Aujourd’hui, quarante ans plus tard, les trains autonomes circulent dans une quarantaine de villes autour du monde, notamment à Copenhague, Paris, Singapour, Dubaï ou encore Londres.

Le premier train de fret autonome – AutoHaul – a démarré son service commercial en 2018 : développé par Hitachi Rail STS, ce train appartenant à l’entreprise Rio Tinto achemine le minerai de fer des mines australiennes jusqu’aux ports, sans personne à bord. Ce train classique est long de 2,5 km, et est composé de deux locomotives diesel tirant 240 wagons de minerais pour environ 28 000 tonnes. 

Les projets de conduite autonome sur les trains sont aujourd’hui nombreux, même si la plupart des citoyens l’ignorent. Certains visent à tester la conduite en présence d’un conducteur ou de personnel à bord tandis que d’autres circulent sans personnel à bord.

Comme pour les voitures autonomes, il existe plusieurs niveaux d’automatisme permettant de distinguer le « train autonome » du « train automatique ». Ces niveaux, désignés par l’acronyme GoA (Grades of Automation), ont été définis par l’association internationale du transport public (UITP) :

GoA1 : conduite manuelle contrôlée

GoA2 : accélération et freinage automatisés

GoA3 : conduite automatisée avec personnel à bord

GoA4 : train totalement autonome 

Caractéristiques des différents niveaux d’automatisme

Source : Smartrail40

Source : SNCF

En Europe, plusieurs projets ont été lancés à la fin des années 2010 et leur phadse d’exploitation commerciale pourrait démarrer en 2023. Automatic Train Operation (ATO) over European Control Train System (ETCS) est le système permettant la conduite automatique des trains, en respectant le système européen de contrôle des trains (ETCS), et les horaires de la mission. 

L’autopilote (ATO) a le même objectif qu’un conducteur de train, à savoir respecter la mission qui lui a été confiée, c’est-à-dire la fiche horaire. Le conducteur humain est sensé traverser telle gare ou tel point remarquable à telle heure. C’est avec cette fiche horaire qu’il gère la traction et le freinage du train, afin d’être ni en avance ni en retard. Pour respecter les horaires qui lui ont été confiés, l’autopilote s’appuie sur une première donnée d’entrée que l’on nomme le « profil de déplacement » (journey profile). Ce document comporte un ensemble d’informations permettant à l’autopilote de savoir où il est sensé aller, à quelle heure il doit passer des points remarquables, et s’il existe des contraintes particulières sur le réseau (ex : zones de restriction de vitesse, d’adhérence dégradée, d’inhibition de l’autopilotage).

Une seconde donnée d’entrée, baptisée le « profil de section » (segment profile), contient des informations – vitesse maximale de ligne, rampes, pentes, courbes – qui permettent à l’autopilote de savoir précisément comment gérer la traction et le freinage du train. 

La « partie sol » de l’ATO est l’intermédiaire entre la fiche horaire qui provient du système de gestion de trafic et l’autopilote dans le train auquel elle doit être transmise. Cet intermédiaire consiste en plusieurs serveurs fixes, connectés au système de gestion de trafic du gestionnaire d’infrastructure. 

A bord du train se trouve la « partie bord » de l’ATO. Lorsqu’elle est réveillée, elle connaît l’adresse IP de la partie sol de référence. Elle va ouvrir une liaison et demander à la partie sol si elle a une mission pour elle. Si c’est le cas, la partie sol lui envoie un profil de déplacement et les profils de section associés. La liaison entre les parties sol et bord peut utiliser le réseau 2G/3G/4G/5G ou bien le réseau mobile dédié aux applications ferroviaires (GSM-R).

Exemples de projets de train autonome

 Date de lancementActeursTechnologieObjectifs
Digitale S-Bahn Hamburg(Allemagne)2021Deutsche Bahn, SiemensATO over ETCSDavantage de capacité sans construction de nouvelles voies ; une exploitation plus robuste pour davantage de ponctualité ; une meilleure efficacité énergétique en optimisant la conduite des trains.
Système de conduite automatique des trains (ATO) pour les trains régionaux de voyageurs(Allemagne)2020ENNO, Alstom + Association régionale de la ville de Braunschweig, Université technique de Berlin (TU Berlin), Centre aérospatial allemand (DLR) pour explorer l’utilisation de l’IAATO over ETCSOptimiser les opérations ferroviaires régionales ; réduire la consommation d’énergie ; accroître le confort des voyageurs. 
Train de Fret Autonome(France)2018Alstom, Apsys, Capgemini, Hitachi, Railenium, SNCF ATO over ETCSDémontrer d’ici 2023 la faisabilité avec un prototype sur plusieurs jalons : conduite semi-autonome sous signalisation européenne ERTMS, conduite semi-autonome sous signalisation latérale, conduite GoA4 avec gestion des aléas ; mener les études système, afin d’aboutir à un cahier des charges en fin de projet.
Train Autonome TER (France)2016Alstom, Bosch, Institut de recherche technologique Railenium, SNCF, Spirops, ThalesCapteurs, caméras, radars laserDéveloppement d’un système de conduite en sécurité de locomotives depuis un site à distance. 
AutoHaul®(Australie)2017Hitachi Rail STS, Rio Tinto Acheminer le minerai de fer des mines australiennes jusqu’aux ports, sans personne à bord (objectif : 360 millions de tonnes par an).
Automatic Train Operation(Finlande)2018Proxion, VTT, Teräspyörä Oy, Electric Power Finland OyATO over ETCS à GoA4Développer des services de fret ferroviaire industriels sur des distances courtes entre des usines ou vers des ports ; réduire les émissions de CO2 ; améliorer la sécurité et la compétitivité économique. 
Trains autonomes grande vitesse (Japon) East Japan RailwayWest Japan railwayKyushu Railway5GPlusieurs projets de trains totalement autonomes grande vitesse

Source: PromEthosIA 

Ajoutons qu’au Brésil la ligne 4 du système de métro de Sao Paulo est totalement automatisée : jusqu’à 800 000 passagers sont transportés chaque jour sur une distance de onze kilomètres à travers l’une des villes les plus peuplées de la planète.

L’intelligence artificielle peut être utilisée pour de multiples applications :

  • La gestion des opérations en temps réel
  • L’analyse du consommateur
  • La billetterie en ligne
  • La maintenance prédictive
  • L’établissement des horaires et le calendrier
  • La programmation des itinéraires multimodaux 
  • La gestion des interruptions de service

Les avantages de l’IA sont multiples : 

  • Vitesse, freinage et accélération optimisées, ce qui permet, entre autres, de réduire la consommation d’énergie (jusqu’à 30%).
  • Accroissement de la capacité et de la fiabilité du réseau.
  • Repérage des actes de vandalisme ou de vol avant qu’ils constituent une menace pour les passagers.
  • Réduction du besoin de réparation des voies.
  • Utilisation de la géolocalisation pour alerter les opérateurs des risques survenant sur le réseau.
  • Utilisation des capteurs pour identifier les obstacles et calculer leur distance par rapport au train, même dans l’obscurité, et ce de façon plus rapide et plus précise que l’œil humain.
  • Augmentation de l’expérience des passagers qui, par exemple, sont avertis de l’emplacement du siège disponible le plus proche ou de l’endroit précis où il faut se tenir sur le quai.
  • Exploitation des données pour aider les logisticiens des chaînes d’approvisionnement à optimiser les itinéraires et à maximiser la capacité, en réduisant les inefficacités causées par les conteneurs vides. 

Le train autonome est en principe la source de multiples avantages, pour les gestionnaires d’infrastructures de réseaux, les industriels, les passagers, et les autres parties prenantes du système ferroviaire. Un premier enjeu éthique se pose néanmoins : le train autonome, nous l’avons vu, se met en place progressivement dans le monde entier sans que son déploiement commercial ait fait l’objet d’une concertation préalable entre ses promoteurs et la société : les citoyens ne sont pas pleinement informés des enjeux et des avantages pour eux du train autonome, ni des risques éventuels que celui-ci pourrait occasionner. Aucun débat démocratique contradictoire n’est tenu, ce qui implique, au bout du compte, que le consentement éventuellement donné par les individus est dénué de toute signification par manque d’information objective. 

La navigation maritime autonome

A l’époque de la marine à voile, les équipages étaient nombreux pour manœuvrer les grands clippers, puis avec la motorisation, l’automatisation et la conteneurisation, les équipages se sont réduits inexorablement. La question aujourd’hui n’est pas de savoir si un navire peut se passer de son équipage mais plutôt quand les nouvelles technologies numériques, de l’intelligence artificielle aux communications satellites, permettront de déployer des flottes de navires autonomes capables de naviguer en haute mer sans aucune présence humaine à bord.

La notion d’autonomie peut renvoyer à l’aspect énergétique. Il est alors question de l’autonomie au regard de la propulsion du navire. Ce qui nous intéresse ici est l’autonomie de conduite, c’est-à-dire celle qui concerne des navires sans équipage (unmanned ship). Le navire possède sa propre « intelligence », lui permettant d’analyser seul l’environnement dans lequel il se déplace grâce à une série de capteurs, de prendre lui-même les décisions requises et de mettre en œuvre les actions que le système à bord aura déterminé en fonction de plusieurs facteurs comprenant les règles internationales pour prévenir les abordages en mer (RIPAM), les considérations météorologiques et l’optimisation des routes. 

Un ensemble de termes se sont développés pour caractériser la nouvelle réalité de la navigation autonome. Ainsi coexistent les notions de smart shipping, autonomous vessel, remote ship, unmanned vessel, remotely operated vehicle (ROV), unmanned surface vehicle (USV), drones, voire même ghost ship. La pluralité de ces notions caractérise la diversité des degrés d’autonomie qui peuvent s’appliquer :

  • la notion de smart ship est employée pour définir un navire autonome à la fois en énergie et en équipage ;
  • la notion de navire autonome (autonomous ship) caractérise un navire qui aura vocation à naviguer seul grâce à un ordinateur de bord, sans aucune assistance humaine à bord ou à terre ;
  • la notion de navire sans équipage (unmanned vessel) vise un navire naviguant sans équipage, sans marin à son bord, mais en contact à terre avec un centre de contrôle capable d’intervenir à tout moment en cas de besoin et pour les opérations complexes qui ne pourront être effectuées par le navire seul ;
  • la notion de navire téléguidé ou opéré à distance (remote vessel) est utilisée lorsque le navire navigue sans capitaine ni marin à bord, mais est contrôlé à distance et entièrement opéré à partir d’un centre à terre par un officier de la marine marchande, en charge de la navigation, ainsi que par divers opérateurs en charge de la maintenance à distance du navire ;
  • la notion de drones maritimes désigne des petits équipements pilotés à distance, mais souvent reliés à un navire-mère et considérés comme leur accessoire. 

Les promoteurs de la navigation autonome assurent que le concept est garant d’une sécurisation accrue de la navigation, d’une augmentation de la rentabilité de l’exploitation maritime, et de la préservation environnementale. Toutefois, le navire autonome soulève des questions juridiques majeures, notamment par le fait qu’il ne satisfait pas à la condition de navigabilité (« un navire doit être doté d’un équipage suffisant et compétent »). 

La navigation autonome a reçu jusqu’à présent une attention moindre que les autres modes de transport, mais c’est pourtant le domaine où l’autonomie pourrait avoir le plus d’impact. Selon Allied Market Research, le marché mondial des navires autonomes pourrait atteindre $165,61 milliards en 2030, soit un taux de croissance annuel moyen de 6,8%.

En 2018, Rolls-Royce et Finferries, la compagnie publique de navigation finlandaise, ont fait la démonstration du premier car-ferry pleinement autonome, près de Turku. En Corée du Sud, SK Telecom et Samsung ont testé une plate-forme pour le contrôle de la navigation d’un bateau situé à 250 kilomètres du centre des opérations, grâce à un radar spécialisé connecté au réseau 5G. Le navire était donc équipé d’un capteur Lidar capable de détecter les obstacles se présentant à lui lors de sa navigation, le tout connecté au réseau 5G. Selon SK Telecom, il parvint à destination tout en réussissant à éviter chaque obstacle sur son parcours. Grâce au réseau 5G de SK Telecom, la surveillance et le contrôle de la navigation purent se faire sans aucun problème. 

La navigation autonome représente a priori un défi moins important que la voiture autonome ou l’avion autonome. Le trafic est moindre sur les mers et les problèmes mettent davantage de temps à survenir. Mais d’un autre côté, les obstacles sont colossaux, car les navires doivent affronter souvent des conditions de fonctionnement extrêmes ainsi qu’une connectivité incertaine. Les systèmes de reconnaissance d’images fonctionnent imparfaitement au cours d’une tempête survenant en plein milieu de l’océan atlantique, avec un faible accès internet et alors que le navire se balance de haut en bas sur les vagues. Par ailleurs, les conditions de fonctionnement sont très différentes selon que la navigation s’effectue en pleine mer, le long d’un littoral or dans des havres et des ports encombrés. 

Le vol autonome

Le cabinet de conseil McKinsey a indiqué que les investisseurs avaient dépensé en 2021 plus de 7 milliards de dollars dans tous les types de solutions innovantes pour la mobilité aérienne, soit le double des sommes investies au cours des dix années précédentes. Depuis 2010, les financements se seraient élevés à 12,7 milliards de dollars. 

L’avion électrique et l’avion à hydrogène devraient se développer rapidement, car ils apportent des solutions à l’objectif de décarbonation de l’aviation et à l’impératif de réduction des coûts de l’industrie. Mais aussi étonnant, révolutionnaire, fictif ou farfelu que cela puisse paraître, l’avenir contiendra aussi le vol autonome ! Les cartons se remplissent de nouveaux projets chaque année dans les entreprises et les laboratoires de recherche : la voiture volante, le taxi volant, et bien sûr l’avion autonome.

Les enjeux éthiques seront considérables. Tout d’abord, parce que l’innovation disruptive, et non simplement incrémentale, que le vol autonome représente sera déployée, comme à chaque fois, sans concertation préalable au sein de la société, sans contrôle démocratique. Elle sera imposée par les entreprises au nom du « progrès », notamment du « transport durable », alors qu’elle entraîne, comment le nier, une transformation majeure dans la mobilité personnelle et collective.

Ensuite, parce qu’il se posera la question de la responsabilité en cas d’accident. L’accident pourra provenir d’une faille dans la sécurité externe (météo, hacking, terrorisme, etc.) ou d’un incident quelconque à bord de l’engin, en relation avec le comportement anormal d’un passager ou un manque de fiabilité technique. Faudra-t-il alors, pour désigner le(s) responsable(s), incriminer les passagers, le système d’intelligence artificielle, le centre de contrôle au sol, l’entreprise qui a fabriqué l’engin ou encore l’équipe d’ingénieurs qui l’aura conçu, le régulateur qui aura accordé un certificat de navigabilité ? 

La voiture volante

Au début de 2022, l’autorité des Transports en Slovaquie a délivré un certificat de navigabilité à une voiture volante capable d’atteindre des vitesses supérieures à 160 km/h et des altitudes au-dessus de 2.500 mètres (8.000 pieds). Ce véhicule hybride voiture/avion, nommé AirCar, est doté d’un moteur BMW et peut rouler avec du carburant provenant d’une pompe à essence normale. Il faut deux minutes et quinze secondes pour transformer la voiture en aéronef, un peu comme dans cet ancien film de « Fantômas » où l’ennemi public numéro un pouvait utiliser sa Citroën DS comme une voiture ou comme un avion. Après un premier test réussi en Slovaquie, l’on parle déjà d’un prochain vol de Paris jusqu’à Londres !

Alors, verrons-nous des voitures volantes dans un avenir proche ? Rien n’est moins sûr, car ce type de transport personnel occupe une niche minuscule sur le marché du transport autonome. Et, bien sûr, il n’est pas « collectif ». En revanche, la faisabilité semble prouvée, et par conséquent il serait surprenant que le véhicule volant n’ait aucun avenir significatif.

Le taxi volant

Certains prédisent d’ailleurs que la prochaine révolution dans le vol concernera les aéronefs électriques à décollage et atterrissage verticaux (eVTOL). On les nomme « taxis volants » qui ressemblent à des drones planants utilisant de multiples petits rotors pour décoller et atterrir tels un hélicoptère. Ils devraient être bien adaptés pour proposer aux voyageurs des services de transport courte distance dans les grandes zones urbaines, par exemple pour les passagers entre les aéroports et les centres-villes. Le cabinet de conseil McKinsey a compté environ 200 projets de ce type dans le monde et comptabilisé 5,1 milliards de dollars d’investissements rien qu’en 2021. Un exemple de taxi volant est Prosperity I, un produit conçu par la firme chinoise AutoFlight qui fait appel intelligemment à des universitaires et des spécialistes de l’industrie pour convaincre les régulateurs européens de la sécurité aérienne de l’approuver. Un autre exemple de eVTOL est eh216, un taxi volant conçu par la firme chinoise EHang pouvant accueillir deux passagers et voler sans pilote. Cet engin, qui est en fait dirigé par un centre de contrôle au sol, a un rayon de 35 kilomètres entre les charges et peut atteindre 130 km/h. Mais la Chine n’est pas seule, car Airbus et Boeing, mais aussi Uber, Bell, Volocopter, Aston Martin ou encore le motoriste Rolls-Royce se sont lancés dans des projets ambitieux similaires.

Ainsi, par exemple, Airbus a lancé dès 2016, via sa filiale Vahana, un projet ambitieux de taxi volant. Le prototype Alpha One de Vahana a effectué son premier vol de test, d’une durée de 53 secondes, en février 2018 ; il fut suivi un an plus tard d’un vol plus complet montrant notamment la transition entre le décollage vertical et le vol horizontal grâce aux rotors basculants de l’aéronef. Un second prototype a vu le jour en 2019, concentré sur l’étude du cockpit. De son côté, Boeing vient d’investir 450 millions de dollars dans une joint-venture existante basée en Californie, Wisk Aero, en vue de développer des taxis volants autonomes. 

Il faut souligner que la coopération internationale se développe rapidement. Ainsi, la firme chinoise Hyundai a investi dans une startup britannique, Urban-Air Port, afin de construire au cours des cinq prochaines années 200 hubs destinés à des taxis volants dans 65 villes différentes. L’idée est intéressante, car en effet les eVTOL pourront difficilement décoller et se poser en utilisant les infrastructures routières actuelles ; il leur faudra des « vertiports ».

L’avion autonome

Les compagnies aériennes membres de l’Association internationale du transport aérien (IATA), qui compte actuellement 290 compagnies membres représentant 82% du trafic aérien mondial avant la pandémie de Covid-19, se sont engagées à atteindre « zéro émission nette de CO2 » d’ici à 2050. Un objectif déjà adopté par le secteur aérien européen. C’est évidemment un défi considérable puisque l’industrie aéronautique devra progressivement réduire ses émissions tout en répondant à la demande croissante des futurs passagers. Or, dans les conditions actuelles, pour pouvoir répondre aux besoins des dix milliards de personnes qui prendront vraisemblablement l’avion en 2050, il faudrait émettre 1,8 gigatonne de carbone pour cette seule année, soit le double du niveau observé en 2019. En cumulé depuis 2020, la réduction nécessaire dépasserait 21 gigatonnes de carbone en trente ans ! 

La solution se trouve dans la technologie. Quatre technologies sont privilégiées pour le moment : le fuselage intégré (configuration hybride aile-fuselage), le contrôle de flux actif, les nouveaux concepts de moteur, le vol sans train d’atterrissage grâce au décollage et à l’atterrissage par alimentation en surface. 

Pourtant, une autre option semble gagner en crédibilité : le vol autonome, sans pilote, pleinement automatique. Les passagers seraient accueillis et servis à bord par des robots, ce qui permettrait de ne plus avoir d’équipage de cabine. Évidemment, pour que cela soit possible, il faudra disposer notamment d’équipements de guidage et de contrôle ainsi que de systèmes « voir et éviter » totalement fiables, de liaisons de données sûres, à l’épreuve des attaques et bon marché, de systèmes automatiques de positionnement des avions afin de pouvoir éviter le contrôle du trafic aérien. A l’heure actuelle, aucune autorité ne délivrera de certificat pour voler de façon autonome, mais à l’horizon 2040 les avions-cargo et les petits avions devraient pouvoir constituer les premières applications du vol autonome. 

Il n’est pas surprenant que Airbus et Boeing soient déjà sur les rangs pour une future industrialisation de l’avion autonome. En juin 2020, Airbus a expliqué avoir achevé une série de 500 vols-tests dans le cadre de son projet d’avion de ligne autonome, baptisé « Autonomous Taxi, Take-Off and Landing » (ATTOL) pour le roulage, le décollage et l’atterrissage. La plupart de ces vols-tests ont servi à collecter les enregistrements vidéo dans le but d’entraîner l’intelligence artificielle. L’avion utilisé par Airbus – le A350-1000 XWB – était équipé de caméras qui, couplées avec l’intelligence artificielle intégrant une technologie de reconnaissance d’image, aidaient les pilotes à guider l’avion au sol. 

ANNEXE 2 : Le projet de règlemmais nomaisent européen sur l’intelligence artificielle

La Commission européenne a élaboré un projet de réglementation européenne sur l’intelligence artificielle en avril 2021. (Proposition de règlement du parlement européen et du conseil établissant des règles harmonisées concernant l’intelligence artificielle (législation sur l’intelligence artificielle) et modifiant certains actes législatifs de l’union COM/2021/206 final https://eur-lex.europa.eu/legal-content/FR/TXT/?uri=CELEX:52021PC0206) qui fait l’objet de négociations en cours et qui n’est par conséquent pas stabilisé. Nous n’entrerons donc pas dans les détails de ce texte. 

Les règles qu’il contient suivent une approche fondée sur le niveau de risque que peuvent engendrer les différents « systèmes d’intelligence artificielle », selon leur nature et leur objet :

Risques inacceptables : « La liste des pratiques interdites figurant au titre II comprend tous les systèmes d’IA dont l’utilisation est considérée comme inacceptable car contraire aux valeurs de l’Union, par exemple en raison de violations des droits fondamentaux. Les interdictions portent sur les pratiques qui présentent un risque important de manipuler des personnes par des techniques subliminales agissant sur leur inconscient, ou d’exploiter les vulnérabilités de groupes vulnérables spécifiques tels que les enfants ou les personnes handicapées afin d’altérer sensiblement leur comportement d’une manière susceptible de causer un préjudice psychologique ou physique à la personne concernée ou à une autre personne. D’autres pratiques de manipulation ou d’exploitation visant les adultes et susceptibles d’être facilitées par des systèmes d’IA pourraient être couvertes par les actes existants sur la protection des données, la protection des consommateurs et les services numériques, qui garantissent que les personnes physiques sont correctement informées et peuvent choisir librement de ne pas être soumises à un profilage ou à d’autres pratiques susceptibles de modifier leur comportement. La proposition interdit également la notation sociale fondée sur l’IA effectuée à des fins générales par les autorités publiques. Enfin, l’utilisation de systèmes d’identification biométrique à distance « en temps réel» dans des espaces accessibles au public à des fins répressives est également interdite, à moins que certaines exceptions limitées ne s’appliquent »[29].

Risques élevés : « les systèmes d’IA présentent un risque de préjudice pour la santé et la sécurité » (article 7 du projet de règlement précité). Selon le cabinet NOMOS « Il s’agit par exemple : (i) de systèmes utilisés dans certaines infrastructures critiques qui sont susceptibles de mettre en danger la vie et la santé des personnes ; (ii) de systèmes utilisés dans le domaine du maintien de l’ordre qui sont susceptibles d’interférer avec les droits fondamentaux des personnes ; (iii) de systèmes d’identification biométrique à distance ; ou encore (iv) de systèmes utilisés dans l’administration de la justice et des processus démocratiques ».

Dès lors qu’elle ne se fait pas en temps réel, la reconnaissance faciale pour l’identification des personnes est considérée comme un système d’intelligence artificielle à haut risque et devrait par conséquent être encadrée par la nouvelle règlementation. 

De même selon l’annexe III du projet de règlement les systèmes d’intelligence artificielle destinés à être utilisés en tant que composants de sécurité dans la gestion et l’exploitation du trafic routier (ceci semble inclure par conséquent les véhicules autonomes) sont considérés à haut risque. 

Selon le cabinet NOMOS, les « risques limités concernent les systèmes d’intelligence artificielle identifiés à l’article 52 du projet de règlement, et qui comprennent notamment les chatbots ou les deep fakes ». Ces systèmes pourront continuer d’être utilisés à condition de respecter certaines obligations de transparence vis-à-vis des utilisateurs.

Risques minimes : selon la Commission européenne, la grande majorité des systèmes d’intelligence artificielle correspondent à cette catégorie, qui recouvre notamment les jeux vidéo ou les filtres anti-spam intelligents. L’utilisation de ces systèmes ne sera pas soumise au respect d’obligations supplémentaires.


[1]       Cf. Projet de règlement européen, Titre II, 5.2.2. Pratiques d’intelligence artificielle interdites.


[1]       Source : Autonomous Transportation Will Arrive Faster Than Predicted And Afford Bigger Business Opportunities, Forbes, 29 juin 2020.

[2]       Source : Keolis, https://www.keolis.com/fr/notre-offre/offre-transport/vehicules-autonomes

[3]       https://unfccc.int/fr/processus-et-reunions/l-accord-de-paris/l-accord-de-paris

[4]       https://public.wmo.int/en/resources/united_in_science

[5]       https://ec.europa.eu/info/strategy/priorities-2019-2024/european-green-deal_fr

[6]       COM(2021) 550 final, « Ajustement à l’objectif 55 : atteindre l’objectif climatique de l’UE à l’horizon 2030 sur la voie de la neutralité climatique »,               
https://eur-lex.europa.eu/legal-content/FR/TXT/PDF/?uri=CELEX:52021DC0550&from=FR


[1]       Source : fondation MAIF pour la recherche, « Voiture autonome : sans les mains mais pas sans risques ».

[2]       Source : Commission européenne, Direction générale de la recherche et de l’innovation, Ethics of connected and automated vehicles : recommendations on road safety, privacy, fairness, explainability and responsibility, Publications Office, 2020. 

[3]       Article Les sciences de l’ingénieur : Les véhicules autonomes sont également vulnérables aux défis de cybersécurité touchant les capteurs physiques, les contrôles et leurs mécanismes de connexion https://www.techniques-ingenieur.fr/actualite/articles/vehicules-autonomes-les-risques-lies-a-la-cybersecurite-doivent-etre-mieux-pris-en-compte-91530/#:~:text=Les%20v%C3%A9hicules%20autonomes%20sont%20%C3%A9galement,que%20la%20situation%20est%20alarmante

[4]       Avec ce test, le train autonome n’est plus très loin : Usine nouvelle : https://www.usinenouvelle.com/editorial/video-avec-ce-test-reussi-de-la-sncf-le-train-autonome-n-est-plus-tres-loin.N1787647. Article sur véhicule FLexy SNCF. https://www.usine-digitale.fr/article/la-sncf-lance-flexy-un-vehicule-qui-peut-passer-de-la-route-aux-rails.N1802757

[5]       Source : Financial Times, « Tesla powers up plan for full self-driving cars », 20/10/2016.

[6]       Source : Financial Times, « US opens formal probe into Tesla’s Autopilot technology », 16/08/2021.


[1] Les systèmes de vidéoprotection sans intelligence artificielle et utilisés pour des raisons de sécurité publique, sont régis en France par les articles L251-1 à L251-8 de Code de Sécurité Intérieure (CSI) qui subordonne leur installation à l’autorisation du préfet territorialement compétent. Dès lors qu’ils permettent l’identification de personnes, ils doivent également respecter les dispositions de la loi n° 78-17. du 6 janvier 1978 relative à l’informatique, aux fichiers et aux libertés concernant le respect des données personnelles. Cette loi a transposé en droit français le Règlement sur la protection des données personnelles (Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016, relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE, RGPD).

[2] Les « dispositifs de vidéo augmentée ou intelligente » sont définis comme « des dispositifs vidéo auxquels sont associés des traitements algorithmiques mis en œuvre par des logiciels, permettant une analyse automatique, en temps réel et en continu, des images captées par la caméra » (projet de position relative aux conditions de déploiement des caméras dites intelligentes ou augmentées dans les espaces publics ayant fait l’objet d’une consultation publique lancée le 14 janvier 2022 cnil.fr/fr/cameras-dites-intelligentes-ou-augmentees-dans-les-espaces publics). En principe, dans les systèmes de vidéo augmentée un être humain reste présent dans le dispositif : il voit la situation et décide d’agir alors que dans le système de vidéo intelligente ou automatisée, l’algorithme fait tout et déclenche automatiquement l’alerte. Ces deux termes sont souvent utilisés indifféremment alors qu’ils revêtent des processus d’automatisation distincts. Nous n’entrerons pas dans le cadre de cette étude dans ce débat linguistique.

[3] La reconnaissance faciale est une technologie informatique qui permet de reconnaître automatiquement une personne sur la base de son visage. Pour cela, elle utilise des données biométriques. La reconnaissance faciale se fait en trois temps : 1) la détection du visage, suivie de son alignement, afin de localiser le visage d’un individu sur une image et d’en délimiter les contours à l’intérieur d’un champ ; 2) l’extraction des caractéristiques du visage et leur transformation informatique en modèle ou « gabarit » pouvant être utilisé pour la tâche de reconnaissance proprement dite ; 3) la reconnaissance du visage en recherchant une correspondance entre le gabarit et un ou plusieurs autres gabarits contenus dans une base de données. Dans le cas de la biométrie faciale, un capteur 2D ou 3D « saisit » un visage, puis le transforme en données numériques par l’opération d’un algorithme et le compare à une base de données. 

[4] Cf. « Une reconnaissance faciale éthique : un oxymore ? », PromEthosIA, avril 2020.

[5] Cf. « NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software”, 19/12/2019.

[6] La protection de L’article 9 du RGPD précité prévoit de façon claire le principe d’interdiction des traitements de données biométriques permettant d’identifier une personne de façon unique sans consentement préalable ou en dehors de toute base légale. Le principe est donc l’interdiction de la reconnaissance faciale mais uniquement en ce qui concerne l’identification des personnes. L’interdiction ne vise ni l’authentification des personnes ni leur classification.

[7] https://www.neurofeedback-neuroscience.fr/neurofeedback/

[8] https://www.objetconnecte.com/nissan-projet-brain-to-vehicule-401/

[9] https://www.prnewswire.com/fr/communiques-de-presse/hyundai-mobis-utilise-des-ondes-cerebrales-dans-la-technologie-adas-pour-la-premiere-fois-au-monde-813096887.html)

[10] Vidal C. (2019), Nos cerveaux resteront-ils humains ? Éditions Le Pommier.
Vidal C. (2020), Les neurotechnologies sous l’œil de la nouvelle loi de bioéthique, The Conversation, https://theconversation.com/les-neurotechnologies-sous-loeil-de-la-nouvelle-loi-de-bioethique-129568

[11] http://www.oecd.org/fr/sti/tech-emergentes/recommandation-innovation-responsable-dans-le-domaine-des-neurotechnologies.htm

[12] Rapport du Conseil de l’Europe, Défis communs en matière de droits de l’Homme soulevés par les différentes applications des neurotechnologies dans le domaine biomédical : https://rm.coe.int/report-final-fr/1680a43841
Rapport UNESCO : https://unesdoc.unesco.org/ark:/48223/pf0000378724

[13] www.actuia.com/actualite/chili-que-signifie-le-vote-a-lunanimite-du-projet-de-loi-sur-lexploitation-des-neurotechnologies/

[14] https://www.legifrance.gouv.fr/jorf/id/JORFTEXT000043884384

[15] https://portail-ie.fr/analysis/2371/ethique-et-intelligence-artificielle-lexperience-morale-machine

[16] Hubert Etienne, « The dark side of the ‘Moral Machine’ and the fallacy of computational ethical decision-making for autonomous vehicles ».

[17] Source : fondation MAIF pour la recherche, « Voiture autonome : sans les mains mais pas sans risques ».

[18] Source : Commission européenne, Direction générale de la recherche et de l’innovation, Ethics of connected and automated vehicles : recommendations on road safety, privacy, fairness, explainability and responsibility, Publications Office, 2020. 

[19] Article Les sciences de l’ingénieur : Les véhicules autonomes sont également vulnérables aux défis de cybersécurité touchant les capteurs physiques, les contrôles et leurs mécanismes de connexion https://www.techniques-ingenieur.fr/actualite/articles/vehicules-autonomes-les-risques-lies-a-la-cybersecurite-doivent-etre-mieux-pris-en-compte-91530/#:~:text=Les%20v%C3%A9hicules%20autonomes%20sont%20%C3%A9galement,que%20la%20situation%20est%20alarmante

[20] Avec ce test, le train autonome n’est plus très loin : Usine nouvelle : https://www.usinenouvelle.com/editorial/video-avec-ce-test-reussi-de-la-sncf-le-train-autonome-n-est-plus-tres-loin.N1787647. Article sur véhicule FLexy SNCF. https://www.usine-digitale.fr/article/la-sncf-lance-flexy-un-vehicule-qui-peut-passer-de-la-route-aux-rails.N1802757

[21] Source : Financial Times, « Tesla powers up plan for full self-driving cars », 20/10/2016.

[22] Source : Financial Times, « US opens formal probe into Tesla’s Autopilot technology », 16/08/2021.

[23] Source : Autonomous Transportation Will Arrive Faster Than Predicted And Afford Bigger Business Opportunities, Forbes, 29 juin 2020.

[24] Source : Keolis, https://www.keolis.com/fr/notre-offre/offre-transport/vehicules-autonomes

[25] https://unfccc.int/fr/processus-et-reunions/l-accord-de-paris/l-accord-de-paris

[26] https://public.wmo.int/en/resources/united_in_science

[27] https://ec.europa.eu/info/strategy/priorities-2019-2024/european-green-deal_fr

[28] COM(2021) 550 final, « Ajustement à l’objectif 55 : atteindre l’objectif climatique de l’UE à l’horizon 2030 sur la voie de la neutralité climatique »,       
https://eur-lex.europa.eu/legal-content/FR/TXT/PDF/?uri=CELEX:52021DC0550&from=FR

How technology can transform healthcare in Africa ?

Santé

Alexandra Fieux-Castagnet

August 2021

INTRODUCTION

Africa is the most challenging continent for health. Major progress has been done these last decades: treatment of HIV, malaria, etc. But on the other hands, chronic diseases such as diabetes, heart diseases, sickle cell anemia are rising.1 Sub-Saharan Africa has the worst healthcare of the world, according to the World Bank: only 1% of global health expenditures and 3% of world’s health workers. Since the 90s, digital is the promise of more accessible, better quality and fairer health, but telemedicine projects in the late 1990’ failed to improve access in Africa. How technology can transform healthcare in Africa today? We will tackle three challenges technology can help to take up: insufficient infrastructures that isolate some territories, shortage of doctors and health professionals and lack of data. 

How technology can direct limited medical resources where they are the most needed

Drones to transport resources in isolated territories 

Road density has decline in sub-Saharan Africa over the last two decades and less than half the population has access to electricity.Reaching these populations is a challenge, from knowing their needs to providing them with what they require. This involves unpredictable and often discouraging delays in the case of serious health problems. Drones, enduring most weather conditions, able to land almost anywhere, fast and able to carry heavy loads seem an ideal way of transport. Zipline has done a partnership with Novartis to deliver sickle-cell medicines by drone in Ghana2. Doctors place orders through an app, medical products, stored at Zipline’s centers, are packaged and flown within 30 min to any destination and then dropped with a parachute. Similarly, in 2019, South African National Blood Service start using drones to transport blood. Two thirds of death due to pregnancy take place in sub-Saharan Africa: this can help to tackle the huge mortality rate among women giving birth. 

Securing supplies to target patients efficiently  

With the increase in the number of chronically ill patients in Africa, the recurrent need for medicines is growing. In Gauteng, a South African province, Pelebox, a smart locker system, provide patients suffering from chronic illnesses their medicines. To unlock the box, the patient receives an SMS message with a unique code. Logistimo has constituted a medicines pack with birth control pills, HIV treatments, and other treatments against sexually transmitted infections, often contracted through rape. The local staff can notify Logistimo when stocks run short by text message. 

Ensuring optimal transport and storage conditions

Some medicines, such as vaccines, require very specific temperature and humidity conditions or they may expire prematurely. However, there is rarely dedicated transport for medicines with specific equipment, especially to the most remote areas. When trips are long, weather conditions are extreme and equipment is not refrigerated, it is important to stabilize the vaccine environment by other means. 37% of the vaccines may be lost due to bad conditions during transport and stockage.3 Most vaccines must be kept between 2°C and 8°C, but against all odds, freezing is the bigger risk. Parsyl is a software company that monitors supply chains of sensitive goods such as vaccines. Wireless sensors are placed inside refrigerators and alert the carriers all along the supply chain. In retrospect, the data can be analyzed to understand which stage of the supply chain compromised the proper storage of vaccines in order to make the necessary investments and adjustments.

How technology can help relieve the pressure on health care structures and staff 

Africa is experiencing a massive exodus of healthcare professionals to Western Europe and North America.

Take advantage of the wide penetration of the mobile phone to help patients at a distance

Mobile phone penetration is high in Africa: according to GSMA, smartphone connections in the region reached 302m in 2018 and are expected to rise to 700m by 2025. As SMS text messaging has become widespread, remote access to advice and diagnosis through apps is blowing up in Africa. Hello Doctor, in South Africa, provide information, advice and call back from a doctor for $3 a month. More simply, a simple SMS message, through even rudimentary mobile phones with low bandwidth, can transmit health prevention message and nudge to take medicines for tuberculosis or HIV.4 MomConnect operates through WhatsApp and free text messages to help pregnant women. Two thirds of pregnant women are actually using it in South Africa. It has since been replicated in Uganda through a Unicef program, FamilyConnect.5

The Praekelt Foundation has produced a Covid-19 messaging platform and is planning to launch a service that will prompt stable HIV and diabetes patients to obtain their medication. But, WhastApp only supports French, English, Afrikaans and fews African dialects. Tanzania, with its 59 million inhabitants and only one doctor for every 25,000 people, speaks only Swahili. The digital doctor, Ada Health’s chatbot symptom checker app, now speaks Swahili6. Local have been involved in the app-building process to tailor the service to the population and their needs. 

Internet of Things for remote diagnosis and initial treatment

Smartphones can capture audio, visual data or monitor movement and share information to help a doctor, even far away, understanding medical conditions. For instance, Kimetrica, backed by Unicef, is exploring face scanning to predict children malnutrition. 

Rather than travelling to a health care centre that is often far away and without transport, some medical devices can go to the patient. Matibabu has developed a clip on a finger that can diagnose malaria, with red beam of light detecting the parasite in blood cells.2 The result can be viewed through an app in 15-30 minutes with 80% accuracy rate. 

How technology, with the help of data, can drive the health system upwards

Data, as R&D fuel 

Data can help better understand which project is needed and how to make it cost-effective. For instance, AI-powered computing system can diagnose infectious diseases (malaria, typhoid fever, tuberculosis). With a blood drop inserted in the machine, the AI can correlate that data with libraries of academic anonymized data.7 In addition to help with diagnosis, by cross-checking wide range of data, machine learning may identify patterns and help in disease surveillance and forecasting. For instance, satellite images and heat maps help measure economic activity, used during the Covid-19 pandemic. Satellite images can also help vaccination workers and anti-mosquito insecticide sprayers, especially to reach remote communities.8

One challenge is that in Africa, data is not often shared and harmonized. To better extract data value, some companies such a Zenysis helps clean, aggregate and integrate all the data to produce a coherent picture and help decision makers using machine learning to make predictions. Zenysis helped tacking cholera outbreak by identify sources of water contamination, where to prioritize cholera vaccination. It is now helping to identify tuberculosis in Ethiopia, Rwanda and Vietnam.9

Data, as a way to finance projects? 

Many of the solutions we mentioned earlier have been developed thanks to partnerships with Big Pharma and Big Tech, which, in the absence of financial compensation, are paid in data. This is therefore a solution for the poorest countries to maintain an innovation that will obviously not be profit-centered. Commercialization of data, especially from Africa to Europe and USA is fueling a debate over confidentiality and ownership and some caution “data colonialism” such as Nick Couldry from the London School of Economics.8 A UK genome research center, The Wellcome Sanger Institute, was recently accused of commercializing a gene chip without consent of African people who donated DNA.10 African countries must now build regulations that protect the rights of their populations and equip themselves with the tools and know-how to exploit their data themselves.

CONCLUSION

In conclusion, in Africa, technology is making it possible to meet the challenge of making health accessible to all. However, although many solutions exist and continue to be developed, there is still no unification of African countries’ digital strategies or regulatory framework. Such a common strategy would help to effectively guide health investments ($25bn to $30bn needed to meet health care demands11), a significant part of which must be dedicated to technology. However, no technology can replace a doctor or a health care worker today. It is therefore essential to continue training doctors and building hospitals. 

REFERENCES

  1. How to start a digital healthcare revolution in Africa in 6 steps – Patrice Matchaba – 26 Aug 2019 
  2. Drones, apps and smart lockers: The technology transforming healthcare in Africa – By Nell Lewis, CNN Business
  3. Temperature tracker offers sea change for vaccines – Financial Times – 05/2020
  4. AI set to transform healthcare in world’s poorer regions – Financial Times – 15/05/2020
  5. MomConnect lets expectant mothers know what to expect – Financial Times – 05/2020
  6. Tanzania’s digital doctor learns to speak Swahili – Financial Times – 05/2020
  7. How New Technologies Could Transform Africa’s Health Care System by Ndubuisi Ekekwe – August 06, 2018 – Harvard Business School 
  8. AI set to transform healthcare in world’s poorer regions – Financial Times – 15/05/2020
  9. How data analysis helped Mozambique stem a cholera outbreak – Financial Times – 05/2020
  10. AI in Africa healthcare falls short of potential – Financial Times – 05/2020
  11. International Finance Corporation

Nudge et intelligence artificielle, coup double ou coup fourré ?

Non classé

Christophe Moyen, Catherine Vidal

Novembre 2020

INTRODUCTION

Nous ne sommes pas aussi rationnels que nous le pensons. Alors que nous aimons penser que nos décisions sont le résultat de réflexion rationnelle, la vérité est que les choses dont nous ne sommes pas conscients influencent en fait notre décision tout le temps. Les progrès des sciences cognitives et comportementales révèlent que la façon dont sont présentées les différentes options, ce que l’on appelle «l’architecture de choix», influence nos décisions. Nous avons tendance à réagir différemment à une option particulière selon comment elle nous est présenté. Sur la base de ces données, Richard Thaler et Cass Sunstein ont développé la théorie du nudge (ou le coup de coude), qui expliquent que les décisions et les comportements des gens devraient être influencés de manière prévisible et non coercitive en apportant de petits changements à l’architecture de choix sur la base du « paternalisme libertarien ». Donc ces nudges peuvent nous influencer sur la bonne manière d’agir pour notre bien ou le bien commun en utilisant nos biais cognitifs et comportementaux. Or aujourd’hui, l’homme a inventé une « machine » capable de reproduire parfaitement nos biais, on pourrait même dire à notre insu, l’intelligence artificielle nourrie par toutes nos données. Ainsi l’association du nudge et de l’intelligence artificielle fera-t-elle « coup double » en nous permettant d’agir plus efficacement pour nous même ou notre environnement en exploitant au mieux nos biais ; ou au contraire cette association ne sera qu’un « coup fourré » qui permettra de mieux nous contrôler voire de nous manipuler en ayant de moins en moins de chance de s’en apercevoir ?

Définition du Nudge

Dans leur livre « Nudge: Improving Decisions About Health, Wealth, and Happiness », Richard Thaler et Cass Sunstein définissent le «coup de coude» comme «tout aspect de l’architecture de choix qui modifie le comportement des gens de manière prévisible sans interdire aucune option ou changer considérablement leurs incitations économiques. » En d’autres termes, un nudge est un changement de la façon dont les options sont présentées qui orientent les gens dans une certaine direction sans en interdire les autres options, tout en maintenant la liberté de choix des gens. 

Suggestions, avertissements, les valeurs par défaut et les recommandations en sont tous des exemples. 

Les amendes, les mandats, les menaces, les interdictions et les instructions directes ne le sont pas, car ils interdissent certaines options ou réduisent considérablement la liberté de choix. 

Un nudge est analogue au fonctionnement d’un GPS. Le GPS suggère le meilleur itinéraire, mais il ne contraint pas les conducteurs à emprunter cette voie. Le GPS permet aux conducteurs d’aller dans une direction différente s’ils le souhaitent, mais les conducteurs finissent souvent par emprunter l’itinéraire suggéré. Le nudge est donc une méthode permettant d’influencer les décisions et les comportements des gens de manière non coercitive en apportant de petits changements à l’architecture de choix.

Un architecte de choix est une personne chargée de présenter les différentes options. Vendeurs, médecins, serveurs, concepteurs de sites Web et les professeurs ne sont que quelques exemples d’architectes de choix qui donnent un « coup de coude ». Leurs décisions sur la façon dont les options sont présentées à d’autres personnes affectent les décisions que les autres prennent. C’est étayé par des preuves issues des sciences cognitives et comportementales qui suggèrent que nous prenons généralement des décisions irrationnelles en raison d’erreurs systématiques dans notre façon de raisonner.

Le paternalisme libertaire

Le paternalisme libertaire est une vision du politique qui combine deux postulats. Elle est « paternaliste » en ce qu’elle repose sur l’idée qu’il est légitime d’influencer le comportement des gens pour les aider à vivre plus longtemps, mieux et en meilleure santé. Ces objectifs seraient implicitement partagés par chacun(e), tout en étant régulièrement contrecarrés par des erreurs de jugement et des biais psychologiques. Cette vision est « libertaire » en ce que la liberté de choix des personnes doit néanmoins ne jamais être limitée. En cela, les outils classiques de la réglementation et de la taxation sont, pour les tenants du paternalisme libertaire, à éviter.

Définition de l’IA

Commençons par la définition de l’algorithme, puisque nous le verrons, toute intelligence artificielle est un algorithme. Un algorithme est un ensemble d’opérations étape par étape autonome que les ordinateurs utilisent pour effectuer des taches de calcul, de traitement des données et de raisonnement automatisé. L’algorithme informatique détaille la manière dont un programme doit se comporter. Les algorithmes sont donc la base des technologies d’intelligence artificielle.

L’intelligence artificielle (IA)  a pour objectif de permettre à des machines de prendre des décisions et de résoudre des problèmes. C’est l’ensemble des théories et des techniques mises en œuvre pour la réalisation de machines capables de simuler différents éléments de l’intelligence humaine. Deux techniques tiennent aujourd’hui le haut du panier. LeMachine Learning (ML) que l’on peut définir comment étant l’apprentissage automatique qui est un champ d’étude de l’IA qui décrit un processus systématique par lequel une machine apprend à partir d’exemples ; et le Deep Learning (DL) : qui est une déclinaison du Machine Learning directement lié aux réseaux de neurones artificiels.

Les biais heuristiques qui font l’efficacité du nudge

Les erreurs dans notre façon de raisonner résultent généralement d’heuristiques, qui sont des règles empiriques que les gens utilisent pour former des jugements et prendre des décisions. Heuristique, bien que parfois précise et utiles, conduisent souvent à des erreurs graves et systématiques, appelées «biais cognitifs», qui apparaissent lorsque les gens choisissent ce que l’heuristique suggère même si la suggestion est la mauvaise option. Ainsi, même lorsque nous prenons de «bonnes» décisions (en termes de résultats), ces décisions sont encore irrationnelles (dans un certain sens) lorsqu’elles sont le résultat de biais.

Les trois principaux biais heuristiques et cognitifs identifiés par Tversky et Kahneman dans leur recherche sont les suivants :

a) Représentativité

Les gens ont tendance à évaluer les probabilités en fonction du degré auquel A est représentatif de B. Autrement dit, à quel point A est similaire à B. Cette heuristique a lieu dans le stéréotypage. Pour Par exemple, nous pensons qu’un homme de 2m10 est plus susceptible d’être un joueur de basket-ball professionnel qu’un homme de 1 m 70 parce que la plupart des basketteurs professionnels mesurent plus de 2m. Dans ce cas, l’heuristique aboutit à un jugement précis, mais des biais se produisent lorsque la similarité et les fréquences divergent. Ceci est démontré dans une expérience de pensée sur une femme nommé Linda. Dans cette expérience de pensée, les sujets de cette expérience apprennent que Linda est une jeune femme célibataire, franche et brillante qui s’est spécialisée en philosophie. Linda est préoccupée par les problèmes de discrimination et elle participe à des manifestations de justice sociale. Après que ces descriptions ont été données aux sujets, ceux-ci sont invités à choisir s’ils pensent que Linda est: (i) une caissière de banque, ou (ii) une caissière de banque active dans un mouvement féministe. La majorité des gens ont tendance à choisir (ii) bien que ce soit une erreur logique. Dans ce cas, il est plus probable que Linda soit une caissière de banque qu’une caissière féministe parce que toutes les caissières féministes sont des caissières de banque.

Le biais cognitif qui résulte de l’heuristique de représentativité est enraciné dans le fait que les gens se fient aux similitudes et aux attentes pour choisir la description qui semble mieux assortir à Linda selon la description qu’on leur donne d’elle. Instinctivement, La description de Linda correspond à (ii) mieux que (i).

b) Disponibilité

Les gens ont tendance à évaluer la fréquence ou la probabilité d’un événement en fonction de la facilité avec laquelle un tel événement est rappelé. L’heuristique de disponibilité est étroitement lié aux biais d’accessibilité, d’évidence et de fraicheur. Les médias influencent grandement les informations qui sont à notre disposition. Par exemple, les gens ont tendance à croire que les homicides sont plus fréquents que les suicides étant donné que les informations sur les homicides sont plus accessibles (c’est-à-dire plus fréquemment rapporté dans les médias) et donc plus facilement rappelées. Cependant, plus de personnes meurent de suicide que d’homicide. Les expériences personnelles et les événements récents sont également largement plus disponibles pour nous, et plus facilement rappelés que les événements que l’on n’a pas vécu personnellement ou des événements vécus il y a longtemps.  Prenons pour exemple les achats d’assurance contre les inondations. Quelqu’un qui n’a pas connu d’inondation dans le passé immédiat est beaucoup moins susceptible de souscrire ce genre assurance (même s’ils vivent dans des plaines inondables) que quelqu’un qui en a connu (ou connait quelqu’un qui en a vécu) un. C’est le cas même si la première personne vit sur une zone inondable et que la seconde vit dans une zone où il n’y a pas de risque d’inondation significatif.

c) Ajustement et ancrage

Afin de prendre des décisions ou de déterminer une inconnue, les gens ont tendance à s’appuyer fortement sur des valeurs initiales ou familières comme points de départ, appelées ancre, pour faire des estimations. Le biais qui résulte de cette heuristique se produit lorsque le référentiel de comparaison n’est pas une bonne similitude. Thaler et Sunstein donnent un exemple dans lequel deux groupes de personnes sont invités à deviner la population de la ville de Milwaukee. Un groupe est de Chicago et l’autre de Green Bay. Le premier groupe pense que c’est la plus grande ville du Wisconsin, mais il ne pense pas que ce soit aussi grand que Chicago, ce qui l’amène à dire que la population de Milwaukee est environ un tiers de la taille de celle de Chicago (environ un million). Le second groupe de Green Bay ne connaît pas non plus la réponse exacte, mais il sait que Green Bay est composé d’environ cent mille personnes. Il sait également que Milwaukee est plus grand que Green Bay, raison pour laquelle il pense que la population de Milwaukee est d’environ trois cent mille personnes. Dans ce cas, les personnes de Chicago ont fait une estimation trop élevée alors que ceux de Green Bay en ont fait une estimation trop faible (pour information, la population de Milwaukee est d’un peu moins six cent mille personnes). Cet exemple montre que différentes personnes choisissent arbitrairement différentes ancres pour la même question dont ils ne connaissent pas la réponse, et ces ancres produisent souvent des réponses très différentes.

Et au niveau neurobiologique ?

Au  cœur  des  questions  soulevées  par  le  Nudge,  se  trouve  la  notion  de prise  de décision.  De  nombreux  champs  de  recherche  y  sont  consacrés  :  économie, sociologie, psychologie,  sciences  cognitives  etc., sans  oublier  les  débats  philosophiques  sur  le  libre arbitre (Damasio 2012, Dennett 1978, 1993, Lavazza 2019, Searle 1997).

Les neurosciences ne sont pas en reste avec l’émergence des nouvelles disciplines que sont la neuroéconomie et le neuromarketing. L’objectif est de comprendre comment les choix économiques  sont  déterminés  par  les  états  mentaux.  Grace  aux technologies  d’imagerie cérébrale  par  IRM  (imagerie  par  résonnance  magnétique)  il  est possible  de  détecter  les régions  du  cerveau  activées  quand  on  demande  au  sujet  placé  dans  la machine  de  faire  une tache cognitive  impliquant  une  prise  de  décision  dans  un  choix économique.  Les  taches  les plus utilisées sont calquées sur des jeux d’argent, loterie, paris, avec perte et gains, fictifs ou en nature. 

Toutes les études s’accordent pour montrer que des circuits impliqués dans la prise de décision sont situés dans le partie frontale du cerveau, à savoir dans le cortex préfrontal (CPF) dont  le  développement  chez  l’être  humain  a  permis  l’émergence  des  capacités  cognitives  les plus  élaborées  :  pensée,  raisonnement,    planification,  anticipation, conscience  réflexive  etc. 

Dans  les  choix  économiques,  on  peut  observer  l’activation  de  sous-régions  du  CPF  qui  sont mobilisées  de  façon  variables  selon  les  conditions  de  la  tâche  à  effectuer  :  choix rationnels basés sur la perception d’indices, choix subjectifs en l’absence d’indices, choix orientés selon l’évaluation des probabilités de récompense, de prises de risque etc.

Une  étude récente  par  IRM  a  recherché  les  effets  du  « Nudge  social »  sur  des choix économiques (Chung 2015). La tache utilisée est un jeu de loterie avec différents niveaux de risques, faible ou fort. L’IRM montre l’activation de sous-régions du CPF, les unes impliquées dans  la  prise  de  risque  objective,  et  les  autres  activées  lors  de préférences  subjectives.  Ces différentes  régions  sont  interconnectés  et  s’activent  simultanément  mais  à  des  degrés  divers selon l’évaluation des prises de risque. Ces résultats ont été comparés à ceux d’un autre groupe de participants qui avaient été préalablement informés des choix et prises de risques d’autres joueurs  fictifs  dans  cette  tâche.  Ce  message  a  eu  pour  conséquence d’orienter  les  choix personnels  de  prise  de  risque  en  fonction  des  choix  des  autres.  Cet  effet  était  corrélé  à  des modulations de l’activité des régions du CPF.

Cette  étude  prend  tout  son  intérêt  dans  le  cadre  de  la  recherche fondamentale  sur  le fonctionnement   cognitif   et   ses   corrélats   neuronaux   :   interactions  entre   rationalité   et subjectivité  dans  la  prise  de  décision,  plasticité  des choix  en  fonction de  l’environnement social.   Ces   résultats   (et   ceux   d’autres   études   par   IRM)   viennent  ainsi   confirmer   les nombreuses recherches en psychologie expérimentale et en économie comportementale sur la prise de décision (Damasio 2012, Dennett 1978, 1993, Lavazza 2019).

Mais  qu’en  faire  pratiquement ?  Certains  peuvent  en  tirer  argument pour  chercher  à développer des puces intracérébrales ou des casques de neurostimulation dans le but d’orienter les  choix  économiques.  La  réussite  de  ce  scénario  est  peu  probable.  En  effet,  les  régions  du CPF  mises  en  jeu  dans  la  prise  de  décision  ne  sont  pas  uniquement  dédiées  à  cette  fonction. 

Elles sont aussi impliquées dans d’autres processus cognitifs tout autant fondamentaux dans la vie  psychique  et  les  comportements.  Dans  l’état  actuel  de  nos connaissances,  le  projet  de  cibler  une  fonction  spécifique  sans  entraver  le  fonctionnement  normal du  cerveau  n’est  pas fondé scientifiquement (Vidal 2019).

Rappelons qu’en France, la loi de bioéthique (révision 2019/2020, http://www.assemblee-nationale.fr/15/ta/ta0343.asp) stipule    dans    l’article    12    que    « les techniques  d’imagerie  cérébrale  ne  peuvent  être  employées  qu’à  des fins  médicales  ou  de recherche  scientifique,  ou  dans  le  cadre  d’expertises  judiciaires  »,    ce  qui  exclut  de  fait l’expérimentation  en  neuromarketing  (Vidal  2020).  Cet  article  reprend les  conclusions  de l’avis  129  du  CCNE  considérant  que  l’IRM  fonctionnelle  n’est  pas  une  technique  fiable  pour  expliquer le comportement et  déconseille son emploi dans les applications « sociétales » telles que le neuromarketing (www.ccne-ethique.fr).

Une  autre  préoccupation  éthique  est  celle  des  effets  à  long  terme  du  Nudge  sur  la structure  et  le fonctionnement  du  cerveau.  Il  a  été  montré  que  le  guidage  par  GPS s’accompagne  d’une  réduction  des  capacités de  mémoire  spatiale  et de  représentation  de l’espace,  et  ce  proportionnellement  à  la  fréquence  d’usage  du GPS  (Dahmani  2020). 

Des modifications  des  connexions  entre  les  régions  cérébrales  impliquées  dans  l’orientation spatiale  (hippocampe,  cervelet)  ont  aussi  été décrites  (Fajnerova  2018).  Ces  effets  observés chez  les  adultes  pourraient  avoir  des  conséquences  néfastes  sur le  cerveau  des  enfants  et adolescents en interférant avec les processus de développement en cours chez les jeunes. 

Prise dans son ensemble, notre analyse de l’usage de plus en plus important  de  connaissances  issues  des  sciences  comportementales  dans l’élaboration des politiques en Europe révèle un intérêt croissant des  autorités  de  l’UE  –  et  de  certains  États  membres  –  pour  cette  approche. 

C’est pour mieux t’accompagner mon enfant

Un exemple de nudge qui s’est avérée efficace sur les choix des gens de devenir donneurs d’organes, n’est qu’un simple changement de défaut d’option dans les formulaires de don d’organes. Une étude montre que lorsque les formulaires ont une option par défaut qui nécessite un consentement explicite (les gens doivent cocher une case s’ils veulent être donneurs), moins de 20% des personnes deviennent généralement des donneurs. Lorsque les formulaires ont une option de désactivation par défaut (les utilisateurs doivent cocher une case s’ils ne souhaitent pas être des donneurs) plus de 98% des personnes deviennent généralement des donneurs. Cette disparité est due à l’effet par défaut – tendance à s’en tenir à ce qui est présélectionné, indépendamment de ce que c’est. 

L’utilisation de panneaux qui encouragent les clients d’un l’hôtel à réutiliser leurs serviettes et leurs draps est un exemple d’un petit coup de coude rentable qui apporte des avantages à tous. Ces panneaux affichent généralement ce genre de message : «Près de 75% des clients aident l’environnement en utilisant leurs serviettes plus d’une fois. Vous pouvez rejoindre vos compagnons de voyage et ainsi contribuez à préserver l’environnement en réutilisant les serviettes pendant votre séjour. » Pour un certain nombre de raisons possibles allant du pouvoir fondamental des normes sociales qui amènent les gens à suivre la majorité, la pression des pairs, beaucoup de gens finissent par réutiliser leurs serviettes. Inciter les clients de l’hôtel à réutiliser leurs serviettes et leurs draps est surtout bénéfique pour les architectes de choix (hôtels) car cela réduit leurs coûts liés à l’utilisation d’électricité, d’eau et de savon, ainsi qu’au travail de réapprovisionnement et de lavage des serviettes. Moins de lavage se traduit également par une réduction des coûts de remplacement étant donné que l’usure des serviettes et des draps est réduite, ce qui prolonge leur durée de vie. L’American Hotel and Lodging Association estime que ce simple nudge réduit le nombre de nettoyage de linge – ainsi que les coûts connexes – de 17%. 

L’une des illustrations les plus connues de Thaler remonte au début des années 1990 à l’aéroport de Schiphol à Amsterdam. Comme les planchers des toilettes pour homme devenaient trop collants, le responsable du nettoyage a mis en place un coup de coude pour essayer de réduire les «déversements» autour des urinoirs. Ce nudge a pris la forme d’une image de mouche placée dans chaque urinoir. L’idée avait pour but de donner aux hommes quelque chose à viser. Le résultat en a été une réduction de 80% des déversements et une réduction du nettoyage de 20% en moyenne, ce qui se traduit par une réduction de 8% les frais de nettoyage des toilettes de l’aéroport.

Aujourd’hui grâce à l’utilisation de l’intelligence artificielle, tant Microsoft que Google proposent par exemple des outils pour inciter les employés à se réserver des plages libres dans leur calendrier. Microsoft incite les utilisateurs via la fonctionnalité MyAnalytics d’Office365, a se garder des plages libres pour travailler lorsque l’on a déjà accepté beaucoup de réunion ou à transférer une nouvelle réunion à un collaborateur, mais aussi à limiter l’envoi de mail après les horaires de bureau et de rappeler les mails important non lus. Alors que Google (via Gmail) propose des outils qui remontent les mails importants non répondus en haut de la boite de réception. Il permet également le rappel des mails importants restés sans réponse depuis 3 jours.

On le voit ici, l’utilisation combinée de nudge et d’intelligence artificielle est une autre manière de pousser doucement les collaborateurs à faire le meilleur choix pour eux, puisqu’ils peuvent décider premièrement d’activer ou non ces options, puis ensuite de suivre ou pas ces recommandations. L’utilisation de l’intelligence artificielle permet ici de rendre possible de tel nudge autrement plus complexe à mettre en œuvre par d’autres méthodes numériques plus traditionnelles.

Les affinités entre le nudge et le numérique

Le numérique est à l’évidence un environnement rêvé pour le nudge. En premier lieu, nous prenons aujourd’hui beaucoup de décisions sur nos écrans au moyen d’interfaces numériques. Lorsque nous faisons des achats en ligne, contactons un service client ou comparons des offres de crédit, lorsque nous envoyons un message à des collègues ou saisissons des informations dans un logiciel professionnel, lorsque nous réagissons à un post sur un réseau social, à chaque fois nous opérons des choix. Et nous le faisons parmi des options qui nous sont présentées d’une certaine manière par les architectes (de choix) de ces interfaces. Auteurs d’un papier sur le sujet, des chercheurs de l’Université de Saint-Gall estiment que le nudge peut enrichir le travail des designers d’interfaces et les aider à concevoir des systèmes aidant les utilisateurs à faire les choix les plus bénéfiques pour eux, en exploitant ou en contrant des effets psychologiques spécifiques.

Deux autres atouts du numérique sont soulignés pour l’implémentation de nudge. D’abord, il est facile de créer des nudges à grande échelle: il est plus aisé et meilleur marché de créer une notification ou de modifier une option par défaut sur un site web pour tous les utilisateurs que de dessiner une mouche dans les urinoirs de tous les aéroports du monde. Autre avantage, le numérique permet de tester différentes variantes pour en tirer des enseignements et déterminer le nudge le plus efficace. Là aussi, il est plus simple de faire du A/B testing dans une application que d’expérimenter différentes dispositions des plats dans un self-service. Enfin, les nudges numériques peuvent être personnalisés et envoyés au moment et dans le contexte le plus opportun.

Le pouvoir des Nudges va être amplifié, grâce au numérique et à l’intelligence artificielle, à travers des objets qui vont détecter nos habitudes et comportements, et nous influencer, nous inciter à consommer… Une voix d’enceinte connectée (Alexa d’Amazon par exemple) pourrait nous inciter à faire plus de sport, à manger moins, à être plus attentif, à acheter une crème antirides ou à voter pour untel. Le nudge est souvent mis en œuvre pour surveiller notre santé et pour notre bien-être, il pourrait tout autant être une stratégie d’insistance à des fins uniquement mercantiles ou de manipulation de masse.

C’est pour mieux te manipuler mon enfant

En intégrant des connaissances de l’économie comportementale, les entreprises et les designers peuvent concevoir des architectures de choix et des coups de coude pensés sciemment pour inciter les utilisateurs à prendre les meilleures décisions, c’est l’idée du digital nudge.

Mais les manipulations sont faciles et il arrive qu’une prise en charge de l’expérience de l’employé peut ressembler davantage à de la surveillance. Récemment, Amazon a créé la polémique après avoir déposé un brevet pour un bracelet capable de suivre la position de la main des employés de ses entrepôts pour les avertir lorsqu’ils mettent un article dans le mauvais casier. Si l’intention du géant de l’e-commerce semble respectable – «éviter que les manutentionnaires ne se trompent de casier et aient à tenir un scanner à la main» – un tel suivi est de nature à générer de la méfiance, sans parler des dérives possibles. L’employé peut toujours refuser de suivre les recommandations du bracelet, donc on peut encore parler de nudge.

Autre exemple, la société Cogito a développé un outil de coaching intelligent qui analyse le contenu et la façon de parler des employés des centres d’appel. Une fois la conversation terminée, l’outil affiche des recommandations à l’écran de l’agent lui suggérant de parler plus lentement, de poser des questions ouvertes ou de montrer plus d’empathie… Là encore les employés ont toujours le choix de suivre ou non les recommandations de l’outil en toute connaissance de cause. L’outil informatique fait en quelque sorte office de manager… Manager qui saura si l’employé aura suivi les dites recommandations, ce qui peut facilement s’apparenter à une forme de pression.

Les pratiques non respectables sont particulièrement répandues sur les réseaux sociaux, où la gestion de notre vie privée est, à certains égards, plus déroutante que jamais. Facebook a permis par exemple aux utilisateurs de se retirer des sites Web partenaires de Facebook pour collecter et enregistrer leurs informations Facebook accessibles au public. Quiconque a refusé cette «personnalisation» a vu un pop-up demandant: «Êtes-vous sûr ? Permettre une personnalisation instantanée vous offrira une expérience plus riche lorsque vous naviguez sur le Web. » Jusqu’à récemment, Facebook a également mis en garde les gens contre la désactivation de ses fonctionnalités de reconnaissance faciale : «Si vous désactivez la reconnaissance faciale, nous ne pourrons pas utiliser cette technologie si un étranger utilise votre photo pour usurper votre identité.» Le bouton pour activer le réglage est lumineux et bleu; le bouton pour l’éteindre est un gris moins accrocheur.

Les chercheurs appellent ces décisions de conception et de formulation des «modèles sombres», un terme appliqué à l’expérience utilisateur qui tente de manipuler vos choix. Quand Instagram vous demande à plusieurs reprises «d’activer les notifications» et ne propose pas d’option pour refuser? C’est un motif sombre. Lorsque LinkedIn vous montre une partie d’un message InMail dans votre e-mail, mais vous oblige à visiter la plateforme pour en savoir plus, il s’agit là aussi d’un motif sombre. Quand Facebook vous redirige pour vous «déconnecter» lorsque vous essayez de désactiver ou de supprimer votre compte. C’est aussi un motif sombre. Ce genre de nudge est communément appelé « sludge ».

Des motifs sombres apparaissent partout sur le Web, incitant les gens à s’abonner à des newsletters, à ajouter des éléments à leur panier ou à s’inscrire à des services. Mais, dit Colin Gray, chercheur en interaction homme-machine à l’Université Purdue, ils sont particulièrement insidieux «lorsque vous décidez des droits à la confidentialité à céder, des données dont vous êtes prêt à vous séparer. Gray étudie les motifs sombres depuis 2015. Lui et son équipe de recherche ont identifié cinq types de base: harceler, obstruction, furtivité, interférence d’interface et action forcée. Tous ces éléments apparaissent dans les contrôles de confidentialité. Lui et d’autres chercheurs dans le domaine ont remarqué la dissonance cognitive entre les grandes ouvertures de la Silicon Valley vers la confidentialité et les outils pour moduler ces choix, qui restent remplis de langage déroutant, de conception manipulatrice, et d’autres fonctionnalités conçues pour récupérer plus de données. 

Ces jeux de protection de la vie privée ne sont pas limités aux médias sociaux. Ils sont devenus endémiques au Web en général, en particulier à la suite du règlement général européen sur la protection des données . Depuis l’entrée en vigueur du RGPD en 2018, les sites Web sont tenus de demander aux gens le consentement pour collecter certains types de données. Mais certaines bannières de consentement vous demandent simplement d’accepter les politiques de confidentialité, sans possibilité de dire non. «Certaines recherches ont suggéré que plus de 70% des bannières de consentement dans l’UE comportent une sorte de motif sombre intégré», déclare Gray. «C’est problématique lorsque vous cédez des droits substantiels.»

Récemment, des sites comme Facebook et Twitter ont commencé à donner à leurs utilisateurs un contrôle plus précis de leur vie privée sur le site Web. La vérification de la confidentialité récemment déployée par Facebook, par exemple, vous guide à travers une série de choix avec des illustrations aux couleurs vives. Mais Gray note que les valeurs par défaut sont souvent définies avec moins de confidentialité à l’esprit, et les nombreuses cases à cocher peuvent avoir pour effet de submerger les utilisateurs. «Si vous avez une centaine de cases à cocher, qui va le faire», dit-il.

Les schémas les plus sombres de tous surviennent lorsque les gens essaient de quitter ces plates-formes. Essayez de désactiver votre compte Instagram et vous constaterez que c’est extrêmement difficile. Tout d’abord, vous ne pouvez même pas le faire depuis l’application. À partir de la version de bureau du site, le paramètre est enterré à l’intérieur de «Modifier le profil» et est livré avec une série d’interstitiels. (Pourquoi désactivez-vous? Trop distrayant? Ici, essayez de désactiver les notifications. Juste besoin d’une pause? Pensez à vous déconnecter.)

«Cela met des frictions sur la manière d’atteindre votre objectif, pour vous compliquer la tâche», déclare Nathalie Nahai, l’auteur de Webs of Influence: The Psychology of Online Persuasion. Il y a des années, quand Nahai a supprimé son compte Facebook, elle a trouvé un ensemble similaire de stratégies de manipulation. «Ils ont utilisé les relations et les connexions que j’avais pour dire: « Êtes-vous sûr de vouloir arrêter? Si vous partez, vous ne recevrez pas de mises à jour de cette personne », puis affichez les photos de certains de ses amis proches. «Ils utilisent ce langage qui est, dans mon esprit, de la coercition», dit-elle. « Ils rendent psychologiquement douloureux pour vous de partir. »

Une fois soumis à l’IA, notre cerveau s’expose alors à toutes sortes de manipulations, même bienveillantes, ce qui hérisse le poil du libéral individualiste Gaspard Koenig. Il redoute l’introduction à grande échelle de « nudges » dans les algorithmes. Gaspard Koenig s’est rendu au siège de la compagnie de Didi, le « Uber » chinois. Son interlocuteur lui apprend que la compagnie de VTC envisage la possibilité d’équiper ses chauffeurs de capteurs biométriques, en plus de l’application GPS de navigation. « Le chauffeur Didi ne sera plus qu’un tas de chair et de neurones hyperconnectés, à qui l’IA indiquera quel passager prendre à bord, quelle rue emprunter, quand faire une pause et où s’arrêter, écrit Gaspard Koenig. La décision humaine la plus primaire, celle d’aller pisser (sic), pourrait être déléguée à la machine. » Le « nudge » a gagné. Le chauffeur améliore ses conditions de travail, les clients perçoivent un service de meilleure qualité et Didi optimise ses courses.

IA contre IA

Alors comment contrecarrer les manipulations initiées par ces nudges numériques ?

Cette solution pourrait être appuyée par… l’intelligence artificielle. En effet, des algorithmes pourraient tester automatiquement les sites de vente en ligne pour détecter les nudges et encore plus les sludges. Un label issu de ces inspections automatiques, pourrait ainsi être crée. De bonne machines luttant contre les mauvaises ? Bien que manichéenne, cette idée rappelle que les machines ne font que ce pour quoi elles ont été conçues. A charge donc aux consommateurs d’utiliser les possibilités offertes par l’intelligence artificielle pour défendre leurs intérêts. 

CONCLUSION

Pour Richard Bordenave, directeur général du groupe BVA, ce sont les hommes qui conçoivent les algorithmes, par la sélection des données d’entraînement et le fait qu’elles sont en grande partie comportementales. Ce sont donc les biais humains contenus dans les données choisies et l’éthique des concepteurs qu’il faut interroger. Si la finalité de l’algorithme est d’aider l’utilisateur avec des recommandations pertinentes, et que son retour est positif, la boucle est vertueuse. Si l’algorithme est programmé pour réduire le choix, en fonction du profil de l’acheteur (et non ses goûts), ou pour ajuster le prix en fonction de son parcours précédent (au lieu d’un tarif applicable à tous), il contrevient à l’éthique du nudge (transparence, équité et liberté de choix).

L’IA peut influencer les comportements pour le meilleur et pour le pire. La réflexion éthique et la connaissance des facteurs humains (biais cognitifs, facteurs émotionnels ou sociaux…) à l’œuvre dans la vraie vie deviendront critiques pour les marques. Bordenave croit aux « IA gendarmes », pour contrer les « IA voleurs ». L’algorithme des uns pourra contrôler si les comportements mesurés par les autres sont réels, les emplacements fréquentables, les commentaires authentiques, etc.

Dans tous les cas, la dimension manipulatrice des nudges numériques soulève naturellement des questions éthiques. Selon un article paru dans le NY Times, l’entreprise Uber recourt à quantités de techniques analogues pour influer sur le comportement des chauffeurs. Une approche consiste à les alerter qu’ils sont tout près d’atteindre un objectif au moment où ils s’apprêtent à terminer leur journée, une autre leur envoie la prochaine opportunité de trajet avant qu’ils aient bouclé leur course – ces techniques n’ont d’autre but que de pousser les chauffeurs à travailler plus longtemps et à accepter des courses moins lucratives pour eux…

Ainsi, outre l’indispensable liberté laissée aux utilisateurs, clients ou collaborateurs, les nudges ne sauraient être décidés et élaborés sans une communication ouverte avec ceux auxquels ils sont administrés, à la fois pour qu’ils en soient conscients et, surtout, pour qu’ils puissent juger du bien-fondé de leur visée. 

La recherche montre que la plupart des gens ne savent même pas qu’ils sont manipulés. Mais selon une étude, lorsque les gens étaient familiarisés à l’avance avec le langage pour montrer à quoi ressemblait la manipulation, deux fois plus d’utilisateurs pouvaient identifier ces modèles sombres. Au moins, il y a un espoir qu’une plus grande prise de conscience puisse redonner aux utilisateurs une partie de leur contrôle. L’éducation au nudge (et donc aux sludges) est donc plus que nécessaire.

Il y a quatre leviers importants pour développer des systèmes intelligents et éthiques : éduquer sur l’éthique des machines, expliciter des règles éthiques, écrires des outils de vérification des règles éthiques, concernant la coévolution humain-machine et l’évaluation des machines ; et enfin établir des règles juridiques. 

Pour remettre un peu d’humain dans l’IA, et surtout lui redonner du sens, Gaspard Koenig imagine une règle supérieure d’ordre moral. Celle-ci est inspirée de la « Prime Directive » imaginée dans la série de science-fiction « Star Trek ». Nous définirions par avance les normes que nous souhaitons imposer aux algorithmes qui nous gouvernent même si celles-ci sont sous-optimales pour le groupe. 

«Nudge for Good», a coutume d’écrire Richard Thaler lorsqu’il dédicace son ouvrage…

REFERENCES

Nudging : Quand le paternalisme libertaire rencontre le numérique – rodolphe Koller

Nudge – Émotions, habitudes, comportements: comment inspirer les bonnes décisions, Richard Thaler et Cass Sunstein, Vuibert 2010 (édition française)

Digital Nudging: Altering User Behavior in Digital Environments, Tobias Mirsch, Christiane Lehrer et Reinhard Jung, University of St. Gallen, 2017

The Pervasive Power of the Digital Nudge, BCG Perspectives, 2017

Guide Your Customers To Better Experiences With Behavioral Science, Forrester, 2018

Positive technology, Designing work environments for digital well-being, Deloitte Insights, 2018

Simulation-Based Trial of Surgical-Crisis Checklists, The New England Journal of Medicine, 2013;

How Uber Uses Psychological Tricks to Push Its Drivers’ Buttons, New York Times, 02.04.2017

https://lejournal.cnrs.fr/billets/rire-avec-les-robots-pour-mieux-vivre-avec

https://dataia.eu/recherche/le-projet-bad-nudge-bad-robot

The Ethics and Applications of Nudges – Valerie D. Joly – Chock University of North Florida

https://www.ictjournal.ch/articles/2019-09-25/le-numerique-pour-ameliorer-lexperience-des-employes

https://www.ictjournal.ch/articles/2019-10-10/nudging-quand-le-paternalisme-libertaire-rencontre-le-numerique

https://www.lemonde.fr/blog/internetactu/2017/07/15/tout-est-il-nudgable-lincitation-comportementale-en-ses-limites/

https://fr.wikipedia.org/wiki/Th%C3%A9orie_du_Nudge

https://www.wired.com/story/facebook-social-media-privacy-dark-patterns/

L’UNION EUROPÉENNE ET LE NUDGING – Alberto ALEMANNO

https://www.wired.com/story/neuroscience-key-people-wear-masks/

https://www.medecinesciences.org/en/articles/medsci/full_html/2016/12/medsci20163212p1130/medsci20163212p1130.html

https://la-rem.eu/2019/04/nudge/

https://www.forbes.fr/technologie/nudges-et-intelligence-artificielle-unis-pour-le-meilleur-ou-pour-le-pire/

https://www.ilec.asso.fr/article_bulletin_ilec/11254

https://www.lesechos.fr/idees-debats/livres/intelligence-artificielle-peur-sur-le-moi-1131378https://managersante.com/2020/04/13/la-sante-par-le-nudge-decryptage-dune-technique-qui-nous-veut-du-bien-malgre-nous/

TikTok and democracy : the cases of China and India

Big Tech, Géopolitique

Alexandra Fieux-Castagnet

August 2020

INTRODUCTION

TikTok is a video-sharing social networking application created and owned by the Chinese company ByteDance in 2016. It allows users from around the world to create videos lasting less than one minute to record themselves in music on the topic they like. TikTok is the version of the service created for all markets outside of China, and especially for iOS and Android applications platforms. The application dedicated to the Chinese market is known as Douyin and works on a separate server than that of TikTok in order to comply with the Chinese censorship of media. As a result, Chinese users are not allowed to address any topic they like. 

TikTok became famous in the US following the merger with the American application Musical.ly in 2018 with helped the application gain traction with US teens, 70% of the users being less than 25-year-olds, even though the application is now targeting young adults. TikTok’s popularity exploded last year with a total of 800 millions active users in 141 countries, India being the application’s first market with 120 millions users using TikTok in 15 different Indian languages. Douyin accounts for 150 million users. 

The COVID-19 pandemic was viewed as a real boost for the application since users were seeking to avoid the lockdown boredom. It entailed 65 millions new downloads solely in march 2020 and 2 billions of total new downloads for the whole lockdown period. TikTok is thus already more downloaded than the ‘traditional’ social media applications, namely, Instagram, Facebook or WhatsApp. TikTok was therefore used as a real tool to avoid separation and distanciation in 2020 and videos tagged with #Coronavirus have been viewed more than 64 billion times.

Nonetheless, if TikTok can be seen as a mere entertainment new platform generating new excitement amongst users launching challenges to each other worldwide, it is also generating excitement amongst the governments. In the wake of investigations, and following tensions escalating with China regarding frontiers issues, the Indian government has banned the application along with 58 other Chinese apps in June 2020, depriving TikTok of its first market. In the context of the US-China trade war, Mike Pompeo, the US Secretary of State, has declared the Trump administration was also looking at banning TikTok.

Is TikTok a genuine communication tool advocating for democracy and giving a voice of millions of unknown users? Or is it a mere threat to democracy in countries where some content videos are being censored by the app? One could argue that TikTok has become a geopolitical tool for countries to reaffirm their position in their trade or ideological wars, especially in China and India.

TikTok fights in favor of democracy

As we said in the introduction, TikTok is a worldwide application that reaches everyone. In this part, we will see that this app can allow anyone to express himself. Then we will see how TikTok became a political app and a soft geopolitical power for those who want to forbid it. Finally we will see how this app can be a new media for the young generation.  

TikTok, a tool allowing anyone to express himself

When you talk about TikTok one thing crucial to understand its growth is the development of 4G. Indeed, to use this app you only need a smartphone and an internet connection. As you can see in Appendix 1, India had approximately 80% of 4G coverage in 2018. So, even if you are in a rural place, you can have access to TikTok, like Israel Ansari. He is 19 years old and he comes from a small village in the north of India. His story illustrates the power of TikTok. A friend showed him TikTok during a wedding. So, he decided to buy a smartphone and try to express himself. After several videos where he was dancing on Bollywood song, he started to receive more than 30K likes. Now it’s his full-time job, paying more than he would never dream. This is how TikTok can create celebrity from scratch, last year, in India, there were 1.2 million of content creators for 120 million of monthly viewers.

Israel Ansari was not the only one who could be famous, TikTok is not the app of one cast. A lot of marginalized people use it, so you can find in TikTok Muslim comics, transexual performers, and rural grannies. TikTok, therefore, allows anyone to express themselves, even those who are not recognized as legitimate by the Indian government. In this sense, TikTok enforces freedom of expression and thus democracy. TikTok is also a way to reduce social borders and economic barriers. Small, poor villages are represented in the same way as megacities. And TikTok offers the few Indian celebrities like Israel Ansari a social lift.

Figure 1: Opensignal 4G coverage

TikTok goes political

Nowadays, the media have become increasingly involved in political life. We can cite events such as: the Arab spring through Facebook, the American presidential election through Facebook and the Cambridge Analytica scandal, or even suspicions of fake news pro Marine Le Pen broadcast by Russia. Each time the media has had a notable influence, TikTok is no exception to the rule. Through these short videos, many people can express their opinions or freedoms.

In the United States, many young people get involved in politics thanks to TikTok. This new « online politics » revolves around the same processes as « traditional politics »: political coalitions are formed, representatives are elected virtually and everyone can campaign for their candidate. In one month, the account of a party affiliated to the Republican Party received more than 200k followers.

TikTok also makes it possible to launch citizen policies on a large scale. Indeed, many challenges have been shared, especially concerning ecology. We can mention the #cleansnap, consisting in taking a photo/video of a place before and after cleaning it. This kind of challenge relayed several thousand times also represents a political and citizen act on behalf of the populations.

Finally, more recently in Egypt, many women are speaking out through their videos against sexual violence and restrictions of freedoms. Some influential women who show themselves dancing and singing on TikTok have been sent to prison. Thus, by logging on to TikTok and posting content, these women are also demonstrating political commitment. 

TikTok is therefore a channel of communication that remains free from those controlled by local governments. By its large audience, it allows opinions not always published on the classical communication channels to be heard and thus, TikTok is a tool to fight for democracy.

TikTok, a soft geopolitical power

Relations between India and China have rarely been so tense. The climax was reached during a military confrontation in the Himalayan range. India being militarily inferior to China, the latter has decided to retaliate on another field than the military one: the apps field. Thus, 59 Chinese applications have been banned from India under the cover of data protection and morals. The banning of applications such as TikTok becomes a power of retaliation for countries. The latest to date is the United States, which, according to its president, Donald Trump, wants to ban TikTok or have this application bought by an American group.

TikTok can also be a means of pressure for companies, such as Amazon, which for one afternoon forced its employees to delete TikTok if it was on the same phone than their professional mailboxes. Despite the fact that Amazon has acknowledged a mistake, large companies may be tempted to put pressure on China through this application. TikTok, thanks to its many users is an efficient way to pressure China, especially for states which cannot fight them through other ways, such as hard power, like India. In the specific case of India, the country was able to respond to a form of invasion of its territory. This allowed India to resist China and maintain sovereignty over its territory. Even if India’s policy is increasingly criticized, this response to China remains a reinforcement of democracy.

TikTok, a free access to information

Thanks to the global 4G coverage, it is very easy to watch videos on TikTok. This simplicity allows access to a diverse and varied flows of information. In a village in India, it is easier to have access to TikTok than to a news channel. Thus, this application becomes one of the only access to information especially for young people. Influencers have understood it like Sterling Caid Lewis who, from the top of his 19 years old and his 100 000 followers makes the following observation: « New cable news for young people ». Today, information is power. Making it accessible to a majority of the population allows for education, critical thinking and therefore population empowerment. We will see in the following section that the quality of information is however essential in order not to alienate the freedom of citizens.

TikTok, an anti-democratic app

TikTok is an application that reaches 800 million users worldwide, including 120 million Indian and 150 million Chinese. In these two countries where a large part of the population is undergoing the political regime in place and where democracy is being undermined, we have seen how a tool can link users to each other, allowing anyone with a smartphone and an Internet connection to express themselves and exchange. Could an application change the power of hands? 

Targeting so many people easily and quickly, in a way that is common to all, through information with impactful and appealing content, isn’t this the perfect weapon for effective propaganda? How can TikTok, which seems to first address the people and give them back some form of sovereignty by giving them a voice, turn against its users and threaten democracy? 

In this section we will discuss four areas that we think make TikTok an anti-democratic tool. First of all, TikTok is an application that is structurally built to influence, especially a young audience. Second, TikTok continuously delivers short (video of less than a minute) but impactful information. The moderation of this content is in the hands of TikTok. Do we want to let TikTok have the right to decide what we see? Moreover, TikTok is a gold mine of personal data (daily video, identity, contact information, religious affiliation, politics, …). What does TikTok do with this data? Finally, if TikTok is used daily by the people, TikTok is above all the weapon of governments as a means of pressure in a commercial war.  

TikTok, a strong way to influence others

As we have explained, TikTok is an application that allows you to share videos of less than one minute. Therefore, it also allows you to view videos from other users, available in the « For You » feed. The content of this feed is not focused on content posted by « friends ». Unlike Facebook or Instagram, whose content is largely that posted and shared by « friends », it is an artificial intelligence that determines what content the user will have in his feed. It is the algorithm built by TikTok that decides what it is judicious to show and which content will have the most impact. For instance, the BBC reported the case of Eilidh Bisset, bombarded with pro-eating disorders videos. It affected her mental health and even signaling those videos to TikTok, blocking accounts, it was impossible to suppress them from her feed. 

The risk is to be locked in the « profile » drawn up by the artificial intelligence (AI) and to restrict ourselves to the actions and reactions that this AI anticipates for us. This approach invites the user to look at content that will confirm his thought pattern and thus inhibit critical thinking. 

Moreover, in the context of a political campaign, a lobby, a boycott, focusing information according to the user’s profile in order to influence his behaviour without forcing him, takes a dramatic strategic turn. This is called the nudge, already widely used by Google Mail: an Al decides which email is important, which email to reply to and sends a reminder to the user, or Uber to influence its drivers to take more and more races. 

TikTok was also built by taking the most addictive features from previous social networks. Everything is done to make it hard to get bored with the application and to make sure that the time spent on the application is higher than the time spent on similar applications. 

TikTok has conducted a fierce marketing campaign, spending a billion dollars in 2018. TikTok has successfully placed ads in places such as Piccadilly Circus in London and Times Square in New York and has been able to count celebrities among its users. So many components that have enabled a very broad and fast take-up. TikTok also allows brands to have an account. It is therefore a place for targeted advertising according to our similar searches.

This is all the more worrying since TikTok targets young people. 70% of users are under 25 years old. They are therefore receptive, permeable users, in a period of learning about their ecosystem. These patterns are thus integrated durably in the users’ thinking mechanisms and participate in conditioning their vision of the world and their reasoning.

Recently, an Indian court banned the app on the grounds that it encourages sexual predators. Bangladesh and Indonesia had already banned it last year, accusing TikTok of promoting pornography. These are examples of the collateral effects of the elements we have been talking about. TikTok is also the scene of much mockery and criticism. These insults directed at a young, impressionable and application-obsessed audience can lead to extreme behaviors. In 2018, in southern India, a 24-year-old man killed himself by jumping in front of a train because he was mocked for videos in which he dressed like a woman. Many states are calling for a ban on TikTok, promoting bullying, hate-speech and child abuse.

TikTok, the threat of misinformation

The videos on TikTok are viewed by millions of people. As we saw in the previous sub-section, in addition to speaking to a large audience, they have a strong impact. 

However, TikTok has been accused of disclosing false information.

For example, in the case of the health crisis, Videos marked #coronavirus have been viewed more than 64bn times. Some of them spread misinformation. Faced with the crisis, TikTok responded by tagging all videos about covid-19 (#covid19) with a warning: « Learn the facts about COVID-19 ». This warning is accompanied by a link to videos of audited accounts such as those of the NHS, the Red Cross and the World Economic Forum.

While we understand the health impact that such widely disseminated misinformation can have, the use of fake news can also have a political impact. TikTok has been accused of interfering with elections in India and is being sued by the Bharatiya Janata Party. Indeed, the use of fake news is becoming commonplace during campaigns: in France some accuse Russia of disclosing false news in favour of Marine Le Pen. The user, by his vote, becomes a prey and no longer a voter. If TikTok gives the impression of facilitating expression and breaking down communication barriers, when it comes to a citizen exercising his right to express himself through the vote, TikTok and social networks become a formidable way to use him as someone you can influence. However, “we are not political, we do not accept political advertising and we do not have an agenda.” declared Wednesday in a blog post the boss of TikTok, Kevin Mayer. 

In the specific case of covid-19, TikTok refers to the health authorities to judge what to release or not to release. On the other hand, on other subjects, particularly on matters relating to China’s policy, TikTok is suspected of using censorship to prevent certain news from circulating. 

For example, very few videos about the protests in Hong Kong were published on the app. Similarly, the subject of the Uighurs is heavily censored. Feroza Aziz, using make-up tutos to denounce the trafficking of Uighurs in China, had her TikTok account temporarily banned. To avoid censorship, some Uighurs share videos of themselves with a photo of their missing family, without talking, with music evoking separation as a simple background.

In both cases, China’s policy is directly questioned. Who does TikTok refer to when deciding to censor or moderate these videos? The UN, or the Chinese government? Where does TikTok place the limit between freedom of expression and control of fake news? 

TikTok denied having deleted any video blaming Chinese government.

A geopolitical rivalry is emerging between a global Chinese social network (whose main target is the USA) and an American social network. During a public speech at Georgetown University in October, Zuckerberg said: « While our services like WhatsApp are used by protesters and activists everywhere due to strong encryption and privacy protections, on TikTok, the China-based app growing quickly around the world, mentions of these same protests are censored, even here in the US. » He added: « Is that the internet we want? ». We must bear in mind that Mark Zuckerberg was heard by members of the two U.S. Senate committees for not respecting privacy among other things.

TikTok, rises concerns about privacy

TikTok holds a lot of personal data such as identity, Facebook and Twitter account information (for sign-ins), but also the content that users share which can be their political opinions, religious beliefs, sexual orientation, … Data security and respect is now a right in many countries. But in the case of a user-centric free service like TikTok, data become a currency of exchange.

Many countries, especially the USA, have expressed doubts about the security of TikTok user data. This is one of the reasons why the US, in particular, is considering banning TikTok said Mike Pompeo, America’s secretary of state, on July 6th. On June the 30th, Donald Trump announced he would ban TikTok. 

TikTok, rather than another social network, is of more concern as it is the first Chinese social network application to go global. ByteDance, its owner, is a Chinese company that owns the equivalent of TikTok, Douyin, for China. For the past two years, a security law in China has required every Chinese company to participate in intelligence-gathering when the party asks them to. That is to say that the Chinese police can enter any office of a Chinese company and copy its data, under the pretext of cyber-security.

This mistrust is fueled by previous scandals. Data from Grindr, a dating site for homosexuals, has reportedly been used by the Chinese government to blackmail US politicians. The US military has removed dji drones from its bases, suspecting that they are sending information about critical infrastructure back to China’s government. 

Governments, especially the US government, are therefore investigating these privacy issues very closely. In February, TikTok was fined up to $5.7m (a record) in America for illegally collecting data on users under the age of 13. 

The US authorities are beginning to restrict not just Chinese companies’ investments, but also their products. Are these real concerns about privacy or other milestones in a commercial war? 

The USA is one of TikTok’s biggest markets. Indeed, if India and China have many users, TikTok depends on its image in the US. TikTok makes money from ads and from commissions on tips, which users offer through the pseudo-currency of TikTok’s “coins” to their favourite creators. Poor population in India often can’t afford this. If TikTok always denied sharing data with China and has insisted that data about non-Chinese users are held on non-Chinese servers, TikTok has also put in place measures to strengthen its credibility. TikTok launch a “Transparency Centre” in Los Angeles that allows outside experts to examine and verify TikTok’s content moderation. 

TikTok had hired an independent American law firm to review its content moderation practices and to audit its security practices. Furthermore, this law firm found that TikTok would have been unable to transmit user data to China during the period it surveyed. 

TikTok, a weapon in a trade war

Last but not least, we saw that TikTok was being used by the states as a weapon in a trade war. TikTok fuels the US-China war, and serves as a means of pressure for India against China. 

But what is the risk of a state banning TikTok? Not much. Indeed, TikTok creates few jobs and pays little or no tax in America or India. The main cost is therefore to be borne by the millions of users who use TikTok as a means of expression, exchange, entertainment, and sometimes even as a salary and to whom their government imposes this ban. 

For the moment, it is not clearly established that TikTok is condemnable for harassment, fake news, censorship or lack of privacy. However, some states, such as India, have already decided to ban TikTok. TikTok may be a Chinese propaganda tool, but its ban is also a weapon for governments to resist China’s emergence. 

Is TikTok really rising new concerns?

Social medias as a new component of soft power

There is an important paradox: on the one hand a social media or an app that goes worldwide seems to be transnational, something that does not defend any specific political idea. But on the other hand, internet is today the most powerful media to spread an ideology or political ideas. Considering Jospeh Nye’s definition, culture and political values are two components of soft power. Social media are channels of expression of those elements. For instance, even if Facebook is defending a non-interference position of its website, the firms promote ideas of liberalism and democracy. That is why countries like China and Russia decided to ban the app on their own soil.

When we are interested in the distribution of social media on world scale, we can see a clear evolution in a decade from 2008 to 2020. Firstly, the use of social media has spread across all continents. Although in 2008 some regions such as Africa, South America and Middle East were spared by social media, today few countries are outside the use of internet. That being said, it is interesting to focus on the most popular social media by region. In 1946, Winston Churchill was talking about an iron curtain in order to express the opposition between the capitalist world led by the United-States and the communist world represented by the USSR. Today we could talk about an internet wall between the Western World using mainly Facebook an American social media, and those which oppose it (e.g. Russia, China, Iran…) by using other social media such as VKontakte or Qzone.

That opposition underlines the weight of social media in the new global geopolitical balance. Nevertheless, only Facebook until very recently had managed to break national borders. TikTok put an end to that American hegemony by becoming the first Chinese app to go global. At the time of the trade war between the US and China, the issue of banning the Chinese app on the US soil is sensitive. That element leads to another paradox: recreating border to app that are by definition without borders.

Data sovereignty is at the very heart of the conflict between India and China

An app like Tiktok worries governments because the Chinese app receives millions of user data every day. That leads to the concept of data sovereignty which is defined as the idea that data are subject to the laws and governance structures within the nation it is collected. The concept of data sovereignty is closely linked with data security, cloud computing and technological sovereignty. Many of the current concerns that surround data sovereignty relate to enforcing privacy regulations and preventing data that is stored in a foreign country from being subpoenaed by the host country’s government.

The financial weight of the control of the data is very important. Many of the most valued tech companies have a business model that relies on the use of data. This data before being processed, used and above all resold, must be stored. This raises the question of the storage location and more mainly of the State where the data centers are located. Data centers, since they are vulnerable, have become key security and geostrategic challenges.

CONCLUSION

TikTok, because of its global impact, is a crucial geopolitical and strategic issue for many states. TikTok, a social network based on short videos is more than a showcase of egocentricity as some might reduce it. It is a means of expression for all types of people, on all topics up to political engagement. It is an access to information, a platform for discussion and debate. It is also, for brands, for celebrities, but also for people who initially only had a telephone and an internet connection, a means of getting paid. However, TikTok is a lot of ink and has not only fans. Very addictive and used by a very young audience, TikTok is accused of promoting harassment, hate speeches etc… TikTok is also suspected of spreading fake news without accurate moderation and unreasonably censoring some content, especially those concerning Chinese politics. Finally, because it is the first Chinese application to become global, there are many concerns about the security of personal data. However, these accusations are not new. This week, American elected representatives also heard the GAFA representatives on similar topics. When we know that Apple’s stock market valuation exceeds the one of the CAC40, we understand that the power of these data-centric companies raises some government concerns. TikTok is therefore a weapon, both for China and its rival, the USA. For China it is a weapon of soft power, as TikTok is widely used all over the world. For the USA it is a weapon in a trade war, already used by India which has banned the application. 

REFERENCES

Trump pushes a TikTok ban: Everything you need to know, CNET 19 July 2020 

The United States is ‘looking at’ banning TikTok and other Chinese social media apps, Pompeo says”, CNN 7 July 2020 

TikTok considers changes to distance app from Chinese roots”, The Wall Street Journal, 9 July 2020

The tech cold war is hotting up TikTok and the Sino-American tech split – The Economist – July 11th 2020

Why worry about TikTok? – The Economist – May 6th 2020

This Indian TikTok star wants you to know his name – The Economist – July 4th 2020

India has few good ways to punish China for its Himalayan land-grab – The Economist – Novembre 7th 2019

Foreign suspicion is hemming in China Inc’s global rise – The Economist – September 12th 2019

Mark Zuckerberg says TikTok is a threat to democracy, but didn’t say he spent 6 months trying to buy its predecessor – Business Insider – Novembre 13th 2020

The Political Pundits of TikTok – The NY Times – February 27th 2020

Sur TikTok, un tutoriel de beauté dénonce le sort de Ouïghours en Chine – rti.fr – November 28th 2019 


TikTok users fear app shutdown as security concerns grow – Washington Post – July 10th 2020


The threats against TikTok are beginning to add up – theverge.com – November 5th 2020


TikTok’s Hong Kong exit a ‘win-win’ business move – techxplore.com – July 9th 2020


Etude Open Signal : la France toujours mal classée au niveau mondial sur la 4G, même si elle progresse un peu – universfreebox.com – February 20th 2018


Sur TikTok, Instagram et Twitter, les 15-25 ans multiplient les challenges écolos – Madame Le Figaro – July 2th 2020

TikTok banned in India as tensions ramping up with China – LiveNewsTime – June 30th 2020


TikTok : il est temps d’entrer dans la danse… ou pas – influencia.net – July 15th 2020


TikTok statistiques : les chiffres TikTok en 2020 [Infographie] – oberlo.fr – June 25th 2020


Israil Ansari TikTok account: https://www.tiktok.com/@israil.ansari/video/6733045770867461381?source=h5_m

Donald Trump annonce son intention d’interdire TikTok aux Etats-Unis – Le Monde – August 3rd 2020

« It was all I would see » BBC News – July 31st 2020  

Mieux valorisé que tout le CAC40, Apple redevient la première capitalisation mondiale – Les Echos – August 3rd 2020

Egypt jails TikTok users over ‘indecent videos’ – BBC News – July 27th 2020

Les exosquelettes connectés et leurs enjeux éthiques : esquisse d’une problématique

Technique

Geneviève Fieux-Castagnet et Kamel Bentchikou

Décembre 2019

INTRODUCTION

L’exosquelette est à l’origine une « sorte de carapace articulée et motorisée dont un être humain peut s’équiper pour démultiplier ses forces et porter des poids élevés ou parcourir des distances importantes avec moins de fatigue. L’effort est fourni par les moteurs qui équipent les membres articulés métalliques qui épousent ceux de l’utilisateur »[1]

Ces exosquelettes mécaniques ou électromécaniques sont le plus souvent munis de capteurs sur les muscles qui détectent les signaux, et de moteurs électriques en prise directe avec l’articulation pour la faire bouger. Ils sont totalement commandés par les mouvements de l’humain qui est à l’intérieur de la structure et qui guide les mouvements en toute autonomie. Ils facilitent des tâches pénibles, longues, mettant en risque le corps humain, réduisent l’effort physique et par conséquent le risque de blessure et d’accident. Ils permettent également l’employabilité de personnes qui ne pourraient pas autrement faire des tâches nécessitant des efforts importants. Mais tout recours à des exosquelettes requiert une attention aux questions de fiabilité, de sécurité et d’adaptabilité à tous les humains ainsi qu’aux conséquences de l’augmentation de la productivité qu’ils génèrent (risques psychosociaux, suppressions de postes avec la nécessité de reclasser les personnes et de les former à de nouvelles tâches etc.).

Les nouvelles générations d’exosquelettes apportent de nouvelles fonctionnalités mais posent des questions éthiques et sociétales d’une toute autre ampleur. Nous évoquerons les exosquelettes munis de capteurs permettant d’enregistrer des données analysées par un système d’intelligence artificielle (SIA), dans certains cas avec du machine learning, et ceux commandés directement par le cerveau. 

Les exosquelettes munis de capteurs permettant d’enregistrer des données analysées par l’IA

Leur fonctionnement et leur utilité

Les exosquelettes munis de capteurs permettent d’enregistrer des données qui sont analysées par le SIA. Les capteurs enregistrent des données biométriques et des données relatives à l’environnement. Les capteurs de données biométriques, soit ce qui permet d’identifier une personne et de connaître ses spécifications physiques, sont par exemple des lecteurs d’empreinte numérique, des appareils de photo numérique, des caméras de photo irienne pour l’analyse de l’iris, des microphones pour l’analyse de la voix, des capteurs d’analyse de la sudation, des capteurs des réseaux veineux, des capteurs d’effort, des capteurs inertiels pour mesurer la vitesse et le déplacement, des capteurs de la pression artérielle, des capteurs du rythme cardiaque etc. Les capteurs de données relatives à leur environnement sont par exemples des caméras, des capteurs infrarouges, des lasers, des capteurs acoustiques etc.

Par exemple, le constructeur coréen LG a dévoilé son tout nouvel exosquelette « élevé » à l’intelligence artificielle : la version perfectionnée du CLOi SuitBot. La combinaison portable LG CLOi SuitBot supporte le bas du corps et rend le levage et la flexion moins lourds. Il est doté d’une intelligence artificielle qui lui permet, grâce à la reconnaissance et à l’analyse de données biométriques et environnementales, de détecter le porteur, mais aussi de mesurer et d’analyser ses mouvements afin de lui suggérer les meilleures positions, ce qui permet d’améliorer les capacités, de réduire le risque de blessure et d’accident. 

Le CLOi SuitBot est aussi appelé combinaison robotique. Il peut se connecter aux trois autres robots CLOi : Servant Robot, Porter Robot et Shopping Cart Robot, ce qui lui permet de « faire partie d’un écosystème de travail intelligent afin de fournir des informations et des outils sur des lieux de travail tels que l’industrie, la logistique et la distribution »[2]

Le recours au machine learning permettra d’affiner et d’améliorer les opérations et les performances de l’exosquelette, de simplifier les tâches, et de faire apprendre à l’exosquelette les gestes métiers de son porteur, notamment s’ils sont dangereux. 

Leurs enjeux éthiques

Ces exosquelettes soulèvent certaines questions éthiques sensibles.

  • L’autonomie et le contrôle

Bien définir l’interaction homme/machine

L’exosquelette intelligent pouvant intervenir en toute autonomie, il faudra bien définir l’interaction entre le porteur et son exosquelette et décrire précisément les tâches effectuées par l’exosquelette en autonomie et celles effectuées par l’humain, ainsi que les modalités du passage en autonomie ou de reprise de contrôle par l’humain.

Il pourrait être décidé également que le mode autonome soit utilisé pour les agents qui ne connaissent pas du tout les gestes métiers alors que les agents expérimentés décideraient eux-mêmes du moment du passage en autonomie. La définition de l’acteur qui procède au choix de passer en mode autonome est sensible. Si c’est l’humain qui décide du passage en mode autonome, il reste au cœur de l’action et l’exosquelette demeure pour lui un assistant ; dans le cas contraire, c’est l’humain qui assiste l’exosquelette. Pour que l’humain qui est dans l’exosquelette soit totalement en sécurité, l’exosquelette pourrait le contraindre à faire certains gestes ou à s’arrêter ; ceci pourrait être vécu comme une atteinte à l’autonomie. 

En cas de machine learning, l’analyse des comportements de l’opérateur est démultipliée. La délimitation des tâches effectuées par l’humain et celles effectuées par l’exosquelette semble plus difficile à mettre en place puisque l’intérêt de ce système autoapprenant est de permettre à l’exosquelette de s’adapter et d’améliorer son utilisation. Cet exosquelette risque de prendre des décisions de lui-même et de ne plus attendre d’être commandé. Le risque de perte de contrôle de l’exosquelette par l’humain est donc accru avec aussi un risque de perte de dignité de l’humain qui pourrait se considérer comme le simple assistant de la machine. 

Le recours à l’exosquelette peut générer des biais de confiance ou des biais de défiance

Quelles seront les garanties qui empêcheront toute confiance ou dépendance excessives envers le mode autonome de l’exosquelette ? Il faudra rappeler les limites de l’exosquelette à son porteur. 

La question inverse doit être également posée : quelles seront les garanties prises pour empêcher toute peur excessive dans l’exosquelette en mode autonome ? Par exemple en cas d’intervention de l’exosquelette dans une armoire électrique haute tension, le monitoring de l’homme par l’IA est susceptible de générer du stress et de la peur, et il peut être difficile de contrôler des réticences physiques ; peut-être l’humain tentera-t-il inconsciemment ou non de s’opposer au mouvement de l’exosquelette. L’exosquelette devra être conçu en prenant en compte ces interrogations.

Réversibilité de l’augmentation

Sera-t-il possible pour l’humain d’avoir le choix de ne pas recourir à l’exosquelette ?

  • La robustesse et la fiabilité du système 

De nombreuses questions se posent quant à la robustesse et la fiabilité du SIA : 

  • Quelle est la fiabilité des algorithmes utilisés ? 
  • L’hypothèse du piratage de l’exosquelette a-t-elle été identifiée ? 
  • Existe-t-il un système d’arrêt en cas de prise de contrôle non souhaitée de l’exosquelette par un tiers ? 
  • Le risque de piratage des données du porteur par un acteur malveillant qui pourrait les utiliser pour des usages non souhaités (usurpation d’identité, piratage de mots de passe etc.) a-t-il été identifié et quelles mesures ont été prises pour limiter ce risque ? 
  • Atteinte à la vie privée 

L’exosquelette connecté capte de très nombreuses données personnelles, extrêmement sensibles comme les données biométriques, et ce, d’une façon continue pendant qu’il est porté. Ceci lui permet de s’adapter parfaitement à son porteur et à son environnement et d’augmenter la sécurité des interventions, mais cela peut aussi être vécu comme une atteinte à la vie privée. 

Ceci permet également une évaluation des performances de l’être humain. De plus ces systèmes permettraient de procéder à la surveillance des porteurs à leur insu et de contrôler leurs moments de pauses, le respect des cadences etc. L’usage de l’exosquelette devra être clairement défini et présenté d’une façon transparente à ses utilisateurs et les risques d’usages détournés ou non prévus au départ doivent faire l’objet d’un contrôle. 

L’exosquelette pouvant détecter son environnement, il sera en mesure de détecter d’autres personnes que le porteur passant dans son champ de « vision » et de capter certaines de leurs données, voire des données personnelles si ces personnes peuvent être identifiées. 

L’exosquelette connecté à d’autres objets connectés ou à des robots permettra d’enregistrer des données d’une façon démultipliée et de les transférer très rapidement au sein du réseau ce qui multiplie les risques liés au détournement des données, notamment personnelles. Se posera la question de l’agrégation, de l’anonymisation, du cryptage des données collectées par l’exosquelette. 

  • Enjeu en terme d’emploi et d’organisation du travail

Quelle sera la possibilité réelle de s’opposer à l’utilisation de l’exosquelette en entreprise ? Quel sera le droit réel de dire « non » ? L’exosquelette connecté à d’autres exosquelettes ou robots ne risque-t-il pas de menacer des emplois dès lors qu’il est capable de travailler en réseau ? La remise au travail de personnes auparavant inaptes à certaines tâches et le soulagement physique d’ouvriers aux tâches très pénibles ne doit pas être un prétexte pour mettre en place de façon insidieuse une nouvelle organisation du travail fondée sur des exosquelettes connectés entre eux, ou connectés à des robots et à des objets connectés. Ici encore l’usage doit être clairement défini, faire l’objet d’une présentation transparente à ses utilisateurs. Il doit être respecté et les doubles usages ou usages détournés vigilés.

En cas de machine learning, la question du maintien des compétences des porteurs, de la transmission de ce savoir-faire et de la réorganisation du travail est très sensible.

  • Enjeu en termes de responsabilité

La question est ici de savoir qui sera responsable en cas d’accident dû à une prise en main par l’exosquelette. 

Les exosquelettes commandés par le cerveau

Leur fonctionnement et leur utilité

Dans le cas où les exosquelettes sont commandés par le cerveau, les neurones ou les nerfs sont connectés à des capteurs qui transmettent les signaux à un ordinateur, l’IA les transformant en commande de mouvement pour l’exosquelette. Les capteurs enregistrent « des ondes cérébrales qui sont associées à l’attention reconnues par un SIA qui les traduit en un signal capable de contrôler un exosquelette » (Catherine VIDAL, Nos cerveaux resteront-ils humains ? page 43). Cette méthode requiert une forte concentration et un grand entraînement de la personne. « la maîtrise de ces neuroprothèses est étroitement liée aux capacités de plasticité du cerveau des patients. Une longue phase d’adaptation et d’apprentissage en vue de prendre conscience de son activité cérébrale est souvent nécessaire. C’est le principe du neurofeedback : le patient apprend à mobiliser son attention et trouve progressivement les meilleures stratégies mentales lui permettant d’atteindre l’objectif fixé » (Catherine VIDAL op.cit. page 43). Cette méthode est encore au stade de l’expérimentation.

Nous pouvons citer comme exemple l’implantation de deux capteurs sans fil dans le cerveau au niveau des zones qui contrôlent le mouvement. Ils enregistrent des signaux électriques du cerveau émis lors d’intentions de mouvement et les transmettent en temps réel à un ordinateur qui les décrypte et qui traduit les données en instructions codées aux membres robotisés grâce à un SIA. Cet exosquelette a été mis au point pour une personne handicapée qui est entrainée avec des simulations virtuelles simples. La personne s’entraîne à se concentrer sur des intentions de mouvements qui seront interprétables par l’algorithme et l’algorithme grâce au machine learning s’adapte au porteur de l’exosquelette. Chaque modèle est individuel et non transposable car l’activité cérébrale est spécifique à chaque patient. De plus, sa construction se fait de manière progressive : « On travaille degré de liberté par degré de liberté pour arriver à contrôler le bras dans une dimension, puis deux, jusqu’à arriver à la démonstration du contrôle des deux bras en trois dimensions, plus la rotation des poignets », détaille Guillaume Charvet. Une fois le modèle établi, le sujet peut ensuite réaliser la tâche mentale qu’il souhaite).[3]   

Cette forme d’exosquelette va permettre à des personnes handicapées de retrouver leur mobilité, leur autonomie et leur meilleure intégration sociale.

D’autres travaux sont en cours. Des chercheurs de l’université anglaise de Bath ont conçu des neurones artificiels intégrés dans une puce de quelques millimètres de large, qui pourraient à terme être utilisés pour réparer des circuits défectueux, notamment dans le cas de maladies dégénératives intervenues à la suite d’une attaque cardiaque ou d’un Alzheimer, y compris en connectant l’exosquelette directement aux systèmes nerveux. [4] 

Les activités de conception, recherche-développement, test et démonstration en matière d’exosquelettes ne cessent de s’amplifier et elles font l’objet depuis quelques années de manifestations à finalité scientifique et/ou commerciale, par exemple EXOberlin [5], Consumer Electronics Trade Show (CES, Las Vegas), Exoskeletons and Soft Wearable Robotics Day (Amsterdam). [6]

Leurs enjeux éthiques

Toute intrusion non souhaitée ou malveillante dans le système pourra être très dangereuse pour la sécurité même du porteur. 

Dès lors que l’exosquelette est utilisé dans la vie privée et en continu, les risques liés au détournement ou d’usage malveillant de données personnelles seront accrus.

Cette technologie expérimentale qui nécessite aujourd’hui un important travail du porteur de l’exosquelette et qui est utilisée pour des personnes très lourdement handicapées permettra-t-elle demain de déclencher en temps réel et facilement des actions par des intentions ? Sera-t-il possible de décrypter aisément et clairement les intentions d’un être humain ? Deviendra-t-il capable de prendre le contrôle des mouvements d’un être humain, avec les atteintes à la liberté que l’on peut imaginer ? 

Quelles seront les transformations profondes générées par ces exosquelettes sur leur porteur ? Seront-ils perçus comme de simples outils ou comme des extensions de la personne ? Le recours à ces exosquelettes ne sera pas neutre et sera susceptible de faire évoluer le porteur lui-même et son identité. Quelle modification de la perception entre le sujet/et l’objet génèreront-ils ? Il faudra mener des études sur l’impact de cette interaction sur l’être humain.

Les enjeux éthiques d’atteinte à l’autonomie, à la sécurité, à la vie privée, à l’équité deviendraient sans commune mesure avec ceux déjà exposés dans le présent document, avec en plus des enjeux liés à l’identité même du porteur et à l’expression de sa liberté. Il serait indispensable de procéder à une cartographie des risques éthiques avant tout développement pour les identifier et mettre en place des plans d’actions pour y remédier ou les atténuer.

CONCLUSION

Si les enjeux éthiques posés par l’exosquelette deviennent plus aigus au fur et à mesure que son « intelligence » augmente, des garde-fous pertinents peuvent être mis en place une fois que l’étude d’impact faite avec les parties prenantes a permis d’identifier et mesurer les risques. 

Des mesures de suppression ou d’atténuation des risques peuvent alors être prises. Parmi ces mesures, figurent la réflexion sur les algorithmes utilisés et la possibilité de mettre en place un bouton d’arrêt, le contrôle en continu des données et la maîtrise des usages qui doivent être clairement présentés aux utilisateurs, respectés et faire l’objet de vérifications fréquentes. 


[1]       Rapport sur l’Éthique de la recherche en robotique, CERNA, novembre 2014, page 51/58 – https://iatranshumanisme.com/wp-content/uploads/2016/01/38704_avis_robotique_livret.pdf

[2] https://www.freedzone.org/lg-devoile-le-lg-cloi-suitbot-une-nouvelle-combinaison-robotique-portable-003

[3] https://www.francetvinfo.fr/sante/decouverte-scientifique/grenoble-un-exosquelette-revolutionnaire-a-permis-a-un-tetraplegique-de-remarcher_3644043.html

[4] https://singularityhub.com/2019/12/06/first-ever-artificial-neuron-could-let-us-repair-brain-injuries-with-silicon/

[5]https://www.exo-berlin.de/conference.html

[6]https://www.xosoft.eu/clusterday.html

Une reconnaissance faciale éthique : un oxymore ?

Reconnaissance Faciale

Geneviève Fieux-Castagnet et Gérald Santucci

Avril 2020

Présentation générale

Comment une machine, fût-elle « intelligente », peut-elle reconnaître des visages ? Certes, tous les visages comportent les mêmes éléments : deux yeux, un nez, des lèvres, un front, des joues, des oreilles, des cheveux etc., mais chaque visage est différent et un visage change d’aspect avec l’âge de la personne, les émotions qu’elle ressent, les expressions qu’elle se donne ainsi que son orientation. 

La reconnaissance faciale, l’une des principales applications de l’intelligence artificielle, gagne du terrain chaque jour sans que nous nous en rendions bien compte. Ainsi, depuis 2018 les voyageurs qui prennent le train pour Londres depuis la gare du Nord, ou qui embarquent à Roissy-Charles-de-Gaulle, ont affaire à de nouveaux portiques de sécurité qui sont destinés à vérifier leur identité lors du passage de la frontière. 

Désormais nos visages déverrouillent nos téléphones portables, nous font accéder à notre banque en ligne, nous permettent de monter à bord des trains et des avions… 

Il va de soi que ce qui est en train de se passer est un enjeu important pour le respect de notre vie privée. A l’âge du « capitalisme de surveillance », pour reprendre la formule de la sociologue et universitaire américaine Shoshana ZUBOFF, la vie privée est-elle condamnée ? Peut-être, mais il conviendrait de souligner que la « vie privée » ne devrait pas être ce que « la société » (le gouvernement, les entreprises etc.) nous accorde mais ce que nous décidons nous-mêmes d’en faire. 

Au-delà de la vie privée, l’intelligence artificielle, et en particulier, la reconnaissance faciale, nous interroge sur l’éthique. Ce thème transversal figurera en filigrane tout au long de cet article

Technologie utilisée

La reconnaissance faciale est une technologie informatique qui permet de reconnaître automatiquement une personne sur la base de son visage. Pour cela, elle utilise des données biométriques[1]

La reconnaissance faciale se fait en trois temps : 

  1. La détection du visage, suivie de son alignement, afin de localiser le visage d’un individu sur une image et d’en délimiter les contours à l’intérieur d’un champ ;
  2. L’extraction des caractéristiques du visage et leur transformation informatique en modèle ou « gabarit » pouvant être utilisé pour la tâche de reconnaissance proprement dite ;
  3. La reconnaissance du visage en recherchant une correspondance entre le gabarit et un ou plusieurs autres gabarits contenus dans une base de données. 

Source : Youssef FENJIRO, gestionnaire de projets et expert en science des données

Dans le cas de la biométrie faciale, un capteur 2D ou 3D « saisit » un visage, puis le transforme en données numériques par l’opération d’un algorithme et le compare à une base de données. 

Grâce à ces systèmes automatisés, l’identification et la vérification de l’identité d’individus peuvent s’effectuer en seulement quelques secondes à partir des caractéristiques de leur visage : écartement des yeux, des arêtes du nez, des commissures des lèvres, des oreilles, du menton, etc., y compris au milieu d’une foule ou dans des environnements dynamiques et instables. 

Bien qu’il existe d’autres signatures biométriques (empreintes digitales, scan de l’iris, voix, numérisation des veines de la paume de la main, ou encore analyse du comportement), la reconnaissance faciale s’impose comme la plus efficace des références en matière de mesures biométriques : 

– elle est facile à déployer et à mettre en oeuvre ;
– il n’y a pas d’interaction physique requise par l’utilisateur final ;
– les processus de détection et de correspondance du visage (pour la vérification / identification) sont très rapides.

Principales fonctions de la reconnaissance faciale

La biométrie permet d’identifier et d’authentifier des  personnes sur la base d’un ensemble de données reconnaissables, vérifiables, uniques et spécifiques à celles-ci et également de catégoriser des personnes en fonction de caractéristiques. 

L’identification répond à la question : « qui êtes-vous ? ». La personne est identifiée parmi d’autres en comparant ses données personnelles aux données d’autres personnes qui sont contenues dans la même base de données ou éventuellement dans des bases de données reliées. 

Elle est utilisée dans certains pays pour assurer des fonctions de sécurité. La reconnaissance faciale est utilisée par les forces de l’ordre pour retrouver des criminels, des terroristes, des enfants perdus etc.

La Chine s’est placée aux avant-postes de la technologie de reconnaissance faciale et a installé des milliers de « caméras intelligentes » à travers le pays. Le gouvernement et les entreprises privées de surveillance se sont associés pour développer les systèmes de surveillance. Un cas d’usage typique de la reconnaissance faciale est la lutte contre les infractions mineures concernant les piétons marchant en dehors des clous à Shenzhen (jaywalking) : des caméras de surveillance intelligentes sont placées près des passages piétons afin de surveiller le trafic piéton. Si un passant traverse sans attendre le signal provenant des feux de signalisation, il est détecté par les caméras et les données faciales le concernant sont comparées avec celles qui figurent dans les dossiers détenus par les autorités ; en cas de correspondance, la photo de l’auteur de la contravention au règlement est  affichée  à la vue de tous sur un large écran près du passage piéton. En l’absence de législation concernant le respect de la vie privée, la Chine s’impose comme le leader mondial de la reconnaissance faciale. Elle a introduit un système de « crédit social » qui mesure la réputation des citoyens selon leur comportement et leur présence sociale. Le score obtenu par un individu définit ce qu’il est autorisé à faire et, en dessous d’un certain niveau, certains droits et avantages lui sont retirés (par exemple, la possibilité d’effectuer une réservation de voyage).

De son côté, l’Inde s’emploie à construire la base de données de reconnaissance faciale la plus importante au monde. Les autorités font valoir que dans un pays d’1,3 milliard d’habitants, cette technologie est indispensable pour aider les services de police dont les ressources sont limitées et qui sont en sous-effectif. Dans un autre domaine, la plupart des gares de chemin de fer prévoient d’utiliser d’ici la fin de 2020 un logiciel de reconnaissance faciale pour combattre la criminalité. Le système est d’ores et déjà expérimenté dans le pôle technologique de Bangalore où un demi-million de visages sont scannés chaque jour puis comparés aux visages stockés dans les bases de données de la police. La reconnaissance faciale devrait être utilisée aussi à bord des trains au moyen de caméras de vidéosurveillance installées dans un premier temps à l’intérieur de 1200 des 58000 compartiments de trains. En outre, des capteurs seront testés pour détecter certains sons tels que les cris ou éclats de voix émanant de disputes.

L’authentification, quant à elle, répond à la question : « Êtes-vous bien la personne que vous prétendez être ? ». La biométrie permet ici de certifier l’identité d’une personne en comparant les données qu’elle présente avec les données préenregistrées de la personne qu’elle déclare être. Prenons d’abord le cas de l’Eurostar. Lorsque nous utilisons cette compagnie pour nous rendre à Londres, il nous faut comme toujours présenter notre passeport et notre billet de train. Pourtant, tout a changé. Le billet de train, au lieu d’être imprimé sur un support physique, est désormais un e-billet téléchargé dans notre téléphone mobile et, surtout, le passeport n’est plus examiné par un agent de la sécurité au guichet, mais vérifié par une machine dont la caméra et l’écran d’ordinateur nous scrutent : il faut se présenter devant le sas libre, positionner son passeport sur le lecteur puis, quand le passeport est détecté et que la porte permettant d’entrer dans le sas s’ouvre, il faut se positionner sur le marquage au sol et regarder la caméra de sorte à permettre l’identification du visage. Si le visage est identifié, alors la porte de sortie du sas s’ouvre. En fin de compte, de quoi avons-nous besoin pour prendre l’Eurostar ? Un e-billet et un passeport, certes, mais aussi et surtout un visage.

Chez Aéroports de Paris (ADP), c’est l’entreprise Gemalto, acquise par Thales en avril 2019, qui a conçu avec le ministère de l’Intérieur le programme informatique connu sous le nom de « Parafe » (Passage automatisé rapide aux frontières extérieures). Thales souhaite que sa collaboration avec ADP s’élargisse pour couvrir l’ensemble des besoins depuis l’enregistrement pour un vol jusqu’au moment de l’embarquement, la technologie employée évitant ainsi d’avoir à redemander à chaque fois des éléments d’identité.

La catégorisation par la biométrie peut aussi être utilisée pour faire entrer des personnes dans des catégories en fonction de caractéristiques qui peuvent être le genre, l’âge, l’origine ethnique, afin de les profiler. L’analyse algorithmique des visages permet de détecter certaines maladies, comme la dépression, mais aussi, selon un nombre croissant de chercheurs, les émotions. Par exemple, le logiciel d’analyse des expressions du visage FaceReader collecte les données relatives aux émotions afin de déterminer si une personne est « heureuse », « triste », « en colère », « surprise », « effrayée », « dégoûtée » ou bien « neutre ». En fait, les « données émotionnelles » fournissent à ceux qui les récoltent des informations additionnelles objectives concernant l’impact, l’appréciation, l’attirance et la répulsion vis-à-vis d’une marchandise, d’un service, d’une application mobile, d’un site web, d’un message publicitaire, de la bande-annonce d’un film, etc.[2] Compte tenu des quantités considérables de données qui sont nécessaires pour entraîner une intelligence artificielle à détecter les émotions, de nombreux chercheurs restent sceptiques quant à l’avenir de la reconnaissance faciale dans ce domaine, surtout lorsqu’il apparaît que le sujet ne se trouve pas assis en face de la caméra, fixant l’objectif. Toutefois, les travaux de recherche se poursuivent, comme par exemple chez Fujitsu qui, en vertu d’un « processus de normalisation » lui permettant de convertir en une image frontale plusieurs images prises à partir d’un angle particulier, se vante d’être capable de détecter les émotions avec un taux d’exactitude de 81% (contre 60% chez la plupart de ses concurrents). La firme japonaise prévoit d’ores et déjà que son système de reconnaissance faciale va permettre d’améliorer la sécurité routière grâce à la détection des moindres changements de concentration du conducteur ou bien à un robot de repérer nos plus petits changements d’humeur. Ces perspectives semblent certes prometteuses, pour autant que leurs implications éthiques sont prises en compte sérieusement, mais les chercheurs ne doivent cependant pas perdre de vue le fait que les expressions du visage ont aussi une dimension culturelle, c’est-à-dire que leur signification diffère selon que le sujet vit en Asie, en Europe, en Afrique ou ailleurs.

Enjeux éthiques

Pour les cas d’usage portant sur l’authentification des personnes

Dans ce cas d’usage, le principal risque éthique est le faux négatif si la personne n’est pas reconnue, ce qui pourrait laisser croire qu’elle n’est pas en règle et porter ainsi atteinte à sa dignité. Or, l’on sait que les faux négatifs sont plus fréquents chez les personnes de couleur, ce qui peut générer une forme de discrimination. Certains programmes pour l’analyse faciale sont entachés de biais de nature sexiste ou raciale qui se traduisent par un faible taux d’erreur pour les hommes à peau clair, mais un taux élevé d’erreur pour les femmes à peau foncée[3].

La reconnaissance faciale pourrait être utilisée pour contrôler l’accès à des ordinateurs ou à des applications. La personne risque de ne guère avoir le choix que d’accepter de recourir à la reconnaissance faciale pour avoir accès aux services, même si, dans un premier temps, une alternative pourrait lui être proposée. 

La reconnaissance faciale pourrait aussi être utilisée pour accéder aux locaux des entreprises ou dans les lycées. Même si le système reposait sur le consentement des individus, comment penser que celui-ci soit réellement libre quand il existe un rapport de force inégalitaire ? Le recours à la reconnaissance faciale dans ces cas-là peut très vite donner l’impression aux personnes d’être épiées dans leurs comportements, dans leurs horaires, ou dans leur assiduité, ce qui peut générer un sentiment de surveillance, d’atteinte à la vie privée et aux libertés individuelles.

La collecte de données biométriques qui constituent un des attributs du caractère unique d’une personne peut être vécue comme une atteinte à la dignité. Plus le système se généralisera, plus il y aura un risque de sentiment de perte d’individualité ; le visage qui exprime les émotions et la sensibilité d’une personne prendra la dimension d’un simple outil parmi d’autres outils, générant ainsi un sentiment de « dépersonnification » et de déshumanisation. La matière première de cette technologie n’est rien moins que nos visages. Peut-on considérer que le visage d’un utilisateur constitue une « data » comme les autres ? 

De plus, un mauvais usage ou un détournement d’usage peut avoir des conséquences graves sur les droits et libertés des personnes : usurpation d’identité, diffusion d’images sur les réseaux sociaux, chantage, harcèlement etc. 

Comme le souligne la CNIL « les dispositifs de reconnaissance faciale sont particulièrement intrusifs et présentent des risques majeurs d’atteinte à la vie privée et aux libertés individuelles des personnes concernées. Ils sont par ailleurs de nature à créer un sentiment de surveillance renforcée »[4].

Tous ces cas d’usage d’authentification des personnes génèrent une accoutumance et une banalisation du recours à une technologie qui contient en elle des potentialités de dérive autoritaire dans un régime non démocratique où les contrepouvoirs seraient faibles. 

Pour les cas d’usage portant sur l’identification des personnes

Un cas d’usage peut être l’identification sur la voie publique de personnes recherchées, par confrontation en temps réel de tous les visages captés à la volée par des caméras de vidéo protection avec une base de données détenue par les forces de l’ordre. Les visages de tous les individus qui passent ou qui sont là au moment où l’on recherche un individu précis font l’objet d’une reconnaissance faciale. La technologie, étant sans contact, peut être alors considérée comme invasive. Pour qu’elle soit pleinement efficace en matière de sécurité et de suivi de délinquants, encore faut-il qu’elle soit largement déployée par de nombreuses caméras vidéos équipées du système d’intelligence artificielle (SIA) et que les bases de données soient les mieux fournies possibles. Son efficacité est donc proportionnelle à son déploiement, ce qui fait de cette technologie une porte ouverte à une société de surveillance de masse. 

Le seul fait de savoir que l’on peut faire l’objet de reconnaissance faciale dans un lieu public est susceptible d’être vécu comme une forme de surveillance et d’ingérence dans la sphère privée pouvant induire des modifications de comportements et une restriction spontanée dans sa liberté d’aller et venir, de se réunir ou de s’associer. Il s’ensuit un sentiment d’atteinte indirecte à la liberté d’expression et, par conséquent, à la vie privée et à la dignité de la personne[5]. Sommes-nous prêts, en tant que citoyens, à perdre totalement et définitivement notre anonymat dans l’espace public ? Étant donné la vitesse de déploiement des usages multiples de la reconnaissance faciale, que vaut encore un consentement ? Certaines personnes, inquiètes pour leur vie privée, utilisent des maquillages, vêtements et accessoires permettant de brouiller les logiciels de reconnaissance faciale. « En Russie, une artiste activiste adepte des performances antisystème a organisé une communauté virtuelle autour de ces techniques… avant d’être arrêtée »[6]

Par ailleurs, un logiciel de reconnaissance faciale dans le cadre d’enquêtes policières présente ici encore des risques de « faux négatifs » (la technologie ne parvient pas à faire correspondre un visage avec celui figurant sur une liste de surveillance, en conséquence de quoi des suspects ne sont pas détectés) et de « faux positifs » (la technologie aboutit à des erreurs d’identification).

S’ajoute à cela un risque non négligeable de cybersécurité et de captation malveillante de données qui peut conduire à des risques majeurs pour les individus, notamment lorsque les données sont croisées avec celles d’autres banques de données privées (par exemple celles des grandes entreprises technologiques de l’Internet, GAFAM ou BATX). Pouvons-nous faire confiance à tous ceux qui nous promettent la sécurité de la donnée ultra-sensible que constitue notre visage ? Qui serait en mesure de nous garantir la légalité des traitements effectués par les opérateurs publics ou privés ? Il faut envisager également le cas où le responsable du traitement lui-même glisse subrepticement d’un usage limité et sans risque vers un autre usage plus invasif et non autorisé.

En cas d’apprentissage machine, des biais pourraient s’introduire et stigmatiser une partie de la population.

Pour les cas d’usage portant sur la catégorisation des personnes et leur profilage

Ce cas d’usage peut permettre d’identifier des catégories de personnes selon leur origine ethnique. En Chine, la reconnaissance faciale a permis d’identifier les personnes d’origine ouïghour, de les suivre, de les contrôler et de les enfermer par centaines de milliers dans des camps d’internement. La reconnaissance faciale peut ainsi permettre d’exercer une action répressive sur une minorité. 

Un des risques de cette technologie est sa combinaison avec d’autres banques de données qui permettront l’identification des individus dans de très nombreux domaines permettant un profilage massif des individus portant une très fort atteinte aux libertés et droits fondamentaux[7]. Il existe déjà des applications qui permettent de retrouver le nom, les activités, les contacts de n’importe quelle personne à partir d’une photo en utilisant les milliards de données qui figurent sur internet et sur les réseaux sociaux[8]. La valeur des résultats des IA est fonction des questions qui leur sont soumises : quiconque cherche des corrélations entre un faciès et n’importe quel type de données en trouvera nécessairement. L’asymétrie d’information exorbitante qu’implique cette technologie accroît les possibilités d’influence et de coercition émanant des autorités, que celles-ci fussent politiques ou économiques. Un « Big Brother » (symbole du totalitarisme) ou un « Big Other » (symbole de l’« instrumentarianisme »), capable de reconnaître tous les individus et d’en obtenir instantanément le profil et les antécédents, surpasserait amplement les scénarios dystopiques imaginés jadis par B. F. SKINNER (Walden Two, 1948) et George ORWELL (1984, 1949).

La détection des émotions à des fins commerciales peut également être insidieuse : les rayonnages intelligents de supermarchés soulèvent des questions éthiques si les prix viennent à varier en fonction du consommateur qui se trouve devant, voire des questions juridiques quand la personnalisation d’un contenu se fait à l’insu de la personne. Quel que soit le cas d’usage, là encore il convient de bien informer les personnes pouvant être sujettes à des analyses automatisées. 

Sans préjuger des avancées scientifiques et technologiques qui vont continuer à perfectionner les usages de la reconnaissance faciale, il est légitime de s’interroger sur l’apport réel de ces systèmes pour améliorer, comme le prétendent les entreprises, la « satisfaction-client ». En effet, dans quelle mesure est-il techniquement faisable de déduire d’une émotion un degré de satisfaction-client ? Nos visages ne sont-ils pas animés en permanence de micromouvements qui ne reflètent pas forcément un état de satisfaction ou d’insatisfaction ? En outre, les émotions étant fugaces, voire éphémères, comment un système pourrait-il saisir l’instant parmi tant d’autres durant lequel l’émotion exprimée serait véritablement le reflet d’une satisfaction ou d’une insatisfaction durable ? De plus, des buts commerciaux justifient-ils une telle intrusion dans l’intimité d’une personne ?

Vers un encadrement des cas d’usage de la reconnaissance faciale

Le déploiement de la reconnaissance faciale s’est accéléré au cours des dernières années à un point tel qu’il est légitime de se demander si elle ne finira pas par s’imposer d’elle-même, avec ses biais sur lesquels il sera bien difficile de revenir, malgré les discriminations engendrées, et alors même que son efficacité diffère selon les conditions d’utilisation et les populations (sexe, ethnie, etc.). 

Le cadre juridique existant

Entre rejet en bloc de la reconnaissance faciale et usage débridé, il y a une voie à trouver dont la responsabilité incombe aux autorités publiques. D’ores et déjà existent en Europe des « repères juridiques » qui sont la Convention européenne des droits de l’homme, la Charte des droits fondamentaux de l’Union Européenne, le règlement général européen sur la protection des données et la directive Police-Justice.

La Convention Européenne des droits de l’homme et la charte des droits fondamentaux de l’Union européenne 

i. Droits protégés

La dignité, les libertés (respect de la vie privée, protection des données à caractère personnel, liberté de pensée, de conscience, de religion, liberté d’expression et d’information, liberté de réunion et d’association) constituent en vertu de la Convention européenne des droits de l’homme[9] et de la charte des droits fondamentaux de l’Union Européenne[10]des droits fondamentaux qui doivent s’appliquer de façon non discriminatoire. 

La protection des données personnelles et de la vie privée concerne par conséquent des droits protégés. La reconnaissance faciale utilisant des données personnelles et portant atteinte à la vie privée porte par essence atteinte à ces droits fondamentaux et ne peut être développée librement au sein de l’Union Européenne. Des mesures doivent être prises pour que la reconnaissance faciale respecte ces droits fondamentaux. 

ii. Protection de ces doits

Le principe général de ces textes est que seule une loi peut limiter l’exercice des droits et libertés précités[11].

Les limites apportées par la loi à ces droits et libertés doivent respecter le contenu essentiel de ces droits et libertés, être nécessaires, proportionnelles, et répondre à des objectifs d’intérêt général reconnus par l’Union Européenne ou au besoin de protection des droits et libertés d’autrui. La convention européenne des droits de l’homme cite les objectifs d’intérêt général qui peuvent être, dans une société démocratique, la sécurité nationale, la sûreté publique, le bien-être économique du pays, la défense de l’ordre et la prévention des infractions pénales, la protection de la santé ou de la morale.

Au regard de ces textes, la reconnaissance faciale ne devrait pas pouvoir se développer en dehors d’un cadre légal.

En France plus particulièrement se cumulent un cadre européen avec le RGPD et un cadre français plus strict, autorisé par le RGPD[12], avec la loi Informatique et Libertés.

Le règlement général européen sur la protection des données personnelles (RGPD)

i. Identification des personnes

La protection de L’article 9 du RGPD précité prévoit de façon claire le principe d’interdiction des traitements de données biométriques permettant d’identifier une personne de façon unique. Le principe est donc l’interdiction de la reconnaissance faciale mais uniquement en ce qui concerne l’identification des personnes. L’interdiction ne vise ni l’authentification des personnes ni leur classification.

Des exceptions sont prévues à cette interdiction : nous ne citerons que les principales : tout d’abord le consentement explicite des personnes visées, ce qui pose la question du consentement réellement libre et l’offre d’alternatives véritables à la reconnaissance faciale, et également quand une loi prévoit la possibilité de recourir à cette technologie en matière de santé publique ou quand il existe des motifs d’intérêt public essentiels.

La protection légale est donc importante en matière d’identification de personnes par reconnaissance faciale puisque si les personnes visées ne donnent pas leur consentement. Seule une loi pourra permettre d’y recourir. Cette loi devra néanmoins respecter les principes de la convention européenne des droits de l’homme précités[13]

Mais qu’en est-il de l’authentification des personnes et du profilage par reconnaissance faciale ? 

ii. Authentification des personnes

Dans les deux cas, une analyse d’impact est obligatoire. Cette analyse d’impact est en effet requise quand le traitement est susceptible d’engendrer un risque élevé pour les droits et libertés des personnes physiques.[14] Elle permet une analyse de l’impact des opérations de traitement envisagées sur la protection des données personnelles. Les autorités de contrôle établissent des listes des types d’opérations de traitement pour lesquelles une analyse d’impact est obligatoire. Dans certains l’autorité de contrôle est saisie pour avis préalable[15]. Les pouvoirs des autorités de contrôle sont larges : elles peuvent demander des informations complémentaires mais aussi mener des enquêtes exiger des mesures correctrices, pouvant aller jusqu’à l’interdiction du traitement et à la condamnation à des amendes en cas de violation de règles du RGPD[16].

iii. Profilage

Le profilage grâce à la reconnaissance faciale pour suivre par exemple le déplacement d’une personne et le prédire est interdit s’il est utilisé pour prendre une décision automatisée. En revanche, il sera possible si au bout de la chaîne il y a un être humain pour prendre la décision[17]. La loi peut cependant prévoir des exceptions à cette interdiction[18]

iv. Conditions à respecter

Le traitement devra respecter les principes de laicéité, loyauté et transparence, de limitation des finalités, de minimisation des données, d’exactitude, de limitation de la conservation, d’intégrité et de confidentialité et ces mêmes conditions devront être vérifiées chez les sous-traitants[19].

v. Droits d’information et d’accès

Le RGPD prévoit toute une série de droit d’information et d’accès aux données et de non-portabilité de celles-ci. Le recours à cette technologie doit faire l’objet d’une information aisément accessible, large, compréhensible et concise qui doit permettre de connaître l’identité du responsable du traitement, la finalité du traitement, sa base légale, les destinataires des données, leur durée de conservation etc. Le responsable du traitement doit également prévoir un droit d’accès, d’opposition, de limitation, de rectification, d’effacement des données biométriques par ceux qui en font l’objet[20] (ces droits pouvant être limités par la loi, notamment pour des raisons de sécurité publique). 

La directive « Police-Justice »

Le RGPD et la directive « Police-Justice »[21] composent tous deux le « paquet européen relatif à la protection des données à caractère personnel ». Ils présentent des champs d’application distincts qui se veulent complémentaires. 

La directive « Police-Justice » établit des règles relatives à la protection des personnes physiques à l’égard du traitement des données à caractère personnel par les autorités compétentes à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière ou d’exécution de sanctions pénales, y compris la protection contre les menaces pour la sécurité publique et la prévention de telles menaces.

L’identification des personnes à partir de données biométriques est autorisée en cas de nécessité absolue. Il faudra une loi pour le prévoir[22].

Elle prévoit également que le responsable du traitement doit établir une distinction claire entre les données personnelles de différentes catégories de personnes concernées (les personnes coupables, celles pour lesquelles il existe des motifs sérieux de croire qu’elles ont commis ou sont sur le point de commettre une infraction pénale, les victimes, les témoins). 

Un traitement juridique spécifique de la reconnaissance faciale

Les spécificités de la reconnaissance faciale et sa vitesse de déploiement dans les entreprises, les institutions et la société civile rendent nécessaires des interprétations plus fines des conditions qui s’imposent afin que soit développée une reconnaissance faciale éthique bénéficiant à tous sans créer de nouvelles inégalités, sans empiéter sur les libertés publiques et sans poser de nouveaux risques sur les sécurités individuelle et collective. 

A l’aube de la troisième décennie du vingt-et-unième siècle se profilent les premiers éléments de ce que pourrait être une cadre juridique spécifique pour la reconnaissance faciale, tout en tenant compte du fait que l’Europe se trouve confrontée en la matière à un triple défi : un défi d’innovation technologique et industrielle, un défi d’appropriation citoyenne et un défi de régulation juridique[23]

Les propositions de régulation de la Commission Européenne

La Commission européenne a présenté sa stratégie pour l’intelligence artificielle en affichant une approche éthique dont elle entend faire son marqueur et son atout, un peu à l’image de ce qu’il s’est passé avec le règlement général sur la protection des données (RGPD). D’ailleurs, Marghrete VESTAGER, vice-présidente exécutive de la Commission européenne en charge de « Une Europe adaptée à l’ère du numérique », a enfoncé le clou :

« Certains disent que les données se trouvent en Chine et l’argent aux États-Unis. Mais en Europe, nous avons un projet et beaucoup de choses sur lesquelles nous pouvons construire (…) Mon approche n’est pas de rendre l’Europe plus comme la Chine ou les États-Unis, mon plan est de rendre l’Europe plus comme elle-même. »

La Commission européenne est revenue sur l’intention qu’elle a eue pendant un moment d’imposer un ban temporaire sur les usages de la reconnaissance faciale.

Elle a publié le 17 février 2020 un Livre blanc consacré à l’intelligence artificielle[24] dans lequel elle soutient l’adoption d’un texte contraignant sur l’intelligence artificielle, notamment pour les systèmes d’intelligence artificielle (SIA) à haut risque[25]. La reconnaissance faciale pour l’identification des personnes est considérée par le Livre blanc comme un SIA à haut risque et devrait être par conséquent encadrée par la nouvelle règlementation envisagée par la Commission. Celle-ci qui devrait poser des règles contraignantes en matière : 

– de contrôle des données utilisées lors de l’entraînement et lors de l’utilisation du SIA ;
– de conservation des archives expliquant le choix des données et de l’algorithme ;
– d’information due à l’utilisateur, notamment sur la finalité du SIA, ses capacités et ses limites ;
– de sécurité et d’exactitude du SIA, notamment sur la reproductibilité de ses résultats et sa capacité à corriger ses erreurs ;
– d’action humaine et de contrôle humain, notamment par une validation ou un recours par l’humain des décisions prises par le SIA, selon les cas par la possibilité d’imposer des contraintes ou par un bouton d’arrêt. 

Le projet de Livre blanc sur l’intelligence artificielle de la Commission contient deux approches fondées sur le risque : l’une en vue de la détermination des débiteurs d’une obligation, l’autre en vue d’instituer un cadre réglementaire.

L’une des principales difficultés générées par l’intelligence artificielle est la traçabilité d’une erreur à l’origine d’un dommage, en raison notamment de la diversité des acteurs économiques qui sont impliqués dans le cycle de vie d’une intelligence artificielle. Afin de déterminer sur qui pèsera la responsabilité du fait d’une intelligence artificielle, la Commission propose une approche fondée sur la désignation de la personne la plus à même d’y répondre. Ainsi, le développeur serait le plus à même de répondre des risques générés lors de la phase de développement. En revanche, la responsabilité de l’utilisateur prévaudra lors de la phase d’utilisation.

Elle évoque également le recours à une évaluation préalable de conformité avec des procédures d’essai, d’inspection ou de certification et un contrôle ex post par les autorités compétentes.

Les positions de la CNIL

La CNIL (Commission nationale de l’information et des libertés), autorité française indépendante gardienne des droits fondamentaux en matière de données biométriques, rend des avis sur les projets de loi ou décrets souhaitant autoriser le recours à la reconnaissance faciale tant pour l’identification des personnes que pour leur authentification[26]

Elle établit et publie des règlements types en vue d’assurer la sécurité des systèmes de traitement de données à caractère personnel et de régir les traitements de données biométriques. Elle a notamment élaboré un règlement-type contraignant sur la biométrie sur les lieux de travail[27].

Sauf pour les traitements mis en œuvre pour le compte de l’État agissant dans l’exercice de ses prérogatives de puissance publique, elle peut prescrire des mesures, notamment techniques et organisationnelles, supplémentaires pour le traitement des données biométriques[28]

i. Les exigences de la CNIL en matière d’expérimentation de la reconnaissance faciale

La CNIL ne s’oppose pas au principe à l’utilisation de la reconnaissance faciale, néanmoins elle souligne plusieurs exigences pour en encadrer l’expérimentation, notamment en matière de respect de la vie privée des citoyens. 

Pour la CNIL, il importe que les expérimentations n’aient pas pour objet ou pour effet d’accoutumer les personnes à des techniques de surveillance intrusive. Dans l’attente d’un cadre juridique, elle veut éviter qu’une expérimentation ne nécessitant pas d’autorisation légale à ce jour permette une accoutumance par les citoyens aux usages non nécessaires ou non légitimes, voire le développement d’usages non souhaités en toute illégalité.

Un aspect méthodologique important pour la CNIL est que les traitements avec des données biométriques fassent l’objet d’une analyse d’impact[29] préalable qui devra fournir une description systématique des opérations de traitement envisagées et de ses finalités, procéder à une évaluation de la nécessité et de la proportionnalité des opérations de traitement au regard des finalités ainsi qu’à une évaluation des risques pour les droits et libertés des personnes concernées, et indiquer les mesures envisagées pour faire face à ces risques[30]. L’analyse d’impact devra être transmise à la CNIL en cas de risques résiduels élevés malgré les mesures envisagées par le responsable de traitement concerné, ce qui sera le cas en général de la reconnaissance faciale.

La CNIL est favorable à ce que l’expérimentation de la reconnaissance faciale fasse l’objet d’un cadre juridique et que ce cadre soit l’occasion de tracer des « lignes rouges » d’interdiction au-delà desquelles aucun usage, même expérimental, ne serait admis. Ces lignes rouges sont dans la continuité des exigences posées par les textes légaux précités, à savoir : légitimité des buts poursuivis, minimisation du recours à cette technologie qui doit être strictement nécessaire avec la démonstration de l’inadéquation d’autres moyens de sécurisation moins intrusifs, proportionnalité des usages. 

ii. Identification du caractère strictement nécessaire de la reconnaissance faciale par rapport à d’autres technologies possibles

Dans le cas d’usage d’utilisation de la reconnaissance faciale pour s’authentifier sur un lieu de travail, la CNIL exige que le système de badge ne soit pas suffisant, que cela ne réponde pas seulement à un besoin de confort, et que les locaux soient particulièrement sensibles[31]. Des solutions moins intrusives doivent être privilégiées. Elle a ainsi considéré comme illégal le système de reconnaissance faciale utilisé dans deux lycées de la Région Sud, des systèmes moins intrusifs tels que des badges pouvant être mis en place. 

C’est ainsi que la SNCF a fait le choix de ne pas recourir à un système de reconnaissance faciale dans ses gares pour identifier les propriétaires des bagages abandonnés ou les auteurs de flagrants délits mais plutôt d’utiliser un système de reconnaissance par les vêtements, ce qui est beaucoup moins intrusif puisqu’aucune donnée biométrique n’est utilisée pour identifier la personne. Ce système sera repris prochainement par la mairie de Nice et celle de Marseille. 

Selon la CNIL, cette démarche de recherche de solutions alternatives doit être systématisée afin d’éviter qu’une telle technologie hautement invasive, génératrice d’accoutumance, ne se répande alors qu’elle n’est pas indispensable. 

Il est intéressant de noter que plutôt que d’utiliser la reconnaissance faciale pour identifier les déplacements de personnes atteintes du Coronavirus, certains pays ont eu recours à d’autres technologies moins invasives, notamment des solutions de « suivi de contacts » (contact tracing), c’est-à-dire le fait de suivre à la trace les personnes potentiellement contaminées[32]

En France, la CNIL est d’accord pour que l’on mesure les déplacements des populations grâce aux données des opérateurs télécoms (c’est ainsi qu’il a été possible d’évaluer que 1,2 million de Franciliens avaient quitté leur région au début du confinement), mais elle n’est pas d’accord pour établir un suivi individualisé, sauf si celui-ci repose sur une démarche volontaire de la personne concernée. 

iii. La recherche d’un consentement réel

La CNIL a rappelé à plusieurs reprises que le consentement ne pouvait être libre que « si le traitement de données était strictement nécessaire à la fourniture du service demandé par la personne, ou si une alternative était effectivement offerte par le responsable du traitement à la personne concernée ». Cela implique dans le second cas que le citoyen, l’utilisateur ou le consommateur devrait pouvoir choisir entre recourir à un système avec reconnaissance faciale ou recourir à un autre système. 

C’est le cas dans le système automatisé de sas intelligents Parafe, les utilisateurs pouvant choisir de l’adopter ou de passer par le contrôle classique des frontières. Cette liberté devrait pouvoir s’exercer dans la durée et non pas seulement le temps que les personnes s’habituent à utiliser la reconnaissance faciale. Un retour en arrière devrait également être rendu possible. 

Cependant, comment peut-on être certain que le consentement de l’individu soit « réel » ? Celui qui donne son consentement ne peut-il pas être victime d’un manque d’information ou d’une « manipulation douce » (nudge) ? 

Les solutions alternatives proposées, comme par exemple pour le cas des sas intelligents dans les aéroports, ne sont-elles pas déséquilibrées dès lors que la solution basée sur la reconnaissance faciale est beaucoup plus efficace que toute autre (vitesse, facilité d’usage, etc.) ? 

Au fil des années, le temps d’attente au passage des postes frontières a eu tendance à s’accroître en raison du durcissement des contrôles effectués par les autorités et d’effectifs qui n’ont pas évolué. Comment peut-on croire que le « progrès » généré par le système de reconnaissance faciale Parafe, en termes de rapidité (10-15 secondes contre 30-45 secondes pour l’ancien système d’empreintes digitales) et de sécurité, pourrait être remis en cause par la grande majorité des utilisateurs ? Il faut se rendre à l’évidence : les solutions de reconnaissance faciale, appliquées aux sas intelligents dans les aéroports ou à d’autres procédures de contrôles de sûreté, s’imposeront facilement et irrémédiablement dès lors qu’elles se traduisent incontestablement par des gains de performances et des réductions de coûts. 

Des mesures techniques de sécurisation des données ou des algorithmes

La technologie de reconnaissance faciale, on l’a vu, déploie ses ramifications dans l’ensemble de l’économie et de la société civile. Les forces de police à travers le monde mettent en œuvre des programmes utilisant des caméras destinées à scanner les foules lors des matchs dans les stades de football, lors des festivals, ou encore lors des manifestations dans les rues, avec pour objectif d’identifier des personnes soupçonnées d’une infraction. De leur côté, les géants du numérique entrent dans le jeu sans vergogne : Facebook compte sur la reconnaissance faciale pour étiqueter nos photos automatiquement ; Snapchat l’utilise pour superposer des animations amusantes sur notre visage ; Apple s’en sert pour déverrouiller nos téléphones portables via FaceID ; Amazon emploie un système d’analyses d’images, Rekognition, qui permet, entre autres, la reconnaissance faciale en temps réel parmi des dizaines de millions de visages. 

Les régulateurs à travers le monde reconnaissent l’importance du respect de la vie privée et exigent que les « informations personnelles identifiables » (PII) soient protégées, d’où par exemple le règlement général européen sur la protection des données (RGPD, 2016), la loi votée par l’État américain de l’Illinois sur la protection des renseignements biométriques (Biometric Information Privacy Act, ou BIPA, 2008), ou encore la loi américaine sur la portabilité et la responsabilité en assurance santé (Health Insurance Portability and Accountability Act, ou HIPAA, 1996). En vertu du RGPD, les images faciales sont des données personnelles sensibles qui sont soumises à des exigences et des restrictions. Les entreprises sont donc incitées à utiliser des mesures techniques pour respecter les principes du RGPD, y compris la confidentialité par défaut, le droit à l’oubli ou encore la protection de la vie privée dès la conception. 

A côté de l’arsenal réglementaire, des mesures techniques permettant de limiter les atteintes à la vie privée, aux données personnelles et aux libertés publiques, commencent à se mettre en place. 

Le risque de vol ou de détournement d’usage sera limité si les données biométriques sont conservées par la personne elle-même. C’est le cas dans le système Parafe puisque les données biométriques sont contenues dans la puce intégrée au passeport biométrique, ce qui permet de limiter les risques de vol de données.

En outre, plus brève sera la durée de conservation des données, moins important sera le risque de vol ou de détournement d’usage : dans le système Parafe, les images recueillies sont effacées dès la comparaison avec l’image numérisée et stockée dans le passeport. 

Il faudra aussi procéder à la détection systématique des biais dans les banques de données et dans les algorithmes en cas d’apprentissage machine et corriger ceux-ci régulièrement de sorte à prévenir les traitements discriminatoires indus.

Il existe des possibilités de limiter les risques en matière de cyber sécurité : 

– l’utilisation d’ordinateurs dédiés accessibles uniquement dans des locaux sécurisés (badge obligatoire etc.) ;
– des réseaux vidéo cloisonnés (par VLAN etc.) ; 
– l’installation d’antivirus et autres protections sur les ordinateurs ; 
– des postes de travail dédiés, connectés à des réseaux sécurisés ; 
– le recours à du personnel dédié et formé ; 
– le strict contrôle des prestataires accédant aux données ; 
– la traçabilité et la journalisation des données ;
– l’archivage et la maintenance effectués en interne. 

Nous n’en sommes qu’au début de l’innovation dans les domaines de la sécurité et de la cyber sécurité concernant les algorithmes de reconnaissance faciale et les systèmes d’intelligence artificielle en général. Dans un délai rapproché, les entreprises devront non seulement respecter scrupuleusement les législations, plus ou moins sévères selon les pays et sans doute évolutives, mais également développer un arsenal de protections spécifiques combinant des mesures techniques, des mesures organisationnelles et des mesures de gestion. 

Reconnaissance faciale et vie démocratique

Le lancement de débats nationaux et européens

Un consensus semble exister, au moins en Europe, sur le point que les questionnements relatifs à l’analyse des visages, en particulier par l’utilisation de l’apprentissage profond, ne doivent pas rester uniquement dans les mains des ingénieurs et des entreprises. L’IA confère des pouvoirs inaccessibles jusque-là qui justifient que la reconnaissance faciale, porteuse de risques de surveillances massives, fasse l’objet d’un débat ouvert, inclusif, participatif. 

La Commission Européenne favorable à un débat européen

La Commission européenne a lancé le 19 février 2020 une consultation qui porte notamment sur les circonstances spécifiques permettant de justifier le recours à la reconnaissance faciale pour identifier les personnes dans des lieux publics ainsi que sur les garanties communes à mettre en place. Cette consultation prendra fin le 31 mai 2020.

La CNIL favorable à un débat national

La CNIL souhaite apporter sa contribution au débat sur la reconnaissance faciale avec plusieurs objectifs[33] :

– clarifier l’objet du débat pour tous les citoyens en présentant ce qu’est la reconnaissance faciale techniquement et à quoi elle sert ; 
– mettre en lumière les risques technologiques, éthiques, sociétaux, liés à cette technologie, en montrant notamment que la reconnaissance faciale peut devenir un outil particulièrement omniprésent et intrusif et que la violation de données ou tout mésusage peut engendrer des risques importants (blocage d’accès à un service, usurpation d’identité, etc.) ; l’évaluation des risques est donc indispensable pour déterminer ceux qui ne sont pas acceptables dans une société démocratique et ceux qui peuvent être assumés moyennant des garanties appropriées ; 
– rappeler les principes qui doivent encadrer les usages : placer le respect des personnes au cœur des dispositifs, par exemple en recueillant leur consentement et en leur garantissant le contrôle de leurs données ainsi que l’accès aux informations ; le respect de ces principes, conformes avec le RGPD, a déjà conduit la CNIL à admettre certains usages tout en encadrant leurs modalités pratiques (contrôles aux frontières dans les aéroports, contrôle de l’accès au carnaval de Nice) et d’en refuser d’autres (contrôle d’accès d’élèves dans des établissements scolaires[34]).

Le lancement d’un large débat public sur ce que peuvent être des circonstances exceptionnelles justifiant le recours à la biométrie sera très utile, mais à condition que ce débat ne soit pas limité à l’identification par reconnaissance faciale mais également destiné à réfléchir sur les questions liées à l’authentification et à la catégorisation par reconnaissance faciale. Il devra permettre à toutes les parties prenantes de la société civile de faire entendre leur voix. 

Des garanties démocratiques de contrepouvoir

Suite à ces débats démocratiques, il devrait être possible de lister les cas d’usage sans risques, les cas d’usage soumis à autorisation préalable et les cas d’usage interdits sauf circonstances exceptionnelles. 

Les cas d’usage soumis à autorisation préalable devront faire l’objet d’un examen par des comités éthiques indépendants au sein des États membres, composés des parties prenantes et présidés par exemple par des hauts magistrats du siège, ces comités travaillant en réseau entre eux. Ils pourront s’appuyer pour effectuer leur analyse sur les sept principes édictés par la Commission européenne en 2018 : 

– facteur humain et contrôle humain : les systèmes d’IA devraient être les vecteurs de sociétés équitables en se mettant au service de l’humain et des droits fondamentaux, sans restreindre ou dévoyer l’autonomie humaine ;
– robustesse et sécurité : une IA digne de confiance nécessite des algorithmes suffisamment sûrs, fiables et robustes pour gérer les erreurs ou les incohérences dans toutes les phases du cycle de vie des systèmes d’IA ;
– respect de la vie privée et gouvernance des données : il faut que les citoyens aient la maîtrise totale de leurs données personnelles et que les données les concernant ne soient pas utilisées contre eux à des fins préjudiciables ou discriminatoires ;
– transparence : la traçabilité des systèmes d’IA doit être assurée ;
– diversité, non-discrimination et équité : les systèmes d’IA devraient prendre en compte tout l’éventail des capacités, aptitudes et besoins humains, et leur accessibilité devrait être garantie ;
– bien-être sociétal et environnemental : les systèmes d’IA devraient être utilisés pour soutenir des évolutions sociales positives et renforcer la durabilité et la responsabilité écologique ;
– responsabilisation : il convient de mettre en place des mécanismes pour garantir la responsabilité à l’égard des systèmes d’IA et de leurs résultats, et de les soumettre à une obligation de rendre des comptes.

Les cas d’usage interdits ne pourront être développés que pour une période limitée dans le temps en raison de circonstances exceptionnelles d’intérêt général, de sécurité ou de santé publique qui devront être votées par les parlements, respecter le contenu essentiel des droits et libertés de la convention européenne des droits de l’homme, être nécessaires, proportionnelles et soumises au contrôle d’une autorité judiciaire. 

Des auditeurs publics devraient être dépêchés pour vérifier que les cas d’usage ne sont pas détournés et que les décisions prises dans le cadre des comités éthiques sont respectées. 

CONCLUSION

La technologie de reconnaissance faciale est entrée dans nos sociétés de façon assez subversive, sans réel contrôle démocratique, sans débats ouverts et préalables qui puissent faire circuler, au-delà du microcosme des parties prenantes bien informées, le savoir essentiel du point de vue du respect des droits fondamentaux de la personne. Elle s’est imposée en quelques années à la confluence des avancées technologiques dans le domaine de l’intelligence artificielle et de l’évolution rapide des besoins dans le vaste espace des domaines d’intérêt général (sûreté, mobilité et transports, santé, etc.). 

Il ne servirait à rien de feindre d’ignorer que, comme le montre l’histoire, lorsqu’une technologie devient disponible, elle finit par être utilisée. Toutefois, cela ne signifie pas que son utilisation doive être laissée au bon vouloir de n’importe qui, pour n’importe quel usage, et dans n’importe quelles conditions. 

Dans les pays démocratiques, un consensus se dessine en faveur de phases d’expérimentation dans divers cas d’usage, limitées dans le temps et dans leur champ d’application, afin d’éclairer des débats publics et de guider les prises de décision. 

En l’absence de telles expérimentations, l’on se retrouve le plus souvent dans des situations où l’utilisation de la reconnaissance faciale reste interdite par la loi alors même que des collectivités locales accordent des exceptions de plus en plus nombreuses en délivrant des autorisations à titre expérimental. 

Cet article a indiqué que nos sociétés se trouvaient confrontées à un triple défi : un défi d’innovation technologique et industrielle, un défi d’appropriation citoyenne et un défi de régulation juridique. Ces trois défis doivent être considérés en même temps sans que l’un d’eux ignore les deux autres ou en minimise l’importance. Par rapport à l’enjeu si important du respect de la vie privée, les stratégies technologiques des pays d’Asie au moment de l’éclatement de l’épidémie du coronavirus ont été dénoncées en Europe, moins aux États-Unis, en raison de leur incompatibilité avec nos « valeurs » et nos législations. 

Pour autant, la pandémie en cours ainsi que d’autres enjeux planétaires – le changement climatique, la désertification (un tiers du total des terres émergées), les mouvements migratoires, les changements démographiques, les pénuries de ressources (eau, sable, denrées alimentaires, etc.) – convergent pour nous amener à penser que nous assistons à un changement de civilisation. Nous assistons à une « accélération de l’histoire » qui nous force à revoir nos concepts, préjugés, stratégies, sous peine de mettre l’humanité en danger. Les libertés individuelles, et les droits fondamentaux qui les soutiennent, sont évidemment un héritage de l’histoire que l’humanité doit préserver. Mais ne serait-il pas temps de réaliser aussi à quel point la personne humaine, être singulier, constitue également un nœud de relations avec les autres et la planète, ce qui en fait le détenteur d’une part de responsabilité vis-à-vis non seulement des générations d’humains qui l’entourent mais aussi de l’espèce humaine, et par conséquent vis-à-vis des générations futures ? 

Il nous faut réfléchir dès maintenant aux grandes révolutions de demain, à commencer bien sûr par l’intelligence artificielle et son sous-domaine, la reconnaissance faciale, mais aussi les biotechnologies, la télémédecine, l’économie circulaire, tout comme nos prédécesseurs se préparèrent en leur temps à la machine à vapeur, au pétrole , à l’électricité, à l’informatique ou encore au téléphone. Nous devons faire face aux défis que nous lance l’ère numérique en construisant une éthique qui prenne en compte un horizon lointain. C’est-à-dire que nous devons travailler dans l’intérêt des générations futures – notre nouvelle boussole – en embrassant l’apport des nouvelles technologies, y compris la reconnaissance faciale dont le potentiel est considérable pour le bien-être de l’humanité, tout en intégrant à nos initiatives et à nos actions un cadre éthique, défini collectivement sur la base d’une information complète, exacte, analysée et commentée de façon ouverte et participative, qui permette à l’humain de conserver le contrôle des nouveaux systèmes numériques, à la fois par une conception des technologies intégrant en amont les exigences en matière de droits fondamentaux et par l’élaboration d’un cadre réglementaire approprié, forcément adaptable au fur et à mesure des grandes évolutions des sociétés. 

REFERENCES

[1]       Les données biométriques sont des données à caractère personnel résultant d’un traitement technique spécifique relatives aux caractéristiques physiques, physiologiques ou comportementales d’une personne physique, qui permettent ou confirment son identification unique, telles que les images faciales (définition du Règlement Général sur la Protection des Données personnelles (RGPD) 2016/679 du 27 mars 2016).

[2]       Bartkiene, E.; Steibliene, V.: Adomaitiene, V.; Juodeikiene, G.; Cernauskas, D.; Lele, V.; Klupsaite, D.; Zadeike, D.; Jarutiene, L. & Guiné, R.P.F. (2019), Factors Affecting Consumer Food Preferences: Food Taste and Depression-Based Evoked Emotional Expressions with the Use of Face Reading Technology, BioMed Research International, 4, 1-10. https://doi.org/10.1155/2019/2097415

[3]       NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software, 19/12/2019, https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software

[4]       Avis de la CNIL en date du 29 octobre 2019 sur une expérimentation de reconnaissance faciale dans deux lycées de la région PACA, https://www.cnil.fr/fr/experimentation-de-la-reconnaissance-faciale-dans-deux-lycees-la-cnil-precise-sa-position

[5]       « Facial recognition technology: fundamental rights considerations in the context of law enforcement », https://fra.europa.eu/en/publication/2019/facial-recognition

[6]       https://fr.news.yahoo.com/russie-collectif-d-artistes-développe-165023862.html

[7]       Au sens du RGPD, le profilage consiste en toute forme de traitement automatisé de données à caractère personnel consistant à utiliser ces données à caractère personnel pour évaluer certains aspects personnels relatifs à une personne physique, notamment pour analyser ou prédire des éléments concernant le rendement au travail, la situation économique, la santé, les préférences personnelles, les intérêts, la fiabilité, le comportement, la localisation ou les déplacements de cette personne physique.

[8]       Peut-on tromper la reconnaissance faciale? Les Echos 23 Mars 2020.

[9]       Convention Européenne des droits de l’homme et libertés fondamentales adoptée le 4 novembre 1950 et entrée en vigueur le 3 septembre 1953.

[10]     Charte des Droits fondamentaux de l’Union Européenne du 7 décembre 2000.

[11]     Nous n’entrerons pas dans le débat de savoir si certains des droits fondamentaux ne peuvent pas faire l’objet de limitations comme le laisse entendre l’article 15 alinéa 2 de la convention européenne des droits de l’homme selon lequel des limitations légales seraient possibles pour certains droits mais pas pour d’autres car l’article 52 de la charte des droits fondamentaux de l’Union Européenne ne procède à aucune distinction entre les droits et prévoit globalement la possibilité de les limiter par la loi. 

[12]     Article 9 du RGPD. Les États membres peuvent maintenir ou introduire des conditions supplémentaires, y compris des limitations, en ce qui concerne le traitement des données génétiques, des données biométriques ou des données concernant la santé.

[13]     Les limites légales doivent respecter le contenu essentiel des droits et libertés fondamentaux, être nécessaires, proportionnelles, et répondre à des objectifs d’intérêt général reconnus par l’UE ou au besoin de protection des droits et libertés d’autrui.

[14]     Article 35 du RGPD

[15]     Article 36 du RGPD

[16]     Article 58 du RGPD

[17]     Article 22 du RGPD

[18]     Article 22 et 23 du RGPD

[19]     Article 5 du RGPD

[20]     Article 12 et suivants du RGPD

[21]     Directive (UE) 2016/680 du Parlement européen et du Conseil du 27 avril 2016 relative à la protection des personnes physiques à l’égard du traitement des données à caractère personnel par les autorités compétentes à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière ou d’exécution de sanctions pénales, et à la libre circulation de ces données, et abrogeant la décision-cadre 2008/977/JAI du Conseil.

[22]     Article 10 de la directive 2016/680 du parlement européen et du conseil du 27 avril 2016

[23]     BAICHÈRE (Didier), député des Yvelines, et SÉJOURNÉ (Stéphane), député européen, Pour une reconnaissance faciale éthique, Le Monde, 24/10/2019, https://www.lemonde.fr/idees/article/2019/10/24/pour-une-reconnaissance-faciale-ethique_6016693_3232.html

[24]     Bruxelles, le 19/02/2020, COM(2020) 65 final, Livre Blanc « Intelligence artificielle – Une approche européenne axée sur l’excellence et la confiance ». 

[25]     Selon la Commission européenne, une application d’IA devrait généralement être considérée comme étant à haut risque en fonction de ce qui est en jeu, en examinant si des risques importants sont associés à la fois au secteur et à l’utilisation envisagée.

[26]     Article 32 de la loi no 78-17 du 6 janvier 1978 relative à l’informatique, aux fichiers et aux libertés : « Sont autorisés par décret en Conseil d’État, pris après avis motivé et publié de la Commission nationale de l’informatique et des libertés, les traitements de données à caractère personnel mis en œuvre pour le compte de l’État, agissant dans l’exercice de ses prérogatives de puissance publique, qui portent sur des données génétiques ou sur des données biométriques nécessaires à l’authentification ou au contrôle de l’identité des personnes ».

[27]     Les traitements conformes aux règlements types mentionnés au c du 2° du I de l’article 8 de la loi informatique et libertés mis en œuvre par les employeurs ou les administrations portent sur des données biométriques strictement nécessaires au contrôle de l’accès aux lieux de travail ainsi qu’aux appareils et aux applications utilisés dans le cadre des missions confiées aux salariés, aux agents, aux stagiaires ou aux prestataires. 

[28]     Article 8 b de la loi no 78-17 du 6 janvier 1978 relative à l’informatique, aux fichiers et aux libertés.

[29]     Délibération n° 2018-327 du 11 octobre 2018 portant adoption de la liste des types d’opérations de traitement pour lesquelles une analyse d’impact relative à la protection des données est requise.

[30]     Délibération n° 2018-326 du 11 octobre 2018 portant adoption de lignes directrices sur les analyses d’impact relatives à la protection des données (AIPD) prévues par le règlement général sur la protection des données (RGPD). 

[31]     Délibération n° 2019-001 du 10 janvier 2019 portant règlement type relatif à la mise en œuvre de dispositifs ayant pour finalité le contrôle d’accès par authentification biométrique aux locaux, aux appareils et aux applications informatiques sur les lieux de travail.

[32]     Au moment du déclenchement de l’épidémie, plusieurs pays asiatiques ont mis en place des applications mobiles pour suivre la propagation du Covid-19 ou limiter les déplacements des personnes contaminées. En Chine, Ant Financial, filiale d’Alibaba, a lancé le 11 février 2020 l’application Alipay Health Code : à partir de l’historique des déplacements de l’utilisateur et d’un questionnaire sur son état de santé, un algorithme évalue le risque qu’il ait été en contact avec d’autres porteurs du virus. Le résultat s’affiche sous la forme d’un QR Code qui peut avoir trois couleurs : vert, le risque est faible, et l’utilisateur peut se déplacer ; jaune, la personne doit rester confinée pendant sept jours ; rouge, elle doit observer quatorze jours de quarantaine. Dans les régions les plus touchées, le code est contrôlé à tout moment, dans la rue ou dans les transports. En Corée du Sud, le ministère de l’Intérieur a mis en place début mars une application de contrôle des personnes placées en quarantaine. Elle permet aux autorités d’être tenues au courant de l’évolution de leur état de santé, mais aussi de s’assurer qu’elles respectent le confinement. A Singapour, l’application TraceTogether utilise les antennes Bluetooth des smartphones au lieu du GPS pour enregistrer toute rencontre entre deux personnes dans un rayon d’environ 2 mètres. Hors d’Asie, Israël et l’Iran ont annoncé l’adoption de technologies similaires. Quant à la Pologne, elle oblige déjà, via une application, les personnes en quarantaine à envoyer des selfies géolocalisés. Ces technologies se sont révélées assez efficaces mais elles posent dans les démocraties occidentales de réels problèmes en matière de libertés publiques. Une analyse par le New York Times du code source d’Alipay Health Code a permis de montrer que le programme envoyait des données vers des serveurs de la police chinoise. En Corée, où l’application de traçage se double d’alertes envoyées à la population par SMS, plusieurs personnes ont pu être publiquement identifiées et, sans surprise, stigmatisées. 

[33]     CNIL, « Reconnaissance faciale : pour un débat à la hauteur des enjeux », 15/11/2019, https://www.cnil.fr/fr/reconnaissance-faciale-pour-un-debat-la-hauteur-des-enjeux

[34]     CNIL, « Expérimentation de la reconnaissance faciale dans deux lycées : la CNIL précise sa position », 29/10/2019, https://www.cnil.fr/fr/experimentation-de-la-reconnaissance-faciale-dans-deux-lycees-la-cnil-precise-sa-position

Les enjeux éthiques à l’ère du numérique : le cas des applications mobiles de suivi des contacts

Big Tech, Covid-19

Geneviève FIEUX-CASTAGNET et Gérald SANTUCCI

Octobre 2020

N.B. Les opinions exprimées dans cet article visent à susciter un débat ; elles n’engagent que leurs auteurs et ne reflètent pas nécessairement celles des organisations auxquelles ils appartiennent. 

Données personnelles, vie privée, éthique : de quoi parlons-nous ?

« L’éthique, à la différence de la loi, est avant tout une affaire interpersonnelle ; elle ne saurait faire l’objet de règles générales sans prendre le chemin de la tartufferie. En face de toute interdiction, posons-nous une seule question : à qui telle action nuit-elle directement ? A personne d’autre qu’à son auteur ? Alors, laissons faire, laissons vivre. Au besoin, indignons-nous : il est d’autant plus légitime de condamner moralement ce que l’on aura eu le courage de tolérer légalement. » 
Gaspard Koenig, philosophe et président du think tank GenerationLibre, Les Échos, 16/09/2020

« La force de la morale, c’est sa cohérence interne. C’est aussi sa faiblesse : à cause de sa systémisation, il y a le risque de mettre le réel entre parenthèses. Mais le risque de l’éthique n’est pas moindre : si elle n’est qu’une discussion indéfiniment ouverte sur le bien et le mal, elle finit par dissoudre ces notions dans le bavardage et de se faire, au final, la caisse d’enregistrement du pathos et de l’opinion. La morale a la dureté de la loi, mais l’éthique a la mollesse d’un dialogue infini. De nos jours, la morale est très connotée. On entend « moralisateur » derrière le mot « morale ». Un discours qui juge… »
Martin Steffens, « Éthique et morale, de quoi parle-t-on ? », Le Figaro, 28/09/2018

Un peu d’histoire…

Jamais auparavant dans l’histoire de l’humanité les questions de l’identification et de la surveillance des individus ne s’est posée avec autant d’acuité qu’aujourd’hui. 

L’Europe a donné le la en 1995 avec la directive sur la protection des données, complétée en 2002 par une autre directive concernant le traitement des données à caractère personnel et la protection de la vie privée dans le secteur des communications électroniques (e-privacy). 

Pour être plus complet, il convient de rappeler que c’est l’Allemagne qui a été le premier pays à porter son attention sur le respect de la vie privée (privacy). En fait, c’est la région de la Hesse qui, en 1970, a mis en place la première loi sur la protection des données[1], suivie bientôt par les autres Länder puis par le niveau fédéral[2]. En 1983, la cour constitutionnelle de l’Allemagne fédérale a établi que l’individu possède un droit constitutionnel à l’auto-détermination en matière d’information. Cette décision interdit le traitement des données personnelles sauf en cas d’autorisation statutaire spécifique ou de consentement de la personne concernée. En 1990, une nouvelle loi fédérale sur la protection des données a incorporé ces exigences constitutionnelles. 

Avant le milieu du dix-huitième siècle, la question de la protection des données personnelles ne s’est quasiment jamais posée. Puis durant deux siècles, en raison de l’industrialisation et des cartes perforées, elle est devenue progressivement un thème de réflexion, quoique fort limité. Après 1945, ce thème s’est imposé dans le débat public avec l’arrivée des grands ordinateurs (à partir de 1945), des miniordinateurs (1975), des ordinateurs personnels (années 1980) puis des réseaux informatiques (années 1990). Cette accélération des changements dus aux technologies numériques s’est poursuivie avec l’augmentation continue de la puissance des systèmes informatiques, l’accroissement des largeurs de bande de transmission et des capacités de stockage des données, la réduction permanente de la taille des composants jusqu’à leur disparition du champ de vision, l’émergence de nouveaux concepts (biométrie, reconnaissance de la parole, géolocalisation, intelligence artificielle, blockchain, etc.) et l’apparition du traitement des données omniprésent (informatique diffuse, réseaux ubiquitaires, internet des objets, systèmes cyber-physiques, etc.). 

Le « droit au respect de la vie privée » a été posé pour la première fois aux États-Unis par les juristes de Boston Samuel WARREN et Louis BRANDEIS[3] :

« Le fait que chacun doit avoir une protection complète tant de sa personne que de ses biens est un principe aussi vieux que la loi commune ; mais il a semblé nécessaire de le redéfinir périodiquement pour renouveler sa nature exacte et l’étendue d’une telle protection. Les changements politiques, sociaux et économiques entraînent la reconnaissance de nouveaux droits et la loi commune, dans son éternelle jeunesse, s’étoffe pour satisfaire les nouvelles demandes de la société (…) Plus tard s’est imposée une reconnaissance de la nature spirituelle de l’homme, de ses sentiments et de son intelligence. Peu à peu le champ de ces droits juridiques s’est étendu et aujourd’hui le droit à la vie signifie le droit à la jouissance de la vie, le droit d’être laissé tranquille. » 

Ce « droit d’être laissé tranquille » constitue la première brèche juridique dans le vaste débat ultérieur sur le respect de la vie privée. Il ne s’agit à l’époque que d’un droit essentiellement physique, c’est-à-dire un droit à maintenir une certaine distance par rapport aux autres. Il s’inscrit dans l’idée américaine de la « poursuite du bonheur » qui figure dans la Déclaration d’indépendance du 4 juillet 1776 : « Nous tenons pour évidentes par elles-mêmes les vérités suivantes : tous les hommes sont créés égaux ; ils sont dotés par le Créateur de certains droits inaliénables ; parmi ces droits se trouvent la vie, la liberté et la recherche du bonheur. Les gouvernements sont établis parmi les hommes pour garantir ces droits, et leur juste pouvoir émane du consentement des gouvernés (…) ». L’avènement de l’informatique et l’explosion du numérique qui s’ensuivit ont évidemment bouleversé la conception du respect de la vie privée, provoquant des débats aussi passionnants qu’interminables et jusqu’à aujourd’hui inaboutis sur les données personnelles, la vie privée et l’éthique. 

AnnéePaysTitre
1972Allemagne (Région de la Hesse)Loi sur la protection des données
1974États-UnisLoi fédérale sur la protection des renseignements personnels
1977Allemagne fédéraleLoi sur la protection des données
1980OCDELignes directrices sur la protection de la vie privée
1981Conseil de l’EuropeConvention 108 pour la protection des données à caractère personnel 
1995Union EuropéenneDirective 95/46/CE sur la protection des données
2000Union EuropéenneProtection des données à caractère personnel dans la Charte des droits fondamentaux de l’Union Européenne (Article 8)
2002Union EuropéenneDirective sur la vie privée et les communications électroniques (e-privacy)
2005 (actualisation en 2015)APEC (Coopération économique Asie-Pacifique)Cadre de protection de la vie privée
2016Union EuropéenneRèglement général (UE) 2016/679 sur la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE 
Evolution à travers le monde des règles de protection des données

Au tournant du 21ème siècle de nouveaux enjeux liés aux technologies numériques et à la « transformation » qu’elles entraînent sont apparus qui ont posé d’une façon nouvelle les questions de la protection des données personnelles, du respect de la vie privée et aussi de l’éthique. 

Parmi ces technologies figurent en tête l’internet des objets, l’intelligence ambiante, la RFID (identification par radiofréquence) et la NFC (communication en champ proche), l’informatique affective, l’informatique en nuage, la bioélectronique, la neuroélectronique, l’intelligence artificielle, la symbiose homme-machine. 

Prenons quelques exemples. 

L’Internet des Objets (IdO), un concept ayant vu le jour en 1999, renvoie à l’idée d’objets qui « bavardent » entre eux et avec les humains. Les systèmes numériques se déploient partout (notion d’ubiquité) et ils sont invisibles en raison de la taille de plus en plus petite des microprocesseurs, des marqueurs RFID (identification par radiofréquence) et des autres dispositifs intégrés aux objets de tous les jours. Les menaces pour l’individu sont principalement :

  • la somme des petites traces d’information qu’il laisse derrière lui du fait de ses activités quotidiennes (data shadows),
  • le profilage comportemental, et 
  • la manipulation. 

L’internet des objets ne désigne pas seulement le réseau informatique qui connecte des objets, il renvoie également au concept d’objet qui, comme l’a montré l’auteur de science-fiction Bruce Sterling[4], s’est métamorphosé au fil du temps. D’abord un artefact (i.e. un outil rudimentaire lié aux civilisations de chasse et d’agriculture), puis une machine (i.e. un objet complexe reposant sur une source d’énergie artificielle) et enfin un produit (i.e. un objet manufacturé et reproduit en un grand nombre d’exemplaires identiques), l’objet dans l’ère numérique peut être aussi un gizmo (i.e. un objet complexe, comme par exemple un logiciel, qu’il est plus difficile de simplifier que d’augmenter, qui requiert un apprentissage de la part de ses utilisateurs et qui s’appuie sur d’autres objets pour exister) ou un spime (i.e. un objet traçable, identifiable, localisable, muni de dispositifs numériques, par exemple des puces RFID, et existant en réseau). Si l’on se projette plus loin dans un futur indéterminé (autour de 2060, selon Sterling), avec notamment la convergence Nano-Bio-Info-Cogno (NBIC), l’objet deviendrait un biot, c’est-à-dire une entité qui serait à la fois un objet et un humain !

Les nanotechnologies opèrent à une échelle comprise entre 1 et 100 nanomètres (nm) et permettent de créer et utiliser des structures, composants et systèmes qui, du fait de leur petite taille, présentent des propriétés et fonctionnalités nouvelles que l’on cherche à transposer à l’échelle macroscopique afin d’en tirer parti. Ces technologies sont invisibles à l’œil nu, même en s’aidant d’une loupe, et elles permettent de capter des informations comme la température, la tension, la pression. 

Ces avancées technologiques renvoient à l’image de la « poussière numérique », c’est-à-dire des particules à l’échelle moléculaire capables de tracer et suivre les individus, sans qu’ils en aient conscience, grâce à diverses mesures indépendantes dont les données sont transmises et reçues à travers les réseaux numériques. 

Plus récemment, l’intelligence artificielle et la 5G sont venues compléter les technologies numériques déjà en déploiement. 

Les données à caractère personnel

La notion de « données à caractère personnel » n’est pas aussi facile à caractériser qu’on pourrait le croire. Dans la directive 95/46/CE, sa définition est ainsi libellée : 

« toute information concernant une personne physique identifiée ou identifiable (personne concernée) ; est réputée identifiable une personne qui peut être identifiée, directement ou indirectement, notamment par référence à un numéro d’identification ou à un ou plusieurs éléments spécifiques, propres à son identité́ physique, physiologique, psychique, économique, culturelle ou sociale ». 

Le règlement général 2016/679 sur la protection des données a mis à jour cette définition en introduisant la notion d’« identifiant » qui complète la notion précédente de « numéro d’identification » et en ajoutant l’identité « génétique » aux éléments spécifiques susceptibles de permettre d’identifier une personne physique : 

« toute information se rapportant à une personne physique identifiée ou identifiable (ci-après dénommée « personne concernée »); est réputée être une « personne physique identifiable » une personne physique qui peut être identifiée, directement ou indirectement, notamment par référence à un identifiant, tel qu’un nom, un numéro d’identification, des données de localisation, un identifiant en ligne, ou à un ou plusieurs éléments spécifiques propres à son identité́ physique, physiologique, génétique, psychique, économique, culturelle ou sociale. »

Dans un avis de 2007, le groupe de travail « Article 29 » sur la protection des données avait passé en revue et analysé les éléments constitutifs de cette définition[5] :

  • « toute information »
  • « concernant »
  • « une personne physique »
  • « identifiée ou identifiable » 

Cet avis déjà ancien est toujours d’actualité pour préciser la définition de « données personnelles » dans le règlement de 2016. 

Le constat général est que l’intention du législateur européen était d’adopter une notion large de données à caractère personnel afin d’assurer la protection des libertés et des droits fondamentaux des personnes physiques, notamment de la vie privée, à l’égard du traitement des données à caractère personnel. Un consensus s’est dégagé pour dire que le champ d’application des règles de protection des données ne devait pas être trop étendu mais en même temps qu’il fallait éviter de restreindre indûment l’interprétation du concept de données à caractère personnel. Les autorités de protection des données, telle la CNIL en France, « jouent un rôle essentiel pour parvenir à un équilibre approprié dans le champ d’application de la directive ». 

Le respect de la vie privée

Si la notion de respect de la vie privée – les Anglo-saxons emploient le terme privacy – est ancienne[6], elle n’a pas fait l’objet jusqu’ici d’un large consensus sur son interprétation. Le respect de la vie privée est reconnu comme un droit humain fondamental dans la Déclaration universelle des droits de l’homme (article 12), le Pacte international relatif aux droits civils et politiques (articles 14 et 17) et dans beaucoup d’autres conventions internationales et régionales concernant les droits humains. Il conforte notamment les valeurs de dignité humaine, de liberté d’association et de liberté de parole. La nomination par le Conseil des droits de l’homme en juillet 2015 du premier Rapporteur spécial sur le droit à la vie privée[7] reflète l’importance croissante de ce droit dans les politiques planétaires concernant le numérique.

La sophistication croissante des technologies de l’information et des communications, avec notamment la possibilité offerte de collecter, analyser et diffuser des données à caractère personnel, s’est traduite par un besoin de législation dans de nombreux pays. Au cours des trente dernières années, le niveau des informations générées par chaque individu a atteint des sommets en raison des avancées en matière de santé, télécommunications, systèmes de transports et transferts financiers. Les ordinateurs, reliés à des réseaux à large bande, génèrent des dossiers sur chaque personne physique sans qu’il soit nécessaire de disposer d’un système informatique central unique. 

Il n’est pas aisé de distinguer les notions de « respect de la vie privée » et de « protection des données à caractère personnel ». Selon les situations, l’une peut être perçue comme englobant l’autre. Les juristes s’accordent toutefois pour dire que la « protection des données » renvoie au mécanisme juridique destiné à assurer le « respect de la vie privée ». Le terme anglo-saxon privacy désigne le droit de tout citoyen de contrôler ses informations personnelles et de décider de l’usage qu’il en fera (c’est-à-dire de les révéler ou pas). Les spécialistes de ces questions considèrent le plus souvent que le terme privacy peut se rapporter aux éléments suivants[8] :

  1. les données personnelles
  2. les communications personnelles
  3. la personne physique
  4. le comportement de la personne
  5. la localisation et le lieu
  6. la pensée et les sentiments
  7. l’association et les groupes

Aux États-Unis, le concept de privacy prévaut tandis que dans l’Union Européenne c’est celui de « protection des données à caractère personnel » qui s’impose. Il convient de noter que le règlement général sur la protection des données ne fournit pas de définition de la « vie privée », pas plus que l’ancienne directive de 1995. Ainsi, par exemple, aux États-Unis on parlera d’analyse d’impact sur la vie privée (Privacy Impact Assessment – PIA – selon la traduction anglaise) tandis qu’en Europe on préfèrera utiliser la locution analyse d’impact sur la protection des données (Data Protection Impact Assessment – DPAI) qui est l’une des notions les plus importantes du règlement général européen sur la protection des données. Les conceptions américaine et européenne s’opposent en ce que l’Europe privilégie un cadre législatif global tandis que les États-Unis développent des règlements concernant le respect de la vie privée pour chaque secteur de l’économie, comme par exemple pour les services financiers (le Gramm-Leach-Bliley Act), la vie privée des enfants sur Internet (le Children’s Online Privacy Protection Act) ou encore le domaine médical (le Health Insurance Portability and Accountability Act). 

Une autre différence importante entre les deux régions du monde porte sur l’autorité chargée de faire appliquer les règles : en Europe il s’agit des pouvoirs publics tandis qu’aux États-Unis ce sont les entreprises et les individus qui décident eux-mêmes, ce qui place ces derniers dans une position de faiblesse puisque la plupart du temps ils sont peu ou mal informés des conséquences des options offertes par le secteur privé en matière de respect de la vie privée. En 2016, la Commission européenne et les États-Unis s’étaient accordés sur un cadre juridique pour les transferts transatlantiques de données : le « bouclier vie privée UE-États-Unis » visant à protéger les droits fondamentaux des citoyens de l’Union lorsque leurs données sont transférées vers les États-Unis et à apporter une sécurité juridique aux entreprises[9]. Mais le 16 juillet 2020, la Cour de Justice de l’Union Européenne (CJUE) jugea que ce cadre ne protégeait pas suffisamment les données européennes et risquait donc d’entraîner des violations des droits des citoyens, conformément au règlement général sur la protection des données (RGPD). La CJUE estima que la législation américaine sur l’accès aux données personnelles transférées depuis l’UE et l’utilisation de celles-ci par les autorités publiques du pays « n’est pas limitée de manière à satisfaire des exigences essentiellement équivalentes à celles requises par le droit communautaire ». 

L’arrêt de la CJUE est évidemment une mauvaise nouvelle pour les entreprises, qui préfèrent toujours disposer de mécanismes fiables et stables pour envoyer des données de l’Union Européenne vers les États-Unis. Il crée un obstacle au commerce électronique entre l’Union Européenne et les États-Unis, à un moment où les relations commerciales mondiales sont de plus en plus tendues. En revanche, il constitue une victoire pour les partisans de la protection de la vie privée qui avaient fait valoir à juste titre que le bouclier de protection ne couvrait pas suffisamment les données européennes.

L’éthique

L’éthique a surgi dans le débat public et sur l’agenda politique des autorités publiques à travers le monde lorsque l’Internet des Objets et l’intelligence artificielle se sont déployés dans quasiment tous les recoins de l’économie et de la société. L’éthique soulève une question plus large que celle de protection des données personnelles ou celle de respect de la vie privée, même si elle englobe ces dernières. 

Valeurs et vie privée

Le mot n’est pas nouveau : le grec Aristote en a précisé les contours dans son « Éthique à Nicomaque »[10] avant que de nombreux auteurs, de Spinoza à Wittgenstein, n’apportent leur pierre à l’édifice. Si l’on laisse de côté l’univers aristotélicien et ses « vertus » (par exemple, le courage, la tempérance, la générosité, la grandeur d’âme, l’orgueil, l’ambition saine, la douceur, la véracité, l’humour, la gentillesse, la justesse), la conception d’un système éthique à l’âge des machines devrait être fondée sur des valeurs positives. Mais il est difficile de s’entendre sur ce qu’est la valeur ! Des philosophes comme Épicure et Jeremy Bentham ne reconnaissent qu’une seule valeur : le bonheur humain. Mais la plupart des autres philosophes et psychologues pensent qu’il existe un grand nombre de « valeurs intrinsèques » telles que la connaissance, la beauté, la santé, la vérité, le pouvoir ou encore l’harmonie, auxquelles il faudrait ajouter des « valeurs extrinsèques », c’est-à-dire instrumentales, qui soutiennent l’atteinte des valeurs intrinsèques. La plus importante de ces valeurs extrinsèques est naturellement le respect de la vie privée. 

Pour autant, comme l’ont montré Karl Popper, Martin Heidegger et d’autres philosophes et épistémologistes, la valeur n’existe pas « en soi » si l’homme n’agit pas sur elle. Ainsi, par exemple, pour les transhumanistes, les humains peuvent être perçus comme des systèmes biologiques sous-optimaux en comparaison des machines dotées d’intelligence artificielle ! Ils placent leur idéal dans des machines considérées comme supérieures par rapport aux humains, ce qui, n’en doutons pas, manipulé par certains esprits malins, pourrait avoir des conséquences mortifères pour les sociétés humaines.

En s’appuyant sur les travaux du psychologue Abraham Maslow, l’universitaire Sarah Spiekermann a regroupé les dix-huit valeurs intrinsèques du premier autour de sept seulement[11] : 

  • deux conditions préalables : le savoir (véritable opinion, compréhension), la liberté (indépendance, libre choix) ;
  • cinq besoins de base : les besoins physiologiques (santé et force, vie prospère, activité), les besoins de sûreté (paix, sûreté, sécurité), les besoins d’appartenance et d’amour (véritable amitié, coopération, amour), les besoins d’estime (pouvoir, accomplissement, respect de soi-même, réputation, honneur, reconnaissance sociale), le besoin de réalisation de soi. 

Le respect de la vie privée est une valeur extrinsèque qui joue un rôle essentiel dans toutes ces valeurs intrinsèques. Le lien entre « valeurs » et « respect de la vie privée » est ainsi établi. C’est pourquoi il importe d’assurer la protection des valeurs mentionnées ci-avant dans les environnements informatiques actuels et futurs, notamment en ce qui concerne l’intelligence artificielle. 

Daniel Solove, un professeur de droit américain à la George Washington University Law School, a proposé en 2006 une intéressante taxonomie du respect de la vie privée en montrant que la plupart des problèmes provenaient des informations générées sur les personnes. 

La collecte d’informations soulève deux risques par rapport au respect de la vie privée :

  • la surveillance, qui consiste à épier, écouter ou enregistrer de façon clandestine les diverses activités d’une personne ; 
  • l’interrogation, qui consiste à exercer des pressions sur une personne pleinement consciente afin de l’amener à divulguer des informations sur elle. 

Le traitement des informations soulève d’autres risques : 

  • l’agrégation de divers éléments d’information au sujet d’une personne ; 
  • l’identification d’une personne à partir de diverses informations reliées à elle ;
  • l’insécurité, qui résulte de la négligence en ce qui concerne la protection d’informations stockées, ce qui peut conduire à de possibles fuites ou à des accès non autorisés ;
  • l’usage secondaire d’informations stockées qui, sans le consentement d’une personne, sont détournées de leur objet initial. 
La figure de l’homme du 21ème siècle entre « la machine intelligente » et « l’homme augmenté »

En se référant plus ou moins explicitement à ces valeurs – intrinsèques et extrinsèques – les débats sur l’éthique sont aujourd’hui étroitement liés à deux grandes révolutions qui se déploient parallèlement à une allure de plus en plus vive.

Premièrement, la machine intelligente, c’est-à-dire essentiellement les robots et les systèmes autonomes, auxquels il convient d’ajouter les objets connectés (ou encore l’Internet des objets). Elle est portée par une double révolution, celle de l’intelligence artificielle qui permet à l’homme de créer une « intelligence non-biologique » supérieure à l’intelligence humaine et celle des nanotechnologies qui lui permet de manipuler la matière aux niveaux moléculaire et atomique. Les machines du futur seront ainsi dotées de capacités sans précédent : elles pourront réunir les ressources bien au-delà de ce dont l’homme est capable ; elles possèderont des mémoires superpuissantes ; et elles pourront fonctionner vingt-quatre heures sur vingt-quatre, de façon connectée à travers le monde, en combinant les meilleures compétences sans jamais quitter le niveau de performances maximum. Se pose ici la question centrale du rapport de l’humain à la machine. De quelle façon l’humain pourrait-il garder la maîtrise de ce que fera la machine ? 

La réponse se trouve peut-être dans l’« humain augmenté », seconde grande révolution de notre époque. L’humain augmenté, c’est celui dont les différentes dimensions, notamment physiques et cognitives, se trouvent « améliorées » par les nouvelles technologies évoluant à la confluence des nanotechnologies, des biotechnologies, des technologies de l’information et des sciences cognitives (NBIC). L’idée n’est pas nouvelle, mais elle fut présentée de manière détaillée et cohérente en 2002 dans un rapport visionnaire de la National Science Foundation (NSF) et du département du Commerce (DOC) américains. L’homme augmenté serait le seul capable de concurrencer les capacités grandissantes des machines et d’une future intelligence artificielle générale. La convergence NBIC se trouve aujourd’hui enrichie par une autre révolution, celle de la génétique qui permet à l’homme de reprogrammer sa propre biologie. Ainsi, l’homme-machine, post-humain, ou encore trans-humain, est celui qui, en détenant les codes de sa propre fabrication, sera capable d’en modifier la structure, de la doter de superpouvoirs qui l’affranchissent des limites physiques, biologiques et cognitives auxquelles l’humanité demeure soumise jusqu’à présent. L’humain augmenté laisse entrevoir la réalisation du rêve d’une extrême longévité, d’une force, une résistance et une intelligence accrues, d’une liberté du corps retrouvée. L’esquisse d’une telle amélioration des performances a fait l’objet en France d’une forte reconnaissance dans les médias lorsqu’en 2019 un jeune tétraplégique réussit à contrôler son exosquelette grâce à des électrodes implantées dans son crâne[12]. Cette révolution comporte des promesses indéniables, mais elle soulève également des questions fondamentales pour « l’avenir du futur » de l’humain[13]. L’humain augmenté devra-t-il à un moment donné s’en remettre à d’autres acteurs afin que son « augmentation » soit activée, modifiée ou maintenue en état de fonctionnement ? Dans ce cas, ces acteurs pourront-ils prendre connaissance des données personnelles des individus, voire piloter ceux-ci à distance ? Quels risques y auraient-ils que les humains augmentés passent sous le contrôle de personnes malveillantes ? Quel pourrait être l’impact de cet humain augmenté sur la société elle-même, par exemple comment évolueront les relations humaines, en termes d’interactions affectives et de solidarités, et les relations sociales, en termes d’accès non discriminatoire au travail ? 

Se pose également la question de savoir comment s’exercera la cohabitation entre, d’une part, l’humain augmenté, doté de capacités extraordinaires mais aussi incité par la réglementation ou par des « manipulations douces » (nudge) à régler ses comportements sur des normes et des codes, et, d’autre part, les machines intelligentes, vouées peut-être bientôt à posséder leur propre « conscience ». Nous pourrions avoir d’un côté des sujets transformés en quasi-objets en raison de leur obligation de se conformer à des comportements jugés « normaux » et, de l’autre, des objets transformés en quasi-sujets grâce à des intelligences artificielles autonomes et auto-apprenantes capables de prendre des décisions sans contrôle humain. Il serait très intéressant que les scientifiques et les philosophes se penchent sur ces questions, les premiers pour comprendre les transformations profondes que ces évolutions vont entraîner sur le cerveau et le comportement biologique de l’humain, les seconds pour réfléchir aux contours de ses nouvelles relations au monde qui l’entoure.

Les auteurs du vingtième siècle avaient entrepris de caractériser les figures humaines de l’Histoire, passant en revue le Saint, le Héros, le Chevalier, le Sage, et enfin l’honnête homme du dix-septième siècle. Paraphrasant Saint-Augustin, le philosophe français Emmanuel Mounier s’était demandé, non sans cynisme, si le vingtième siècle n’avait pas accouché du médiocre satisfait. Fi de tout cela. N’est-ce pas dorénavant l’homme hyperconnecté qui devient la nouvelle figure autour de laquelle la société est en train de se réorganiser ? 

Les psychologues nous alertent cependant sur le fait que les sociabilités virtuelles n’ont qu’une portée relative : les « amis virtuels » sont bien éloignés du modèle de Montaigne et La Boétie, les échanges sur les forums n’effacent pas vraiment l’impression d’être étranger aux autres, le sentiment de solitude ou d’isolement ne disparaît pas, au contraire ! S’ensuit de nouvelles pathologies telles que la fatigue chronique, l’addiction digitale, la perte de concentration, le burnout. Par conséquent, la prolifération des interactions sociales constitue au mieux un palliatif au sentiment d’abandon et de perte de contrôle de leurs existences de la majorité des êtres humains. En outre, cet humain hyperconnecté n’est-il pas devenu avant tout un consommateur augmenté, profilé grâce aux traces qu’il laisse sur les sites web et sur les réseaux sociaux, lesquelles permettent de l’inciter à consommer plus ? Le risque est également qu’il perde le contrôle de son esprit critique, enfermé dans une bulle informationnelle qui le rend vulnérable à des formes de manipulation intellectuelle et politique. Jusqu’où doit-on accepter de laisser les technologies conçues et mises en œuvre par un nombre restreint de sociétés technologiques géantes (« big tech »), de plus en plus dominatrices, pour le moment basées aux États-Unis et en Chine, lire dans nos pensées, décrypter nos émotions, deviner nos besoins et nos désirs, décider de la façon dont le contenu de nos pensées sera protégé ? 

Les principes éthiques en intelligence artificielle

En faisant un peu d’humour l’on pourrait dire que définir des principes éthiques pour l’intelligence artificielle est chose aisée : quasiment tous les pays et tous les types d’organisations ne l’ont-ils pas fait ? Plus que pour d’autres technologies numériques disruptives, comme l’internet des objets ou la 5G, les valeurs et les principes susceptibles de guider le développement et le déploiement de l’intelligence artificielle dans l’économie et la société mobilisent l’intérêt, l’engagement et la participation de tous les acteurs de tous les continents. Les livres, articles, rapports, « déclarations » et autres documents écrits ne manquent pas en la matière, et l’océan des contributions, outre qu’il souligne l’attractivité du sujet, et en filigrane les inquiétudes qu’il génère, n’a cessé de s’agrandir depuis l’année 2017.

Afin de resserrer le cadre d’analyse, nous avons choisi d’évoquer ici sept sources d’informations dont la dernière, celle de la Commission européenne, sera détaillée dans la section suivante : 

  1. Les 23 principes d’Asilomar pour un développement éthique de l’intelligence artificielle[14]
  2. La Déclaration de Montréal pour un développement responsable de l’intelligence artificielle[15]
  3. Les principes généraux définis dans l’initiative globale de l’IEEE[16]
  4. Les cinq principes composant le « code IA » de la Chambre des Lords britannique[17]
  5. Les travaux du Partenariat sur l’intelligence artificielle, un organisme multipartite comprenant des universitaires, des chercheurs, des organisations de la société civile et des entreprises qui contribuent au développement et à l’utilisation de l’intelligence artificielle[18]
  6. Le cadre éthique fourni par AI4People[19], qui s’appuie sur les quatre principes fondamentaux de la bioéthique (bienfaisance, non-malfaisance, autonomie et respect de l’autonomie, justice) et en ajoute un nouveau : l’explicabilité, qui comprend l’intelligibilité et la responsabilité. 

La bonne nouvelle est que si l’on passe au crible les différents principes fournis dans les documents précédents – une cinquantaine au total – l’on constate une forte cohérence entre eux et par conséquent il est possible de les regrouper en quelques grandes catégories. C’est ce que la Commission européenne a su faire faire, et c’est pourquoi nous nous appuierons largement sur les résultats de ses travaux. 

Précisons déjà que les valeurs et principes éthiques concernant l’intelligence artificielle (nous aurions pu aussi évoquer l’internet des objets ou la 5G) offrent une base robuste pour examiner plus loin le cas particulier des applications mobiles pour la recherche de contacts dans le contexte de la pandémie de la Covid-19, tout en gardant à l’esprit que chaque cas particulier soulève des interrogations spécifiques qu’il faut savoir reconnaître et prendre en compte. 

L’Europe en pointe des réflexions sur l’éthique

L’Union Européenne assume un rôle de leadership planétaire dans la réflexion sur une « intelligence artificielle digne de confiance »[20]. En avril 2019, le groupe d’experts de haut niveau (AI HLEG) que la Commission européenne avait mis en place en juin de l’année précédente publia ses lignes directrices sur l’éthique en matière d’intelligence artificielle. Selon les experts européens, l’aboutissement à une intelligence artificielle digne de confiance requiert sept principes :

Le 17 juillet 2020, le AI HLEG a présenté la liste finale d’évaluation destinée à favoriser une intelligence artificielle digne de confiance (ALTAI)[21]. Cette liste d’évaluation accessible et dynamique doit permettre aux développeurs et aux déployeurs dans les entreprises et autres organisations d’autoévaluer la fiabilité de leurs systèmes d’intelligence artificielle (IA) en cours de développement. 

Les travaux du AI HLEG, qui s’inscrivent dans une stratégie globale sur l’intelligence artificielle[22], seront bientôt complétés par de nouveaux projets de recherche et d’innovation (R&I), à savoir ceux qui seront développés dans le programme Horizon Europe 2021-2027[23]

Il faut souligner l’engagement de l’Union Européenne, aiguillonnée par la Commission européenne, sur le thème de l’éthique, non seulement en ce qui concerne l’intelligence artificielle, mais également pour d’autres sujets, tels que la recherche biomédicale, les sciences de la nature et les humanités. La Charte des droits fondamentaux de l’Union Européenne et la Convention européenne sur les droits humains constituent les principaux repères de la Commission européenne. Il s’ensuit que les questions abordées le plus fréquemment sont les suivantes : l’implication des enfants, des patients et des personnes vulnérables ; l’utilisation des cellules souches embryonnaires humaines ; le respect de la vie privée et la protection des données à caractère personnel ; la mauvaise utilisation ou l’utilisation malveillante ; l’impact sur l’environnement. 

En affirmant sa détermination sur l’éthique, l’Union Européenne poursuit la démarche qui avait abouti en 2016 au règlement général sur la protection des données (RGPD). A ce sujet, il convient de relever que le comité européen de la protection des données (CEPD) a publié le 19 mars 2020 une déclaration dans laquelle il affirme que « même dans ces temps exceptionnels, le responsable du traitement des données (« data controller ») et le sous-traitant des données (« data processor ») doivent assurer la protection des données personnelles de la personne concernée (« data subject »). »[24]Cette protection constitue, en effet, une dimension fondamentale du respect de la vie privée des individus et, partant, d’une conduite éthique dans toute application numérique de recherche des contacts. 

Ethique et algorithmes : peuvent-ils converger ?

Les « valeurs » qui définissent l’éthique et les sept « principes » qu’en a tirés la Commission européenne en ce qui concerne « une intelligence artificielle digne de confiance » peuvent se heurter aux algorithmes qui, quels qu’ils soient, sont neutres par rapport à eux. Il va falloir encore attendre quelques années avant de savoir si l’intelligence artificielle peut être développée d’une façon éthique. Pour le moment, il faut garder à l’esprit que les algorithmes d’intelligence artificielle sont amoraux, comme c’est le cas par exemple lorsqu’ils commettent des discriminations raciales. Par conséquent, le développement d’une intelligence artificielle éthique ne doit pas être l’affaire seulement des juristes et des régulateurs, mais aussi celle des scientifiques[25]. Ces derniers savent bien que l’intelligence artificielle est une « boîte noire » : l’ordinateur est capable de distinguer un chat d’un chien, mais nul ne sait précisément comment il est parvenu à la bonne conclusion ! Pour obtenir une intelligence artificielle éthique, il est indispensable de comprendre pourquoi les algorithmes font des erreurs ; c’est ainsi que s’est constitué récemment un nouveau domaine de la recherche en intelligence artificielle, la « quantification de l’incertitude », dont le but est d’aider à développer une façon claire et exacte de communiquer la marge d’erreur d’un algorithme. 

Cependant, tous les défis éthiques ne pourront pas être relevés avec des solutions seulement techniques. Comme nous l’avons vu lorsque nous avons évoqué plus haut le sujet des « valeurs », les dilemmes éthiques, par nature, sont subjectifs et, par conséquent, requièrent des individus qu’ils résolvent entre eux leurs priorités conflictuelles. L’exemple bien connu est celui de la voiture autonome qui, dans l’hypothèse d’un accident inévitable en ville, devrait « choisir » entre faire une embardée pour épargner la vie de ses trois passagers, parmi lesquels se trouve un enfant, ou causer la mort de quatre piétons âgés. Selon leurs cultures, les individus qui sont interrogés sur ce dilemme répondent différemment : en Chine et au Japon, pays où les cultures attachent un poids plus grand à la collectivité, la probabilité de sacrifier les piétons est moins forte qu’ailleurs où les cultures accordent plus d’importance à l’individu. Ce cas poussé à son extrémité soulève une question à laquelle les mathématiques et les avancées techniques ne peuvent pas répondre : si j’achète une voiture autonome qui a été programmée en France et que je la conduise en Asie, à quelle éthique devrait-elle se soumettre ? 

La conclusion qu’il faut tirer de cette analyse est que le développement d’une intelligence artificielle digne de confiance requiert l’engagement et la participation de tous les acteurs : experts de toutes disciplines, spécialistes des sciences sociales, éthicistes. C’est pourquoi la Commission européenne devra veiller à ce qu’au cours des prochaines années le AI HLEG poursuive ses travaux de conserve avec les scientifiques, ingénieurs et autres participants dans les futurs projets de R&I Horizon Europe. 

Le traçage des contacts dans le cas de la Covid-19 : les enjeux éthiques entre l’urgence sanitaire et une mosaïque de solutions

Une épidémie de pneumonies d’allure virale d’étiologie inconnue a émergé dans la ville de Wuhan (province de Hubei, Chine) en décembre 2019. Le 9 janvier 2020, la découverte d’un nouveau coronavirus (appelé 2019-nCoV, puis SARS-CoV-2) a été annoncée officiellement par les autorités sanitaires chinoises et l’Organisation mondiale de la santé (OMS). Ce coronavirus est l’agent responsable de la nouvelle maladie infectieuse respiratoire appelée Covid-19 (pour CoronaVIrus Disease). Le SARS-Cov-2 se transmet d’individu à individu par voie aérienne de façon à former une chaîne de contaminations : une personne infectée transmet le virus à un autre individu qui contamine à son tour un autre individu, etc. La lutte contre la diffusion du coronavirus concerne donc l’identification et la rupture des chaînes de contaminations. 

Afin de soutenir cette rupture, des solutions numériques de recherche des personnes infectées et d’identification des individus avec lesquels elles ont été en contact rapproché et prolongé ont été développées dès les premières semaines de diffusion du nouveau coronavirus. D’abord utilisées en Asie, notamment à Singapour (Trace Together) et en Chine (Close Contact Detector), les solutions de recherche de contacts ont ensuite été développées dans les pays occidentaux où elles ont généré des débats souvent houleux concernant leur efficacité et le respect de la vie privée des individus (non-respect du secret médical ou de la vie privée des personnes, limitation des libertés individuelles). 

A peu près tout le monde est d’accord pour dire que l’outil numérique doit être intégré à un système plus large. Pour que l’épidémie s’éteigne, il ne suffit pas que les individus utilisent une application sur leur téléphone portable ; il faut aussi faire intervenir des personnes sur le terrain afin de mener le travail d’investigation (contact tracers). 

Les solutions numériques de recherche de contacts : une mise en place difficile

« Une nouvelle application de traçage Covid est lancée en Angleterre et au Pays de Galles » (source : Financial Times, 24/09/2020), « Comment Jean Castex a tué StopCovid en une phrase » (source : Le Figaro 25/07/2020). Neuf mois après la découverte du coronavirus, sept mois après le moment où il ne fit plus aucun doute que le nouveau virus entraînerait une pandémie, les deux titres de la presse précédents montrent à quel point les pouvoirs publics ont eu du mal à mettre en place des applications de traçage des contacts indépendantes. Le Royaume-Uni et la France furent les deux principaux pays à rejeter l’offre initiale d’assistance technique d’Apple et Google tandis que les deux sociétés « big tech » collaboraient au même moment avec les autorités médicales de plusieurs autres pays européens, notamment l’Allemagne et l’Italie, en vue d’introduire une technologie de traçage des contacts dans leurs réseaux mobiles. 

La chronologie des événements au Royaume-Uni dévoile des leçons intéressantes :

  • 31 janvier : confirmation des deux premiers cas de coronavirus ; le service national de santé (National Health Service ou NHS) annonce qu’il va traquer tous les contacts de ces patients ;
  • 29 février : 23 cas sont confirmés et plus de 10.000 personnes ont été testées en un mois ;
  • 12 mars : la phase d’« endiguement » de l’épidémie est remplacée par une phase de « retardement » : désormais, les efforts ne portent plus sur la recherche des contacts des patients connus mais se concentrent sur la réduction de la pointe des infections pour faire en sorte que les patients les plus malades puissent recevoir les soins dont ils ont besoin (stratégie dite de l’aplatissement de la courbe) ;
  • 23 mars : le Premier Ministre ordonne aux Britanniques de rester chez eux et demande à la police d’imposer cette décision de confinement national ;
  • 12 avril : le gouvernement annonce qu’il va développer une application de suivi des contacts ;
  • 17 avril : le Royaume-Uni annonce qu’il va reconstruire des équipes de « chercheurs de contacts » dans le cadre d’une nouvelle stratégie de test et de traçage ;
  • 5 mai : le NHS lance une application de recherche des contacts qui s’inscrit dans la stratégie « Tester, Suivre et Tracer » visant à traquer et isoler le virus afin de l’empêcher de se reproduire ; l’application utilise les signaux Bluetooth pour dresser une cartographie des contacts entre les utilisateurs et alerter ceux qui se sont trouvés proches d’une personne infectée ;
  • 8 mai : en réponse aux critiques sévères qui ont suivi la première annonce, émanant notamment des défenseurs du respect de la vie privée, préoccupés du fait que les données anonymisées seront stockées dans une base de données centrale, le NHS annonce qu’il travaille déjà à l’élaboration d’une seconde version de l’application incorporant la technologie fournie par Google et Apple ;
  • 28 mai : suite à la décision annoncée le 17 avril, la recherche manuelle des contacts reprend grâce au recrutement et à la formation de 25.000 personnes vouées à cette mission ;
  • 18 juin : le Royaume-Uni fait volte-face en abandonnant la technologie développée par ses services sanitaires au profit de celle d’Apple et Google ; lors de la phase pilote menée sur l’Île de Wight, l’application centralisée n’avait reconnu que 4% des téléphones mobiles d’Apple et 75% des appareils Android de Google ;
  • 13 août : des essais sont annoncés concernant une nouvelle application fondée sur un modèle décentralisé ;
  • 24 septembre : le NHS lance la nouvelle application – appelée NHS Covid-19 – qui rencontre aussitôt un succès estimable (un million de téléchargements le premier jour). 
Financial Times, 01/05/2020

En conclusion, il aura fallu cinq mois au Royaume-Uni pour combler l’écart entre la décision de rechercher les contacts à l’aide d’une technologie numérique (avril) et le lancement effectif de l’application (septembre). Dans un contexte tendu où les pouvoirs publics ont dû faire front à une menace sanitaire survenue brutalement, d’origine incertaine, au déroulement imprévisible, il fallut mettre en place un arsenal de mesures d’urgence parmi lesquelles, en l’absence de traitements et d’un vaccin, la recherche de contacts apparaissait comme indispensable. Cette recherche devait s’effectuer de façon classique avec des équipes formées de manière appropriée, mais aussi grâce au développement d’applications numériques basées sur les technologies performantes et omniprésentes dont l’humanité dispose à notre époque. 

La France s’est trouvée dans une situation similaire à celle du Royaume-Uni, mais il semble que l’objectif d’indépendance technologique vis-à-vis des GAFA, en l’occurrence de Google et d’Apple, a pris au moins autant d’importance aux yeux des autorités que celui de respect de la vie privée. Le cas de ce pays et de son application TousAntiCovid sera examiné en détail plus loin. Retenons simplement qu’à la fin du mois de septembre 2020 l’application française, lancée quatre mois plus tôt, le 2 juin, n’avait été téléchargée qu’environ 3 millions de fois, tandis que l’application allemande, lancée le 16 juin, l’avait été 18 millions de fois et l’application britannique 12,4 millions de fois en seulement quatre jours [26]

Au-delà des péripéties techniques, réglementaires et sociétales de l’année 2020, nul doute que si la pandémie perdure la nécessité de recourir à la technologie pour rechercher les contacts de personnes contaminées ou qui ont été identifiées comme ayant croisé des personnes contaminées sera plus grande que jamais. Moins d’un an après le début de la pandémie, le développement des applications de recherche de contacts se poursuit à travers le monde mais toutefois de façon inégale. Dans la plupart des pays, notamment en Europe, les débats s’enflamment autour de l’équilibre à trouver entre le respect de la vie privée et l’efficacité. En conséquence, le déploiement des applications est freiné, voire dans certains pays comme le Royaume-Uni stoppé puis repris sous d’autres formes. De leur côté, les États-Unis ont adopté une approche décousue dans la mesure où les états sont autorisés à construire leurs propres applications. Quoi qu’il en soit de la stratégie suivie par les différents pays, ce qui est sûr est qu’il faudra atteindre des niveaux élevés d’adoption des applications numériques de recherche de contacts pour que l’effort en vaille la peine en termes d’efficacité. 

Le respect de la vie privée constitue un défi majeur pour l’avenir des solutions numériques de suivi des contacts. Un système utilisé par des dizaines de millions d’individus qui manipulent des données aussi sensibles qu’un historique de contact, voire des données médicales, nécessite un très haut niveau de sécurité. En Allemagne, le Chaos Computer Club (CCC), association d’experts en informatique qui conseille depuis trente ans le gouvernement fédéral sur les questions de vie privée, a contribué utilement au débat sur l’éthique en fournissant une liste de dix critères restrictifs pour que ce type de solutions puissent tirer parti du potentiel épidémiologique du suivi de contacts sans pour autant constituer une menace en matière de vie privée[27]

Il est intéressant en passant de comparer les critères éthiques des experts de la Commission européenne (AI HLEG) et ceux du CCC. Les premiers sont plus larges puisqu’ils s’appliquent à l’intelligence artificielle, d’où des notions comme « facteur humain » ou « bien-être sociétal », mais ils correspondent dans une large mesure, avec un langage un peu différent, à ceux du CCC, même si ces derniers placent le curseur sur des points spécifiques tels que le « but épidémiologique », la « géolocalisation » ou encore la « non-observabilité des communications ». Cela montre bien qu’au-delà des « valeurs », les principes éthiques doivent être modulés en fonction des exigences de chaque domaine particulier, en fonction de sa taille et de ses spécificités.

La recherche de contacts par voie numérique : approche centralisée ou approche décentralisée ?

Le développement de solutions numériques de recherche des contacts soulève un ensemble de questions fondamentales avant même de s’intéresser aux enjeux éthiques : 

  • Qui a commandité l’application et qui l’a développée ?
  • Quelles sont ses fonctionnalités ?
  • Quand a-t-elle été lancée ?
  • Quelles technologies utilise-t-elle ?
  • Où est-elle disponible et sur quelles plates-formes ?
  • Quel niveau de pénétration a-t-elle réalisé au bout d’une journée/semaine ou d’un mois ?

Cet article ne développera pas ces différents points. Toutefois, il faut souligner l’importance du choix de la technologie de base destinée à rechercher et identifier les contacts : 

Dans le monde, et notamment en Europe, la plupart des pays ont choisi les « poignées de main » Bluetooth à courte portée entre les appareils mobiles comme le meilleur moyen d’enregistrer un contact potentiel, même s’il ne fournit pas de données de localisation. 

La technologie Bluetooth, invoquée dans toutes les applications de suivi de contacts, n’a pas été conçue pour mesurer une distance, mais seulement pour transmettre des données. Or, l’intensité du signal reçu d’un émetteur dépend de la distance. Les chercheurs doivent prendre en compte les différents modèles de téléphones, dont les capacités en matière de Bluetooth varient, mais aussi les innombrables situations de la vie quotidienne qui induisent une cascade de facteurs parasites et inconnus a priori, comme la puissance de transmission (que le consortium Apple-Google s’efforce de préciser) ainsi que l’atténuation du signal dans sa propagation dans le milieu (par exemple selon que l’appareil soit à l’air libre, dans un environnement densément peuplé ou non, dans un sac à dos, dans une poche de vêtement). Par conséquent, la capacité de la technologie Bluetooth à atteindre le niveau de précision nécessaire reste la grande inconnue de l’équation. Il n’est pas certain que les paramètres de proximité des applications de suivi des contacts qui sont déployées dans de nombreux pays correspondent toujours aux conditions de contamination telles qu’elles sont comprises aujourd’hui. Des études ont montré, en effet, que le virus pouvait être transmis par effet aérosol, donc par voie aérienne[29]. La proximité doit certainement jouer un rôle majeur dans la transmission, mais également d’autres paramètres, tels que la nature de l’espace dans lequel on se trouve (intérieur ou extérieur), les conditions d’aération, la charge virale des aérosols.

Si la technologie Bluetooth est privilégiée par la grande majorité des pays, en revanche ces derniers ne sont pas d’accord sur l’opportunité de consigner les contacts sur des appareils individuels (approche dite « décentralisée ») ou sur un serveur central (approche dite « centralisée »). La question sensible est en effet de savoir où se prend la décision de déclencher l’envoi des notifications aux contacts d’une personne qui vient d’être diagnostiquée positive au Covid-19. Est-ce sur un serveur contrôlé par une autorité sanitaire de confiance ou bien sur le téléphone lui-même ?[30]

L’approche centralisée est théoriquement plus efficace que sa concurrente ; elle permet en effet aux équipes de recherche de contacts existantes de travailler directement sur les téléphones et de retrouver facilement pour les avertir les individus qui peuvent être à risque. Dans le cadre de l’approche décentralisée, les utilisateurs peuvent donner leur consentement pour partager leur numéro de téléphone ou les détails de leurs symptômes, ce qui permet alors aux autorités sanitaires de prendre contact avec eux et de donner des conseils sur la meilleure marche à suivre en cas de risque avéré. Ce consentement est cependant donné dans l’application et ne fait pas partie de l’architecture centrale du système. 


Les modèles centralisé et décentralisé de suivi des contacts
Source: BBC News, Coronavirus: The great contact-tracing apps mystery, 21/07/2020

L’Union Européenne a montré qu’elle était en pointe sur les enjeux éthiques des technologies numériques, notamment l’intelligence artificielle. Toutefois, la question de la sécurité de l’échange d’informations entre les applications nationales de traçage des contacts reposant sur une architecture décentralisée s’est posée avec acuité. Rappelons qu’au départ les États membres s’étaient lancés dans des initiatives purement nationales dont la plupart, après valse-hésitation, convergèrent vers l’approche décentralisée proposée par l’alliance Google/Apple. Dès lors se posa la question de l’interopérabilité entre les différentes applications nationales. Comme l’indiqua Thierry Breton, commissaire au marché intérieur, « De nombreux États membres ont mis en œuvre des applications nationales de traçage des contacts et d’alerte. Il est temps à présent de faire en sorte que ces applications puissent communiquer entre elles. Les déplacements et les échanges personnels sont au cœur du projet européen et du marché unique. » Dès le 14 septembre 2020, la Commission européenne put annoncer la mise en place d’un service-passerelle d’interopérabilité permettant de connecter les applications nationales à travers l’Union Européenne et, par conséquent, de contribuer à briser la chaîne des infections dues au coronavirus et à sauver des vies. Un mois plus tard, le 19 octobre, ce service-passerelle a commencé à fonctionner, permettant à trois premières applications nationales, celles de l’Allemagne, de l’Italie et de l’Irlande, d’être reliées au système[31]

L’interopérabilité en Europe : comment ça fonctionne ?

L’entrée en service de la passerelle d’interopérabilité met en évidence un certain isolement de la France dans l’Union Européenne. Un pays – la Suède – a certes décidé de ne pas développer d’application de suivi des contacts, d’autres l’envisagent mais ne se sont pas encore lancés, mais le fait important est que la plupart des pays ont mis en place une application en optant, après parfois quelques atermoiements, pour une approche décentralisée soutenue par Google et Apple. 

Comment prendre en compte les enjeux éthiques dans les applications de suivi des contacts ?

Dès le début de la pandémie furent développées des solutions de tracking des individus afin de contrôler le respect des confinements et des quarantaines décidés par les gouvernements. Il s’agissait d’une démarche logique, nécessaire, et assez simple à mettre en place à la condition que les équipes de « traceurs » existassent pour exécuter le travail. Puis assez rapidement l’idée germa parmi de nombreux gouvernements de compléter les solutions de tracking par des solutions de tracing des individus, cette fois pour identifier et rompre les chaînes de transmission de la Covid-19. C’est ainsi que des solutions et applications mobiles furent lancées à travers le monde, tout d’abord en Asie puis après quelques semaines en Europe et ailleurs. 

Nous avons vu que les gouvernements pouvaient adopter des protocoles techniques différents (Google/Apple, DP3T etc.) ainsi que des technologies différentes pour la collecte des données (Bluetooth, géolocalisation).

Si le choix de la technologie s’est porté largement sur Bluetooth, c’est parce qu’en dépit des incertitudes concernant le niveau de précision des transmissions, les garanties en termes de respect de la vie privée sont les meilleures. 

Dans la première partie, nous avons montré que l’éthique portait sur des valeurs et que ces valeurs pouvaient être respectées en suivant un certain nombre de principes, parmi lesquels ceux préconisés par le groupe d’experts de la Commission européenne (AI HLEG) font la quasi-unanimité. Ces principes doivent être ensuite transformés en des questions à la fois simples et claires afin qu’ils puissent être appliqués dans des cas particuliers, comme celui du suivi des contacts. Ces questions doivent au minimum être les suivantes :

  • Le téléchargement et l’utilisation de l’application sont-ils volontaires (opt-in) ou bien obligatoire ? 
  • Existe-t-il des limites à l’utilisation des données ? 
  • Les données sont-elles destinées à être détruites au bout d’un certain temps ?
  • La collecte de données est-elle minimisée ?
  • La stratégie sous-jacente est-elle transparente ?
  • Les enfants, les personnes âgées et les personnes handicapées peuvent-elles avoir accès à l’application ? Si oui, comment, et comment leurs données sont-elles traitées ?

Les deux points fondamentaux lorsqu’on s’intéresse au respect de la vie privée dans le cas des applications mobiles destinées à la recherche des contacts sont, d’une part, l’identité des utilisateurs (les connexions via Bluetooth permettent de mettre en œuvre une approche fondée sur l’anonymisation ou la pseudonymisation, tandis que celles par géolocalisation ne respectent pas la vie privée) et, d’autre part, la structure et le stockage des données (modèle centralisé ou décentralisé). 

Il n’est pas surprenant que la façon de traiter le respect de la vie privée diffère grandement entre les pays. A Singapour, l’application « Trace Together » utilise la technologie Bluetooth pour repérer et identifier les personnes qui ont été en contact étroit et prolongé avec d’autres utilisateurs de smartphone testés positivement au Covid-19 ou à haut risque d’être porteurs du virus ; elle alerte alors ces personnes. En cas de suspicion d’une interaction entre un cas confirmé et un individu, le téléchargement de ces données vers un serveur devient obligatoire. 

En Chine, où la place accordée à l’individu dans la société est soumise à l’intérêt de la collectivité, la recherche des contacts se fait via la plate-forme « Close Contact Detector » qui a été développée par China Electronics Technology Group Corporation (CETC), propriété de l’État chinois. Cette plate-forme dont l’objet est de signaler aux personnes qu’elles ont été en contact étroite avec des individus infectés a été intégrée à des applications populaires préexistantes, comme Alipay, Wechat et QQ. Elle peut être utilisée par les autorités, les entreprises, les écoles, des employés d’espaces publics ou des représentants de quartiers résidentiels. Les utilisateurs de la plate-forme peuvent y accéder en scannant un code QR et s’inscrire avec un numéro de téléphone en fournissant leur nom et leur numéro d’identification national. Chaque compte associé à un numéro de téléphone peut demander des renseignements sur trois personnes au maximum. 

En Allemagne, l’application « Corona-Warn-App » commandée par le gouvernement à SAP et T-Systems, développée par Google et Apple, et inspirée par les travaux du consortium européen DP3T, analyse les signaux Bluetooth émis par les téléphones mobiles afin de détecter les utilisateurs ayant été en contact rapprochés les uns avec les autres. Les individus qui ont été en contact avec une personne infectée sont alors prévenus. Les identités des utilisateurs ne sont pas divulguées, les données sont cryptées et supprimées au bout de quatorze jours. 

Au Royaume-Uni, où comme nous l’avons vu la mise en œuvre de l’application NHS Covid-19 a suscité de vifs débats, certains n’hésitent pas aujourd’hui à proclamer que le point d’équilibre entre respect de la vie privée et efficacité privilégie de façon excessive le premier aux dépens de la seconde : l’application permet en effet d’obtenir des détails sur le nombre de tests positifs qui ont été enregistrés et sur le nombre d’alertes qui ont été envoyées aux utilisateurs afin qu’ils s’isolent, mais en revanche elle n’apprend rien sur l’identité de ceux qui ont été testés positivement ni de ceux qui ont été à la source de leur contamination[32]. En d’autres termes, les choix effectués par le gouvernement se sont révélés être plus conservateurs que ceux concernant l’API Apple-Google. Par exemple, les utilisateurs auraient pu se voir demander lorsqu’ils téléchargent l’application s’ils consentaient à fournir un numéro de téléphone afin qu’ils puissent être contactés au moment de leur isolement. Au lieu de cela, ils reçoivent seulement une alerte dont ils peuvent suivre les instructions ou pas. 

On le voit, le débat n’est pas clos, ni au Royaume-Uni ni ailleurs dans le monde occidental où les comparaisons que certains tentent de faire parfois avec des pays asiatiques comme le Viêt-Nam ou Taïwan ne sont pas forcément pertinentes.

La question du « contrôle » est évidemment essentielle. Certains gouvernements, comme en France, ont voulu garder le contrôle des données et, par conséquent, ont adopté un modèle centralisé. Mais la plupart, après des débuts erratiques, comme en Allemagne ou au Royaume-Uni, se sont résignés à s’en remettre à Google et Apple. Il est assez curieux de noter que les deux firmes américaines de l’Internet sont en fin de compte perçues comme offrant une solution plus fiable et garantissant davantage la sécurité et le respect de la vie privée grâce à l’anonymisation et à une architecture décentralisée. L’intérêt de Google et d’Apple est évident : plutôt que de se trouver en concurrence avec des gouvernements, ces sociétés préfèrent intelligemment offrir à chaque pays la possibilité d’accéder à leurs interfaces de programmation d’application (API), quitte ensuite pour les pays intéressés de configurer ces interfaces à leur guise, notamment en ce qui concerne les questions de respect de la vie privée. C’est ainsi que le 10 avril 2020 les deux firmes américaines annoncèrent qu’elles travaillaient ensemble au développement d’une application mobile en utilisant les signaux Bluetooth d’un smartphone ; aucune donnée de localisation par GPS ni d’informations personnelles ne seraient enregistrées. « Le respect de la vie privée, la transparence et le consentement sont pour nous de la plus haute importance et nous nous engageons à construire cette fonctionnalité en consultation avec les parties prenantes intéressées », firent savoir Google et Apple dans une déclaration commune. 

Les applications mobiles de recherche de contact sont censées établir un compromis, propre à chaque pays en fonction de son histoire, de sa culture et de ses préférences du moment, entre le niveau d’efficacité à attendre pour contrôler la propagation de l’épidémie et le risque potentiel de remise en cause du respect de la vie privée. Des défenseurs des droits fondamentaux craignent que l’outil serve certes dans un premier temps à traquer les contacts des patients nouvellement infectés mais qu’il évolue ensuite vers une situation où il se transformerait en un véritable « passeport d’immunité » devant être présenté systématiquement pour pouvoir utiliser un transport public ou assister à un match de football. En France surtout, le débat demeure intense entre les partisans d’une approche « moderne » pour endiguer l’épidémie de la Covid-19 et les opposants à une telle démarche, qui refusent de souscrire à une approche purement « techniciste » pouvant remettre en cause les droits fondamentaux des individus[33] : « Si les nouvelles technologies sont désormais indispensables à toute politique publique, placer au centre d’une stratégie d’État une application dont l’efficacité est plus que douteuse, et surtout inversement proportionnelle aux risques éthiques, politiques et sanitaires qu’elle comporte, serait catastrophique pour l’évolution de notre société. Les moments d’exception que nous vivons ne doivent pas pousser à composer avec une réponse techniciste, aussi trompeuse que dangereuse, ni nous faire renier nos exigences démocratiques. Ils doivent, au contraire, nous inciter à réaffirmer la part de solidarité et de confiance dont une société a besoin pour continuer de s’inventer sans cesse, en stimulant l’imaginaire social qui la nourrit. » 

La solution française : « TousAntiCovid »

La France a développé une application pour aider à la lutte contre le virus Covid-19. Cette application qui s’appelait jusqu’au 22 octobre 2020 StopCovid France, s’appelle désormais TousAntiCovid. La France a fait le choix de ne pas recourir à la géolocalisation, c’est-à-dire au « tracking » qui s’apparente à un suivi des déplacements via les GPS des smartphones et les antennes-relais. TousAntiCovid utilise le « tracing ». Il s’agit de garder en mémoire les contacts entre les personnes via la technologie Bluetooth. Cette technologie est considérée comme efficace et moins intrusive que la géolocalisation. C’est la position du Comité européen à la protection des données selon lequel « l’utilisation des applications de recherche des contacts ne devrait pas reposer sur la recherche de mouvements individuels mais plutôt sur des informations de proximité concernant les utilisateurs. Les applications de recherche de contacts ne nécessitent pas de suivre la localisation des utilisateurs individuels. Les données de proximité devraient plutôt être utilisées » (voir les lignes directrices 04/2020 sur l’utilisation des données de localisation et des outils de recherche des contacts dans le contexte de l’épidémie de Covid-19)[34]. C’est également la position de la Commission européenne qui privilégie les mesures les moins intrusives mais efficaces, notamment l’utilisation de données de proximité, et le fait d’éviter de traiter des données sur la localisation ou les mouvements des personnes (voir la Recommandation (UE) 2020/518 de la Commission du 8 avril 2020 concernant une boîte à outils commune de l’Union en vue de l’utilisation des technologies et des données pour lutter contre la crise de la Covid -19 et sortir de cette crise, notamment en ce qui concerne les applications mobiles et l’utilisation de données de mobilité anonymisées[35]).

Pour procéder à l’analyse éthique de l’application française, nous nous appuierons sur les principes éthiques des experts de la Commission européenne (HLEG)[36] rappelés plus haut. Ces principes sont partagés par la France qui a contribué à leur élaboration et qui nous semblent être à ce jour les plus pertinents pour vérifier si l’application TousAntiCovid est respectueuse des libertés fondamentales et des droits humains dans l’État démocratique qu’est la France. 

Comment l’application TousAntiCovid fonctionne-t-elle ?

Comme pour toutes les applications de suivi des contacts, l’application permet aux personnes qui la téléchargent d’être prévenues si elles ont été à proximité, dans un passé proche, de personnes diagnostiquées positives au Covid-19 et disposant de la même application, cette proximité induisant un risque de transmission du virus.

En pratique, une fois installée et les fonctionnalités activées, l’application émet des messages Bluetooth spécifiques et en reçoit qui proviennent d’autres smartphones sur lesquels l’application TousAntiCovid a été installée et activée.

 Le dispositif se décompose en une application mobile mise à la disposition sur des équipements mobiles (téléphone mobiles et tablettes) et un serveur central qui assure le stockage et la transmission d’un certain nombre de données. Si un utilisateur a été déclaré positif au Covid-19, il va pouvoir déclarer cet état directement dans l’application non avec son nom mais grâce à un code, le QR code fourni par le laboratoire ou le médecin. L’utilisation de ce code par l’utilisateur lui permet d’envoyer son historique de contacts au serveur central qui traite alors chacun des contacts présents dans l’historique, afin d’en estimer le risque de contamination au virus SARS-CoV-2.

L’application contacte une fois par jour le serveur afin de vérifier le statut d’exposition de l’utilisateur. Les utilisateurs ayant été en contact (à moins d’un mètre pendant au moins 15 minutes) avec la personne diagnostiquée ou dépistée positive sont prévenus par le serveur qu’ils ont été exposés à un risque de contamination au virus SARS-CoV-2 au cours des quinze derniers jours.

Respect de la vie privée et gouvernance des données

Quelle est la finalité du traitement ? Existe-t-il des limites à l’utilisation des données ?

Le but de l’application a été initialement de faciliter la sortie du confinement et de ralentir la propagation du virus. D’après l’article 1 du décret, n° 2020-650 du 29 mai 2020 relatif au traitement de données dénommé « StopCovid France » nouvellement dénommé TousAntiCovid »[37], le traitement a pour finalité : a) l’information d’une personne utilisatrice de l’application du fait qu’elle s’est trouvée à proximité avec un utilisateur de la même application ultérieurement diagnostiquée positif à la Covid-19, de sorte qu’il existe un risque qu’elle soit contaminée à son tour ; b) la sensibilisation sur les symptômes de la maladie, les gestes barrière, l’orientation des contacts à risque vers des acteurs de santé compétents, l’utilisation de données statistiques anonymes au niveau national. La CNIL a préconisé dans son avis du 25 mai que la prise de contact entre l’utilisateur et le professionnel de santé soit recommandée mais laissée à la discrétion de l’utilisateur[38] pour préserver sa liberté individuelle, ce qui a été suivi.

Les opérations suivantes sont expressément exclues des finalités : le recensement des personnes infectées, l’identification des zones dans lesquelles ces personnes se sont déplacées, les prises de contact avec la personne alertée ou encore la surveillance du respect des mesures de confinement ou de toute autre recommandation sanitaire. Le traitement ne doit pas non plus permettre de réaliser le suivi des interactions sociales des personnes. 

Ces restrictions dans les finalités écartent en principe le risque que l’application TousAntiCovid ne soit utilisée comme un outil de surveillance de la population ou de coercition, et ce sauf détournement de finalité ou piratage.

Ceci est conforme à la règlementation applicable rappelée dans la recommandation de la Commission européenne selon laquelle : « En ce qui concerne le principe de limitation de la finalité, les finalités doivent être suffisamment précises pour exclure tout traitement ultérieur à des fins non liées à la gestion de la crise sanitaire Covid-19 (par exemple, à des fins commerciales ou répressives) ».

Quelles sont les données traitées et utilisées ? La collecte de données est-elle minimisée ?

Le décret précité liste les catégories de données traitées : la clef d’authentification partagée entre l’application et le serveur central, un identifiant unique associé à chaque application téléchargée généré de façon aléatoire par le serveur central et qui n’est connu que de ce serveur où il est stocké, les codes-pays, les pseudonymes aléatoires et temporaires générés par le serveur, l’historique de proximité, les périodes d’exposition des utilisateurs à des personnes diagnostiquées ou dépistées positives stockées sur le serveur, l’historique de proximité des contacts à risque, le statut « contacts à risque de contamination », la date des dernières interrogations du serveur. 

Il n’y a pas de collecte de noms, de numéros de téléphone, ou d’adresses électroniques.

Les données transmises ne le sont que si l’utilisateur de l’application le décide, et ce même s’il est contaminé par le virus de la Covid-19. Il n’a donc aucune obligation de transmission de données et cette transmission n’a aucun caractère automatique. 

 S’il le décide, l’utilisateur pourra donc transmettre l’historique de proximité des contacts à risque de contamination par le virus de la Covid-19, la date de début des symptômes, et le code QR. Dans un premier temps, l’intégralité de l’historique des contacts de l’utilisateur était envoyée au serveur, si celui-ci décidait d’envoyer ses contacts à risque. Suite à une mise en demeure de la CNIL en date du 20 juillet 2020[39], le système a été modifié et désormais il existe un pré-filtrage de l’historique des contacts de l’utilisateur au niveau du téléphone. Il est donc impossible que l’intégralité de l’historique des contacts de l’utilisateur remonte vers le serveur central, sans pré-filtrage au niveau du téléphone. Seuls les contacts les plus susceptibles d’avoir été exposés au virus sont transmis au serveur central. Le principe de minimisation de la collecte des données est donc respecté.

Cette minimisation de la collecte et de l’utilisation des données est conforme au principe de minimisation du RGPD[40] et rappelé dans les lignes directrices du Comité européen à la protection des données précitées selon lesquelles « dans le contexte d’une application de recherche de contacts, il convient d’accorder une attention particulière au principe de minimisation des données ainsi qu’aux principes de protection des données dès la conception et de protection des données par défaut : i) les applications de recherche de contacts ne nécessitent pas le traçage de la localisation des différents utilisateurs. Il convient plutôt d’utiliser des données de proximité́ ; ii) les applications de recherche de contacts pouvant fonctionner sans identification directe des personnes, il convient de mettre en place des mesures appropriées pour empêcher la ré-identification ; iii) les informations collectées devraient être stockées dans l’équipement terminal de l’utilisateur et seules les informations utiles devraient être collectées en cas d’absolue nécessité. »[41]

Les données sont-elles anonymisées ?

Les données transmises via TousAntiCovid sont très sensibles puisqu’il s’agit de données de santé et qu’elles permettent de créer des historiques des contacts à moins d’un mètre des personnes « croisées » plus de 15 minutes. En l’absence de mesures robustes rendant très difficile la ré-identification des utilisateurs, l’application permettrait de savoir si tel individu a eu le virus, notamment aux personnes avec lesquelles il a été en contact et qui ont téléchargé l’application, et de connaître l’identité de ces personnes, ce qui serait une forte entrave à la vie privée et aux libertés individuelles.

C’est la raison pour laquelle la Commission européenne, dans sa recommandation précitée, indique qu’il convient de respecter l’utilisation de données anonymisées, de mettre en place des garanties afin d’empêcher la désanonymisation et d’éviter la ré-identification des personnes, notamment par le chiffrement. Elle évoque « la mise en place de garanties quant à un niveau suffisant de sécurité des données de l’infrastructure informatique, et une évaluation des risques de ré-identification en cas de mise en corrélation des données anonymisées avec d’autres données ». 

Le Comité européen à la protection des données apporte des précisions utiles sur la distinction entre l’anonymisation et la pseudo-anonymisation : pour que l’anonymisation totale soit réelle, il faut qu’elle remplisse trois critères : il ne faut pas que l’on puisse identifier un individu à partir d’un groupe ; il ne faut pas pouvoir relier deux fichiers concernant le même individu ; il ne faut pas pouvoir déduire avec une probabilité significative des informations non connues d’un individu. Le Comité ajoute que seuls des groupes de données (data sets) peuvent être anonymisés, et non une donnée isolée, et par conséquent le fait de crypter une donnée seule ne permet pas son anonymisation mais seulement sa pseudo-anonymisation. 

Cette distinction entre l’anonymisation et la pseudo-anonymisation a été rappelée par la CNIL dans un article de synthèse publié sur son site le 19 mai 2020[42], selon lequel « l’anonymisation est un traitement qui consiste à utiliser un ensemble de techniques de manière à rendre impossible, en pratique, toute identification de la personne par quelque moyen que ce soit et de manière irréversible » alors que « la pseudo-anonymisation consiste à remplacer les données directement identifiantes d’un jeu de données (nom, prénom, etc.) par des données indirectement identifiantes ( alias, numéro séquentiel etc.). La pseudo-anonymisation permet donc de remonter à l’identité de la personne concernée, c’est la raison pour laquelle l’utilisation de données pseudo-anonymisées doit respecter la règlementation sur les données personnelles alors que le recours à des données anonymisées est totalement libre. 

L’application TousAntiCovid ne garantit pas l’anonymisation des données mais seulement leur pseudo-anonymisation. C’est la raison pour laquelle TousAntiCovid doit respecter le RGPD et la loi informatique et libertés modifiée. Ceci a été rappelé par la CNIL dans son avis du 24 avril 2020[43] selon lequel « il demeure un lien entre les pseudonymes et les applications téléchargées, chaque application étant elle-même installée sur un terminal, qui correspond généralement à une personne physique déterminée ». Le fait que l’application soit téléchargée sur un téléphone mobile doté d’un IMEI (international Mobile Equipment Identity)[44] donne la possibilité de remonter à l’identité de l’utilisateur.

Dans ses lignes directrices, le Comité européen à la protection des données recommande certaines mesures pour les applications de suivi de contacts : des identifiants pseudonymes doivent être échangés entre les mobiles des utilisateurs d’équipement (ordinateurs, tablettes, montres connectées, etc.) ; les identificateurs doivent être générés à l’aide de procédés cryptographiques de pointe ; les identificateurs doivent être renouvelés régulièrement afin de réduire le risque de suivi physique et les attaques de liens ; l’application ne doit pas transmettre aux utilisateurs des informations qui leur permettraient de déduire l’identité ou le diagnostic des autres ; le serveur central ne doit ni identifier les utilisateurs ni déduire des informations à leur sujet.

Qu’en est-il de la pseudo-anonymisation des données personnelles dans TousAntiCovid ? Ces mesures sont-elles respectées ?

Comme il a déjà été mentionné, le téléchargement de l’application ne requiert pas la fourniture de données directement identifiantes telles que le nom, le numéro de téléphone, l’adresse électronique. Le décret précité indique que « les données permettant l’identification du téléphone mobile, de son détenteur ou de son utilisateur ne peuvent être collectées ni enregistrées dans le cadre du traitement ». Le téléchargement sur le téléphone mobile n’enregistre pas le nom mais un pseudonyme permanent. Le décret mentionne effectivement qu’un identifiant unique associé à chaque application téléchargée par un utilisateur, est généré de façon aléatoire par le serveur central et n’est connu que de ce serveur où il est stocké. 

Le décret indique qu’il existe une clé d’authentification partagée entre l’application et le serveur central, générée par ce serveur lors du téléchargement de l’application, qui sert à authentifier les messages de l’application. 

L’application fait état de ce que les données échangées entre deux téléphones via Bluetooth sont des pseudo-identifiants renouvelés automatiquement toutes les 15 minutes. Ils sont donc temporaires. C’est par exemple une suite de numéros, de lettres ou de signes, qui ne permet pas par elle-même d’identifier une personne. Si l’on croise une personne qui a TousAntiCovid, les téléphones échangent entre eux les deux pseudonymes. Chacun enregistre l’autre dans son historique de personnes croisées de façon cryptée. Les personnes croisées ne connaissent pas en principe l’identité de la personne infectée qui a fait l’alerte. 

Cependant nous pouvons relever la prudence de la rédaction dans l’application. Le « par elle-même » qui indique en creux qu’il y a bien une possibilité d’identifier la personne avec un croisement d’autres données. 

Si l’utilisateur de l’application a été diagnostiqué positif au virus, il n’enverra pas au serveur son nom mais le code QR qui est aléatoire et qui ne permet donc pas d’identifier la personne concernée[45]

En conclusion, il semble que de nombreuses précautions aient été prises pour éviter la ré-identification des personnes et que les recommandations du Comité européen à la protection des données aient été entendues sur ce point. Des contrôles devraient être régulièrement effectués pour s’en assurer. 

A qui sont transmises ces données ?

Les données stockées sur le téléphone portable ne sont partagées par l’application avec le serveur géré par le Ministère des Solidarités et de la Santé et son sous-traitant INRIA que si l’utilisateur a été diagnostiqué comme un cas Covid-19 et avec son accord. La transmission n’est donc pas automatique : l’utilisateur n’est pas obligé de déclarer qu’il est positif au nouveau coronavirus et il ne transmettra au serveur l’historique limité de ses contacts que s’il le souhaite. 

Lorsque les données sont partagées avec le serveur, l’application spécifie que cela permet aux applications des autres utilisateurs d’interroger celui-ci afin de savoir si elles ont été à proximité de l’application concernée. Si c’est le cas, les utilisateurs seront alertés qu’ils ont été exposés à un risque de contamination. 

Le fait que des données aussi sensibles soient centralisées sur un serveur d’État a fait l’objet de nombreux commentaires, certains craignant un détournement d’usage, comme la mise en place d’une surveillance de la population ou un piratage. 

Les données sont-elles destinées à être détruites au bout d’un certain temps ?

L’application mentionne que les données, donc notamment tous les pseudonymes et les échanges de pseudonymes, sont conservées pendant quatorze jours et automatiquement effacées sur le téléphone et le serveur. Cette durée de conservation des données correspond aux recommandations sanitaires et permet de ne conserver les données que pendant une durée limitée.

En outre, l’utilisateur peut à tout moment demander la suppression de ses données de son smartphone et de la base centrale du serveur avant la désinstallation de l’application.

Robustesse et sécurité

Selon les travaux du HLEG précités, la robustesse d’un système s’apprécie à l’aune de quatre critères : la sécurité (lutte contre la criminalité), la sûreté (lutte contre les accidents), la précision ainsi que la fiabilité.

Quelle est la technologie utilisée ? Est-elle précise et fiable ?

La technologie utilisée est le Bluetooth et non la géolocalisation. Le Bluetooth n’étant efficace que sur de très faibles distances, ne sont enregistrés que les contacts de très grande proximité (un mètre). Dans la FAQ du site de l’application, il est indiqué que « le développement d’une telle application est techniquement compliqué » et que « les travaux des équipes pilotées par INRIA ont levé la plupart des barrières technologiques. En particulier, la question du calibrage du Bluetooth et de sa capacité à permettre l’estimation des distances entre deux téléphones a été largement levée, en coopération avec l’Allemagne qui a fait des tests sur le sujet ». Cette question de la fiabilité et de la précision du système est essentielle pour s’assurer qu’il n’y aura pas d’erreur dans les alertes effectuées, au risque de voir des alertes erronées engendrer un préjudice physique (absence d’alerte d’un contact avec une personne déclarée positive au virus) ou un préjudice psychologique (alerte effectuée alors qu’aucune personne croisée n’est contaminée par le virus). Des contrôles sur ces points doivent être régulièrement effectués.

Après avis de la CNIL, il n’est plus envisagé d’introduire intentionnellement de faux positifs dans les notifications transmises aux personnes, afin de limiter les risques de ré-identification dans certains types d’attaques.

La CNIL avait soulevé dans son avis du 25 mai précité que l’absence de prise en compte du contexte des contacts (médecins, personnes protégées par des parois séparatrices etc.) était susceptible de générer des faux positifs et qu’il faudrait à l’avenir prévoir un bouton qui permette de désactiver momentanément l’application ; ceci a été fait. En outre, la deuxième version de l’application prévoit que celle-ci n’est plus activée une bonne fois pour toute ; l’utilisateur doit l’activer quand il se trouve dans un lieu très fréquenté, dans un centre commercial, dans son entreprise, dans un restaurant etc.

Les système est-il sûr ? Des mesures efficaces ont-elle été prises pour prévenir et lutter contre les cyber-attaques (sécurité) et les accidents ou incidents (sûreté) ?

Le gouvernement a fait le choix de recourir à l’architecture centralisée, c’est-à-dire que seuls les historiques de proximité sont échangés entre l’utilisateur et le serveur au motif que « l’architecture centralisée offre davantage de garanties et de sécurité. Elle permet d’éviter qu’un serveur ne collecte la liste des personnes testées positives au coronavirus (même de façon anonyme) et que cette liste ne circule ou ne soit stockée sur un serveur ou sur des téléphones ». Il n’y a donc pas de création de fichier des personnes contaminées mais simplement une liste de contacts, pour lesquels toutes les données sont pseudo-anonymisées.

La CNIL a insisté dans son avis du 24 avril sur la nécessité de prendre des mesures de sécurité de très haut niveau pour pallier le risque de détournement de finalités des données qui sont sur le serveur central. Elle a indiqué que l’algorithme de cryptographie 3 DES ne devrait plus être utilisé, ce qui a été suivi. 

Là encore, elle est en alignement avec les recommandations de la Commission européenne précitées selon lesquelles « des techniques cryptographiques de pointe doivent être mises en œuvre pour sécuriser les données stockées dans les serveurs et les applications, les échanges entre les applications et le serveur distant ». 

Concernant la fiabilité et la sécurité attachée à l’informatique de l’application, le contenu de l’application TousAntiCovid indique que la publication du code source permet de confronter l’application à la communauté scientifique pour identifier les possibles failles.

Le fait que l’agence nationale de la sécurité des systèmes d’information (l’ANSSI) soit membre de l’équipe TousAntiCovid est un gage de prise au sérieux de ces problématiques. 

L’application mentionne que « les données de géolocalisation ne sont ni enregistrées ni échangées ». La formulation ici encore semble prudente. Est-ce à dire qu’il serait finalement possible de reconstituer les déplacements ?

La méthode d’authentification par captcha (qui permet de vérifier lors de l’activation initiale de l’application que cette dernière est utilisée par un être humain) qui reposait sur la technologie reCaptcha de la société Google, utilisée au début, est désormais remplacée par la technologie captcha développée par la société Orange. Il n’est donc plus fait appel au web service reCaptcha de Google depuis l’application TousAntiCovid. 

Cela constitue une avancée puisque l’utilisation de la technologie d’Orange est limitée à des fins de sécurité, ce qui n’était pas le cas de la technologie reCaptcha qui reposait « sur la collecte d’informations matérielles et logicielles (telles que les données sur les appareils et les applications), ces données étant transmises à Google pour analyse »[46]. Il en résultait que les informations fournies par la société Google aux développeurs n’avait pas pour seule finalité la sécurisation de l’application mais permettaient également des opérations d’analyse de la part de cette société. La CNIL avait indiqué que le recours à ce service de Google était susceptible d’entraîner la collecte de données personnelles non prévues dans le décret, et également des transferts de données hors de l’Union Européenne. Ces deux risques sont en principe maintenant écartés.

Quel sera le contrôle des algorithmes, des données et de l’application en général, notamment en termes de fiabilité, de sécurité et de sûreté ?

Dans les lignes directrices précitées le Comité européen à la protection indique que « afin de garantir leur équité, leur responsabilité et, plus largement, leur respect de la loi, les algorithmes doivent être vérifiables et doivent être régulièrement examinés par des experts indépendants ». Le contrôle régulier des algorithmes et des systèmes de sécurité de l’application est un point déterminant pour vérifier qu’ils fonctionnent bien selon les finalités souhaitées et que le système n’est pas en train d’être biaisé ou piraté. Ceci doit être fait par des experts indépendants. 

De même il faudra vérifier que les données n’ont pas été altérées ou piratées.

Des audits de sécurité sont prévus par l’ANSSI tout au long du développement de l’application et réalisés par des tiers. Ces audits devraient se poursuivre ensuite tout au long de l’utilisation de l’application.

La CNIL est favorable à une évaluation de l’application après expérimentation. Un comité spécialisé de liaison et de contrôle évaluera donc l’application afin de vérifier si l’État fait ce qu’il dit.

Le décret précité prévoit que le responsable de traitement rende un rapport public sur le fonctionnement de TousAntiCovid dans les trente jours suivant le terme de la mise en œuvre de l’application, et au plus tard le 30 janvier 2021. 

Facteur humain et contrôle humain

Le téléchargement et l’utilisation de l’application sont-ils volontaires (opt-in) ou bien obligatoires ?

Le Comité européen à la protection a déjà pris position sur le fait que l’utilisation des demandes de recherche de contacts devrait être volontaire (lignes directrices précitées).

Le système TousAntiCovid est fondé sur le volontariat des utilisateurs. L’application est installée librement et gratuitement par les utilisateurs, qui ont en outre la faculté d’activer ou non la fonctionnalité de l’application permettant de constituer l’historique de proximité. Il est également possible de ne pas communiquer sur le fait que l’on a eu le virus et de ne pas transmettre au serveur l’historique de proximité. L’application peut être désinstallée à tout moment. La liberté individuelle est respectée à chaque étape du processus. L’utilisateur qui télécharge l’application ne se trouve pas engagé dans un processus obligatoire dont il perdrait le contrôle. Il reste totalement maître de sa démarche de déclarer ou non sa maladie. 

De plus, la CNIL, dans son avis du 24 avril 2020, a souligné que le volontariat ne doit pas uniquement se traduire par le choix de l’utilisateur de télécharger puis de mettre en œuvre l’application mais que cela signifiait que l’accès aux tests, aux soins, à la sortie du confinement, à l’utilisation des transports, au retour au travail ne devait pas être conditionné par le téléchargement et l’utilisation de l’application. Aucun accès à un quelconque lieu ou service ne doit y être conditionné. Cela constituerait pour la CNIL une discrimination. Ainsi, l’installation de l’application ne donne accès à aucun droit ou aucun avantage spécifique. Cette information est fournie dans le contenu de l’application.

La CNIL se conforme en cela à la position du Comité européen à la protection des données selon laquelle « les personnes qui décident de ne pas pouvoir utiliser ces applications ne devraient subir aucun désavantage. » (lignes directrices précitées). Il n’y a à ce jour aucune raison de penser que l’application devrait devenir obligatoire directement ou indirectement par une restriction des services qu’engendrerait l’absence de téléchargement. Ceci serait contraire à l’avis de la CNIL. A ce jour, les avis de la CNIL concernant TousAntiCovid ont toujours été suivis, (ce qui a d’ailleurs permis à la CNIL de lever sa mise en demeure, le 3 septembre 2020) et il est certain qu’elle veillera à ce que ce point soit respecté. Le site TousAntiCovid indique à ce sujet qu’il s’agit d’un « enjeu de liberté publique ».

Transparence

Selon les lignes directrices du HLEG précitées, la transparence se décompose en trois éléments : la traçabilité[47], l’explicabilité[48] et la communication sur les limites du système.

Quelle est la transparence attachée à TousAntiCovid ?

Le code source mis en œuvre dans le cadre de TousAntiCovid est rendu public et est accessible à partir des sites internet du Gouvernement (https://www.gouvernement.fr/info-coronavirus/tousanticovid), du Ministère des Solidarités et de la Santé (https://solidarites-sante.gouv.fr/soins-et-maladies/maladies/maladies-infectieuses/coronavirus/tousanticovid), du Ministère de l’Économie, des Finances et de la Relance (https://www.economie.gouv.fr/tousanticovid), et de l’application elle-même. La CNIL a salué le libre accès aux protocoles utilisés ainsi qu’au code source. Nous n’avons pas trouvé sur le site de l’application d’information pour les non avertis sur le fait de savoir si les algorithmes utilisés étaient supervisés ou non supervisés. Il serait utile de savoir qui est l’humain aux manettes et à quel moment il y a intervention humaine ou avec quels outils[49]. Il serait également intéressant pour les utilisateurs de comprendre, grâce à des explications simples, comment fonctionnent les algorithmes de l’application. 

Une autre piste d’amélioration serait d’expliquer clairement à l’utilisateur non averti que l’application ne permet pas l’anonymisation des données mais seulement une pseudo-anonymisation, et qu’il est donc possible de remonter à l’identité de l’utilisateur, même si de nombreuses précautions sont prises pour minimiser le risque de ré-identification.

Suite aux recommandations de la CNIL en date du 25 mai, les droits à l’effacement et d’opposition des utilisateurs prévus par le RGPD ont été instaurés pour être en conformité avec l’obligation légale.

Les personnes concernées sont informées des principales caractéristiques du traitement et de leurs droits, conformément aux dispositions des articles 13 et 14 du règlement (UE) du 27 avril 2016 précité, au moment de l’installation de l’application TousAntiCovid. Elles sont en outre prévenues qu’en cas de partage de leur historique de proximité sur le serveur central, les personnes identifiées comme leurs contacts à risque de contamination seront informées qu’elles auront été à proximité d’au moins un autre utilisateur diagnostiqué ou dépisté positif au virus de la Covid-19 au cours des quinze derniers jours ainsi que de la possibilité limitée d’identification indirecte susceptible d’en résulter lorsque ces personnes ont eu un très faible nombre de contacts pendant cette période.

L’application fournit un lien vers le site du Ministère de l’Économie, des Finances et de la Relance où se trouve un portail TousAntiCovid sur lequel il est possible de trouver une abondante documentation, notamment un guide pratique, très simple et pédagogique, sur l’application, un mode d’emploi détaillé, un guide pour accompagner les aidants, les débats parlementaires ainsi que les différents avis des commissions d’experts. Il est possible de poser directement des questions sur l’application et une liste de réponses sont alors transmises par le biais d’une FAQ avant toute réponse personnalisée. Un lien est créé vers un test en ligne gratuit pour savoir s’il est probable que l’on soit infecté par le virus ou non et s’il faut se faire dépister, avec bien entendu les réserves d’usage sur la fiabilité du test. Depuis la nouvelle version de l’application sortie le 22 octobre, il est également possible d’obtenir des données sur la situation épidémiologique, d’avoir accès à une carte de centres de dépistage, des conseils sur la Covid-19, et un accès facilité à l’attestation dérogatoire de déplacement pour les zones concernées par le couvre-feu. Cet effort de transparence et d’information très substantiel est à saluer.

De nombreuses mesures ont été adoptées pour assurer la traçabilité des données et rendre l’application intelligible mais il existe peu de communication sur les limites de l’application et ses risques d’erreurs. Des efforts pédagogiques pourraient être faits sur ce dernier point. 

Bien-être sociétal et environnemental

Protection de la santé publique et de l’intérêt général

L’application contribue à la lutte contre la pandémie de la Covid-19 et sert donc ainsi l’intérêt général de santé publique.

Conformément à l’avis de la CNIL, le gouvernement français a décidé de fonder le traitement TousAntiCovid sur la base légale de la mission d’intérêt public de lutte contre l’épidémie de Covid-19, et non pas sur la base légale du consentement. C’est la raison pour laquelle le gouvernement a pris le décret n° 2020-650 du 29 mai 2020 relatif au traitement de données dénommé « StopCovid » conformément à l’article 9-2-1 du règlement général sur la protection des données (RGPD).

Souveraineté nationale

Comme il est indiqué sur l’application, TousAntiCovid a été créée sous la supervision du Ministère des Solidarités et de la Santé et du Secrétariat d’État chargé du Numérique. L’équipe qui a développé TousAntiCovid est composée de INRIA, ANSSI, Capgemini, Dassault systèmes, Inserm, Lunabee Studio, Ministère des Solidarités et de la Santé, Orange, Santé publique France (i.e. l’agence nationale de santé publique) et Withings. 

Le système français se veut délibérément indépendant des entreprises les plus puissantes de l’Internet (GAFA). Ceci permet de limiter grandement les risques de transfert et de croisement de données qui, comme expliqué plus haut, permettent la ré-identification des individus. C’est donc un choix de protection renforcée des données personnelles. Le contenu de l’application TousAntiCovid fait état du fait que « les solutions proposées par Apple et Google reposent sur la transmission dans tous les smartphones de pseudonymes pour les personnes diagnostiquées positives. Cela revient à dire qu’un diagnostic médical, même sous une forme encryptée circule dans toutes les applications. Les risques de faille sont importants et des modèles d’attaques informatiques sont déjà disponibles sur le web ».

C’est également un moyen d’asseoir la souveraineté nationale et de développer l’excellence nationale. C’est bien ainsi que le présente le gouvernement sur son site : « la protection de la santé des Français est une mission qui relève exclusivement de l’État et non d’acteurs privés internationaux… C’est une question de souveraineté sanitaire et technologique ».

Cependant cette souveraineté nationale ne doit pas être un frein à l’interopérabilité des solutions adoptées au sein de l’Union Européenne. Il est indispensable et requis par la recommandation 2020/518 de la Commission européenne précitée que cette application s’inscrive dans une approche européenne et qu’elle soit coordonnée au niveau de l’Union Européenne. Dans son avis du 25 mai 2020, la CNIL a pris acte que « des évolutions de l’application et du protocole de suivi des contacts, notamment afin de permettre une interopérabilité à l’échelle de l’Union Européenne, sont susceptibles d’être développées à moyen terme ». Malheureusement, étant basée sur la même infrastructure que StopCovid, l’application TousAntiCovid présente toujours l’inconvénient de ne pas être interopérable avec les autres applications disponibles dans les pays voisins. 

Processus démocratique

De nombreux organismes ont été consultés pour la mise en place de TousAntiCovid :

  • la CNIL a rendu deux avis, une mise en demeure et une décision ; 
  • le Conseil national du numérique (CNNum), le Conseil scientifique, l’Académie Nationale de Médecine, le Centre européen de prévention et de contrôle des maladies, le Comité National Pilote d’Ethique du Numérique, le Conseil National de l’Ordre des Médecins, la Commission nationale consultative des droits de l’homme, la Commission Supérieure du Numérique et des Postes ont émis des avis et des recommandations.

Des débats démocratiques ont eu lieu au sein de l’Assemblée Nationale le 28 mai 2020 et au sein du Sénat le 27 mai, qui ont voté en faveur de l’application. Un décret a ensuite été pris pour autoriser la création de l’application.

Diversité, non discrimination et équité

Le téléchargement de l’application est gratuit

La gratuité et la simplicité de l’application la rend accessible à toute personne munie d’un téléphone mobile ou d’une tablette.

Les enfants, les personnes âgées et les personnes handicapées peuvent-elles avoir accès à l’application ?

L’application est accessible aux mineurs. Dans son avis du 25 mai 2020, la CNIL a invité le ministère à intégrer des développements spécifiques à la fois pour les mineurs eux-mêmes mais aussi pour leurs parents. L’application invite les mineurs de moins de 15 ans à discuter avec leurs parents ou leurs responsables légaux de l’opportunité d’installer l’application.

 Concernant les personnes âgées, celles-ci sont plus éloignées du monde numérique et il a été impératif de mettre en place à leur attention des systèmes parallèles et efficaces pour qu’elles soient efficacement alertées sur le fait d’avoir été en contact avec une personne infectée, de sorte à ce que l’existence même de l’application n’engendre pas une discrimination à leur encontre en termes de prise en charge et de soins. Nous avons déjà souligné qu’il est possible de télécharger de l’application un guide complet, pédagogique et simple, pour accompagner les aidants à la prise en main de l’application.

Par ailleurs l’application est très simple d’usage et en principe accessible aux personnes handicapées. 

Responsabilisation

Qui est le responsable du traitement ?

Le responsable du traitement est le ministère en charge de la politique sanitaire qui en donne la sous-traitance à INRIA. 

La CNIL a salué le fait que le fournisseur de service informatique en nuage hébergeant l’infrastructure de l’application en qualité de sous-traitant possède des centres de données en France et que les données personnelles ne sont pas transférées en dehors de l’Union Européenne.

Quels sont les recours ?

L’application prévoit la possibilité de saisir la CNIL si l’on juge que le traitement de ses données ne respecte pas la règlementation en vigueur sur les données personnelles.

Elle prévoit également la possibilité de poser des questions.

Mais nous n’avons pas identifié de mécanisme permettant aux utilisateurs de signaler des problèmes liés aux biais, à la discrimination ou aux mauvaises performances de l’application.

La CNIL gardienne du respect de la règlementation sur les données personnelles

Le dispositif doit donc remplir les conditions prévues par la Convention européenne de sauvegarde des droits de l’homme et des libertés fondamentales, la Charte des droits fondamentaux de l’union européenne et les garanties spécifiques du RGPD. Il doit ainsi être nécessaire, proportionné à l’objectif poursuivi et ne pas faire disparaître le respect de la vie privée et des données personnelles. 

Ceci explique que la CNIL se réserve la possibilité d’évaluer régulièrement l’efficacité du dispositif qui permettra de dire s’il reste nécessaire dans le temps. Des doutes sur cette efficacité ont largement été émis dans la presse en raison de son faible téléchargement par rapport à la population globale. Ce que répond le site TousAntiCovid sur ce point, c’est que l’application est utile dès les premiers téléchargements car elle permet de gagner du temps et de précieuses heures en alertant les personnes ayant été en contact avec une personne malade, ce qui accélère la prise de mesures sanitaires. Une autre limite soulevée réside dans le fait que les personnes âgées, qui sont très à risque, ont probablement peu le réflexe de télécharger l’application. Le contrôle d’efficacité de la CNIL sera donc précieux pour voir s’il est utile de maintenir l’application dans le temps. 

A la fin du mois d’octobre, TousAntiCovid affichait plus de 6 millions de téléchargements, soit mieux en sept jours que StopCovid en quatre mois d’existence. Ce chiffre comprend néanmoins environ 1,2 million de personnes qui avaient déjà adopté StopCovid. 

 La CNIL insiste sur le fait que pour être utile et nécessaire, l’application doit s’intégrer à un plan d’ensemble de lutte contre l’épidémie, qui inclut « la mobilisation du personnel de santé et d’enquêteurs sanitaires, la disponibilité de masques de tests, l’organisation de dépistages, les mesures de soutien, les informations et le service délivrés aux personnes ayant reçu l’alerte, la capacité à les isoler dans des lieux adéquats etc. » (Avis du 24 avril précité). En d’autres termes, l’application devrait être présentée comme un outil supplémentaire pour faire face à la Covid-19, en aucun cas comme un dispositif qui remplacerait le masque, les gestes barrière et la distanciation sociale qui sont des moyens à la portée de chacun, low tech et très efficaces pour limiter les contaminations. 

Pour respecter le principe de proportionnalité, il est prévu que TousAntiCovid disparaisse six mois après la fin de l’état d’urgence sanitaire.

La CNIL a validé dans son avis du 25 mai 2020 que l’application ne prévoit ni droit d’accès aux données, ni droit de rectification et de limitation, car les données sont pseudo-anonymisées et que l’exercice de ces droits nécessiterait une identification de la personne concernée, ce qui affaiblirait la sécurité de l’ensemble de l’application. Par contre, elle a considéré que le droit à opposition matérialisé par la possibilité pour l’utilisateur de cesser à tout moment d’utiliser l’application et le droit à effacement étaient applicables au dispositif, ce qui a été finalement intégré. 

La CNIL a bien entendu rappeler la nécessité de procéder à une analyse d’impact, ce qui a été fait.

Pour conclure sur l’application française, son bilan éthique apparaît positif car la plupart des critères posés par les experts de la Commission européenne (HLEG) ou du Chaos Computer Club précités sont bien remplis. Cette application représente une alternative véritablement éthique au recours à des technologies beaucoup plus intrusives telles que la reconnaissance faciale ou la géolocalisation qui portent atteinte aux libertés individuelles et à la vie privée.

Les critères les plus difficiles à évaluer par les éthiciens, et pourtant déterminants, sont la robustesse de l’application et sa sécurité ainsi que son efficacité. Il faudra encore attendre l’avis de la CNIL et l’évaluation des experts techniques de l’informatique et de la santé publique pour savoir ce qu’il en est réellement. 

Une piste d’amélioration identifiable aujourd’hui est, comme nous avons déjà eu l’occasion de l’évoquer, l’interopérabilité de l’application TousAntiCovid avec les autres applications européennes pour faciliter les échanges intra-européens et la libre circulation des personnes et des services, piliers de l’Union Européenne. 

CONCLUSION

Nous avons exposé les différences et les interrelations entre les concepts de « respect de la vie privée », « protection des données personnelles » et « éthique » en montrant que dans la littérature ces concepts étaient souvent mélangés avec pour résultat une certaine confusion. Il importe de rétablir la nature, la portée et les enjeux de ces trois concepts qui, bien que complémentaires, renvoient à des histoires et des objectifs de politique publique différents. 

Nous avons ensuite choisi d’appliquer ces concepts, et notamment celui de l’éthique qui s’est positionné récemment au cœur des enjeux humains de l’intelligence artificielle, au cas particulier, mais très important, du suivi des contacts dans le contexte de la pandémie relative au nouveau coronavirus. Nous avons souligné que les technologies numériques jouaient un rôle essentiel aujourd’hui dans la capacité que peuvent avoir les nations à limiter les risques de transmission de la Covid-19 et donc de contamination. Si les pays asiatiques ont été des leaders incontestables dans la conception et la mise en place d’applications de suivi des contacts, avec des succès qu’il faut reconnaître, liés notamment à la discipline plus grande des populations par rapport à celles du monde occidental, mais aussi et surtout à la bonne intégration de ces applications dans l’arsenal général des stratégies publiques de réponse à la pandémie (tester, tracer, isoler), il faut convenir que les pays européens, plus que les États-Unis, ont su sans tarder trouver des réponses pertinentes malgré, ici et là, des hésitations et des changements de stratégie. Nous avons montré que les principales difficultés consistaient, d’une part, à positionner le curseur entre « efficacité » et « respect de la vie privée » (choix surtout politique) et, d’autre part, à choisir entre approche centralisée et approche décentralisée (choix surtout technique). 

Si l’Union Européenne a semblé tarder à prendre toute la mesure de la gravité de la pandémie à son début, elle s’est en revanche montré efficace en ce qui concerne la conception et le déploiement d’une application commune : une infrastructure permettant de connecter entre elles plusieurs applications européennes de traçage contre la propagation de la Covid-19 a été déployée dès octobre 2020.

La France, quant à elle, a fait preuve de stabilité dans sa démarche, maintenant au cours de la période son choix initial d’une approche centralisée basée sur la technologie Bluetooth. Mais ce choix ne lui a pas permis de rejoindre le groupe de pays européens capables de rendre leurs systèmes interopérables. C’est pourquoi nous avons poursuivi notre recherche en nous intéressant au cas singulier de la France. 

Le bilan éthique de l’application française apparaît positif. Cette application représente une alternative éthique au recours à des technologies beaucoup plus intrusives telles que la reconnaissance faciale ou la géolocalisation qui portent atteinte aux libertés individuelles et à la vie privée.

ANNEXE : QUELQUES EXEMPLES D’APPLICATIONS MOBILES

PaysNom de l’application (Développeur)Date de lancementProtocole / Mode de collecte des donnéesSite web
AllemagneCorona-Warn-App(SAP, Deutsche Telekom)16/06/2020Google / AppleBluetoothhttps://www.coronawarn.app/en/
AutricheStopp Corona(Croix-Rouge, Accenture)25/03/2020Google / AppleBluetoothhttps://www.stopp-corona.at
BelgiqueCoronalert(Autorités belges)30/09/2020Bluetoothhttps://coronalert.be/fr/
Danemarksmittestop18/06/2020Google / AppleBluetoothhttps://smittestop.dk
EspagneRadar Covid(Secrétaire d’État à la numérisation et à l’intelligence artificielle)15/09/2020Google / AppleBluetoothhttps://www.abc.es/tecnologia/moviles/aplicaciones/abci-radar-covid-todo-tienes-saber-sobre-aplicacion-rastreo-coronavirus-gomera-202006301129_noticia.html
FranceStopCovid(Inria)02/06/2020RoBERTBluetoothhttps://www.economie.gouv.fr/stopcovid
HongrieVirusRadar(Nextsense)13/05/2020Google / AppleBluetoothhttps://virusradar.hu
ItalieImmuni01/06/2020Google / AppleBluetoothhttps://www.immuni.italia.it/faq.html
NorvègeSmittestopp(Conception locale)16/04/2020 (application suspendue le 15/06)GPS, Bluetoothhttps://www.helsenorge.no/coronavirus/smittestopp
Pays-BasCoronaMelder Application18/08/2020Google / AppleBluetoothhttps://github.com/minvws/nl-covid19-notification-app-android
PologneProteGO Safe20/04/2020, revised 09/06/2020Google / AppleBluetoothhttps://www.gov.pl/web/protegosafe
PortugalSTAYAWAY COVID01/09/2020Google / AppleBluetoothhttps://stayawaycovid.pt/landing-page/
Royaume-UniNHS Covid-19 App24/09/2020Google / AppleBluetooth, code QRhttps://www.covid19.nhs.uk
SuèdeLa Suède ne prévoit pas pour le moment d’introduire une application.
SuisseSwiss Covid(Écoles polytechniques fédérales de Lausanne et Zurich)25/06/2020Google / AppleBluetoothhttps://www.bag.admin.ch/bag/en/home/krankheiten/ausbrueche-epidemien-pandemien/aktuelle-ausbrueche-epidemien/novel-cov/swisscovid-app-und-contact-tracing.html
Afrique du SudCovid Alert SA App01/09/2020Google / AppleBluetoothhttps://sacoronavirus.co.za/covidalert/
AustralieCOVIDSafe App13/05/2020Bluetoothhttps://www.health.gov.au/resources/apps-and-tools/covidsafe-app
Nouvelle-ZélandeNZ COVID Tracer App(Rush Digital)20/05/2020Bluetoothhttps://www.health.govt.nz/our-work/diseases-and-conditions/covid-19-novel-coronavirus/covid-19-resources-and-tools/nz-covid-tracer-app
Arabie SaouditeTabaud(Saudi Data and Artificial Intelligence Authority (SDAIA))14/06/2020Google / AppleBluetoothhttps://tabaud.sdaia.gov.sa/IndexEn
IsraëlHaMagenHamagen 2.029/03/202027/07/2020GPSGPS, Bluetoothhttps://govextra.gov.il/ministry-of-health/hamagen-app/download-en/
ChineClose Contact Detector(National Health Commission, CETC)10/02/2020Code QR, apps mobiles (Alipay, WeChat)http://en.nhc.gov.cn/2020-02/10/c_76416.htm
JaponCOCOA(Microsoft Corp.)19/06/2020Google / AppleBluetoothhttps://play.google.com/store/apps/details?id=jp.go.mhlw.covid19radar
MalaisieMyTrace03/07/2020Google / AppleBluetoothhttps://www.mosti.gov.my/web/en/mytrace/
SingapourTraceTogetherMinistère de la Santé (MOH), GovTech20/03/2020BlueTraceBluetoothhttps://www.tracetogether.gov.sg
CanadaCOVID Alert31/07/2020Google / AppleBluetoothhttps://www.canada.ca/en/public-health/services/diseases/coronavirus-disease-covid-19/covid-alert.html
États-UnisDe nombreux états, mais pas tous, ont lancé ou développent actuellement une application utilisant le protocole Google/Apple et collectant les données via Bluetooth.

REFERENCES

[1]     Datenschutzgesetz [Data Protection Act], Oct. 7, 1970, HESSISCHES GESETZ-UND VERORDNUNGSBLATT I.

[2]       Gesetz zum Missbrauch personenbezogener Daten bei der Datenverarbeitung [Act Concerning the Abuse of Data in Data Processing], Jan. 27, 1977, BGBL I at 201.

[3]       WARREN (Samuel D.) et BRANDEIS (Louis D.), « The Right to Privacy », Harvard Law Review, Vol. IV, December 15, 1890 No. 5.

[4]       STERLING, Bruce, Shaping Things, The MIT Press, octobre 2005. 

[5]       Groupe de travail « Article 29 » sur la protection des données, Avis 4/2007 sur le concept de données à caractère personnel, 20 juin 2007.

[6]     On peut faire remonter la notion de droit au respect de la vie privée jusqu’au quatorzième siècle, notamment en Angleterre. Cf. BANISAR, David, and DAVIES, Simon, « Privacy and Human Rights : An International Survey of Privacy Laws and Practice”, The John Marshall journal of computer & information law, 1999, https://www.gilc.nl/privacy/survey/

[7]       https://www.ohchr.org/FR/Issues/Privacy/SR/Pages/SRPrivacyIndex.aspx

[8]       WRIGHT, David, and DE HERT, Paul (Eds.), Privacy Impact Assessments, Springer, Dordrecht, 2012.

[9]       Le « bouclier vie privée UE-États-Unis » (EU-US Privacy Shield) tient compte des exigences énoncées par la Cour de justice de l’Union Européenne dans son arrêt du 6 octobre 2015, qui a déclaré invalide l’ancien régime de la sphère de sécurité (Safe Harbour, 2000)     
https://ec.europa.eu/commission/presscorner/detail/fr/IP_16_216

[10]     « La vertu est une disposition acquise de la volonté, consistant dans un juste milieu relatif à nous, lequel est déterminé par la droite règle et tel que le déterminerait un homme prudent. »

[11]     SPIEKERMANN, Sarah, Ethical IT Innovation: A Value-Based System Design Approach, CRC Press, Taylor & Francis Group, 2016, chapitre 4, pp.39-45.

[12]    « Un patient tétraplégique a réussi à marcher grâce à un exosquelette connecté à son cerveau », Le Monde, 4 June 2019

[13]     Geneviève Fieux-Castagnet and Kamel Bentchikou, Les exosquelettes connectés et leurs enjeux éthiques, PromEthosIA, 12 December 2019, https://promethosia.com/intelligence-artificielle-un-defi-de-civilisation-un-devoir-de-generation/

[14]     Future of Life Institute, “Asilomar AI principles”, Conference Asilomar, January 2017, https://futureoflife.org/ai-principles/

[15]     Montreal University, “The Montreal Declaration for a Responsible Development of Artificial Intelligence”, November 3, 2017, https://recherche.umontreal.ca/english/strategic-initiatives/montreal-declaration-for-a-responsible-ai/

[16]     The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems, “Ethically Aligned Design: Prioritizing Human Wellbeing with Autonomous and Intelligent Systems”, 28 January 2020, https://standards.ieee.org/content/dam/ieee-standards/standards/web/governance/iccom/IC16-002-Global_Initiative_for_Ethical_Considerations_in_the_Design_of_Autonomous_Systems.pdf

[17]     House of Lords, Select Committee on Artificial Intelligence, « AI in the UK : ready, willing and able ? », 16 avril 2018, https://publications.parliament.uk/pa/ld201719/ldselect/ldai/100/100.pdf

[18]     Partnership on AI, 2018, https://www.partnershiponai.org

[19]     AI4People, « An Ethical Framework for a Good AI Society : Opportunities, Risks, Principles, and Recommendations », octobre 2018, https://link.springer.com/article/10.1007/s11023-018-9482-5

[20]     Ethics guidelines for trustworthy AI, 8 April 2019, https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai

[21]     https://ec.europa.eu/digital-single-market/en/news/assessment-list-trustworthy-artificial-intelligence-altai-self-assessment

[22]     https://ec.europa.eu/digital-single-market/en/artificial-intelligence

[23]     https://ec.europa.eu/info/horizon-europe-next-research-and-innovation-framework-programme_en

[24]     https://edpb.europa.eu/news/news/2020/statement-edpb-chair-processing-personal-data-context-covid-19-outbreak_en

[25]     « Physicists Must Engage with AI Ethics, Now », Physics, 09/07/2020, https://physics.aps.org/articles/v13/107: « Chaque jour qui passe, l’IA façonne notre monde, nos vies, nos droits et notre avenir. En tant que scientifiques et citoyens, nous devons nous engager activement afin que Le SARS-Cov-2 l’IA se développe et soit utilisée d’une manière éthique et équitable. »

[26]     The Guardian, « French ministers in spotlight over poor take-up of centralised Covid app », 29 septembre 2020, https://www.theguardian.com/world/2020/sep/29/france-struggles-to-push-covid-app-as-neighbours-race-ahead

[27]     https://www.ccc.de/en/updates/2020/contact-tracing-requirements

[28]     Apple et Google ont développé une API qui permet aux téléphones iOS et Android de communiquer les uns avec les autres via Bluetooth. DP-3T est un protocole open-source pour le suivi des contacts, basé sur Bluetooth ; le registre des contacts du téléphone d’une personne est stocké localement afin qu’aucune entité centrale ne puisse savoir qui a été exposé.

[29]   Cf. Risk of airborne coronavirus spread being underplayed, say researchers, New Scientist, 7 juillet 2020.

[30]     Dans l’approche centralisée, qui a été promue par le consortium européen PEPP-PT (Pan-European Privacy-Preserving Proximity Tracing) lancé le 1er avril 2020, le serveur central génère les crypto-identifiants attribués aux utilisateurs puis se charge de recueillir les crypto-identifiants des personnes ayant été en contact avec une personne infectée, de réaliser un calcul sur la probabilité d’infection et de prévenir les utilisateurs, le cas échéant, d’une probable infection. De son côté, l’approche décentralisée est organisée autour d’un certain nombre de protocoles parmi lesquels on peut citer DP3T, PACT (Private Automated Contact Tracing) ou la coalition TCN. Au cours du printemps, ces différents consortiums se sont livrés une bataille féroce ponctuée de trahisons et de défections ! Avec l’approche décentralisée, les opérations de recherche des contacts sont réalisées sur l’appareil de l’utilisateur et les informations transmises au serveur central sont limitées au maximum. Ainsi, par exemple, dans le cas d’un protocole décentralisé comme DP3T les utilisateurs génèrent eux même les crypto-identifiants sur les téléphones et les échangent via Bluetooth lors d’une interaction prolongée. Lorsqu’un utilisateur est infecté, il déclare auprès du serveur central la liste des identifiants rencontrés récemment. Les autres utilisateurs vont périodiquement télécharger depuis le serveur central cette liste d’identifiants ayant rencontré une personne infectée et comparer avec la liste stockée sur leur appareil afin d’indiquer à l’utilisateur si oui ou non il a pu être exposé.

[31]     https://ec.europa.eu/commission/presscorner/detail/en/ip_20_1904

[32]     Source : Is the UK’s NHS Covid-19 app too private?, BBC News, 30/10/2020.

[33]     Tribune d’un collectif d’universitaires, « StopCovid : une application inefficace et menaçante pour la démocratie », Libération, 27/04/2020. 

[34]     Comité européen à la protection des données : les lignes directrices 04/2020 sur l’utilisation des données de localisation et des outils de recherche des contacts dans le contexte de l’épidémie de COVID 19 https://edpb.europa.eu/sites/edpb/files/files/file1/edpb_guidelines_20200420_contact_tracing_covid_with_annex_fr.pdf

[35]     Recommandation (UE) 2020/518 de la Commission du 8 avril 2020 concernant une boîte à outils commune de l’Union en vue de l’utilisation des technologies et des données pour lutter contre la crise de la COVID -19 et sortir de cette crise, notamment en ce qui concerne les applications mobiles et l’utilisation de données de mobilité anonymisées https://op.europa.eu/fr/publication-detail/-/publication/1e8b1520-7e0c-11ea-aea8-01aa75ed71a1/language-fr

[36]     Ethics guidelines for trustworthy AI https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai

[37]     Décret n° 2020-650 du 29 mai 2020 relatif au traitement de données dénommé « StopCovid France »https://www.legifrance.gouv.fr/jorf/id/JORFTEXT000041936881/

[38]     Délibération n° 2020-056 du 25 mai 2020 portant avis sur un projet de décret relatif à l’application mobile dénommée « StopCovid » (demande d’avis n° 20008032).

[39]     https://www.cnil.fr/fr/application-stopcovid-cloture-de-la-mise-en-demeure-lencontre-du-ministere-solidarites-sante

[40]     Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE (règlement général sur la protection des données) https://eur-lex.europa.eu/legal-content/FR/TXT/?uri=CELEX%3A32016R0679

[41]     Lignes directrices 4/2020 relatives à l’utilisation de données de localisation et d’outils de recherche de contacts dans le cadre de la pandémie de COVID-19, adoptées le 21 avril 2020, point 3.1.27 https://edpb.europa.eu/sites/edpb/files/files/file1/edpb_guidelines_20200420_contact_tracing_covid_with_annex_fr.pdf

[42]     https://www.cnil.fr/fr/lanonymisation-de-donnees-personnelles

[43]     Délibération n° 2020-046 du 24 avril 2020 portant avis sur un projet d’application mobile dénommée « StopCovid » (demande d’avis n° 20006919)             
https://www.cnil.fr/sites/default/files/atoms/files/deliberation_du_24_avril_2020_portant_avis_sur_un_projet_dapplication_mobile_stopcovid.pdf

[44]     Le code IMEI permet d’identifier de manière unique chacun des terminaux de téléphone mobile. 

[45]     Un code QR ne comporte aucune information permettant d’identifier la personne concernée ; il est généré aléatoirement, apposé sur le résultat d’un examen de dépistage au virus de la Covi-19, puis envoyé à la personne ayant effectué le test de dépistage, en cas de résultat positif.

[46]     https://www.google.com/recaptcha/admin/create?pli=1

[47]     Capacité à suivre le parcours d’une donnée saisie à travers toutes les étapes de l’échantillonnage, de l’étiquetage, du traitement et de la prise de décision.

[48]     Caractéristique d’un système d’IA intelligible pour les non-experts. Un système d’IA est intelligible si sa fonctionnalité et son fonctionnement peuvent être expliqués de manière non technique à une personne non spécialisée dans le domaine.

[49]     L’humain est dans la boucle : le système peut exécuter une tâche puis s’arrêter pour attendre les commandes humaines avant de continuer ; l’humain est sur la boucle : il fonctionne de façon totalement autonome, mais un humain peut avoir un rôle de supervision si le système tombe en panne ; l’humain est aux commandes : il supervise l’activité globale du système et peut décider de ne pas l’utiliser