Escribo esta entrada a raíz de este artículo en la revista GIZMODO, titulado “Este terrible accidente de un Tesla es un recordatorio de que los problemas del Autopilot no son solo técnicos“.
En él se describe -y se ve, porque también hay un video grabado por las cámaras del coche- el accidente de un TESLA que impacta a gran velocidad por detrás con otro vehículo.
Resulta que en 2018 publiqué un artículo en LinkedIn que trataba precisamente sobre los posibles problemas que podría suponer la automatización de la conducción, así que me he decidido a compartirlo aquí, espero que os guste.
A continuación, el artículo original que publiqué en LinkedIn:
Posiblemente la noticia tecnológica del 18/03/2018 fue el primer accidente causado por un vehículo autónomo en pruebas y que costó la vida a un peatón. Es importante esta última coletilla, puesto que un accidente anterior ya había costado la vida del conductor/copiloto/ocupante -no se cómo llamarlo- de otro vehículo dotado con capacidades autónomas (un Tesla Model S) mientras circulaba en modo Autopilot .
El accidente del vehículo de Uber en pruebas tiene muchas vertientes, algunas legales, como por ejemplo ¿quién es el responsable de este atropello? Otras son más bien de tipo ético/filosófico ¿cómo debería actuar un vehículo autónomo ante la tesitura de atropellar a un grupo de peatones o poner en riesgo las vidas de los ocupantes del vehículo? Pero otras están relacionadas directamente con los temas en los que últimamente he estado trabajando, por eso me he decidido a escribir este artículo.
LA CONDUCCIÓN AUTÓNOMA
Primero deberíamos saber que según SAE International hay 6 niveles de Conducción Autónoma, desde el nivel 0 -conducción completamente manual- hasta el 5, conducción completamente autónoma. Cada nivel va acumulando las capacidades autónomas del anterior.
Nivel 0
El coche no tiene ningún sistema automatizado que le permita tomar el control, sólo puede tener sistemas que emitan alguna advertencia, por ejemplo, el Sensor de Ángulo Muerto.
Nivel 1
Vehículos que disponen de sistemas como el de Control de Crucero o Mantenimiento de Carril, lo que implica que el acelerador o el volante ya están automatizados.
Nivel 2
En este nivel el vehículo podría considerarse como semiautónomo. Tanto el volante como el acelerador están automatizados, pero el conductor no debe despistarse por si en algún momento tiene que tomar el control del coche ante cualquier respuesta inadecuada del vehículo. En cuanto el conductor humano toma el control, el sistema automático debe deshabilitarse.
Nivel 3
Los vehículos pueden circular de manera completamente autónoma en entornos controlados y relativamente simples, como por ejemplo autopistas. Ciudades llenas de peatones, bicicletas y rotondas son palabras mayores.
En la actualidad, lo más parecido a un nivel 3 que existe en el mercado son los coches de Tesla dotados del sistema Autopilot aunque es una opción que no está habilitada por defecto. El sistema comprueba constantemente si el conductor está atento al tráfico y le recuerda con insistencia mediante alertas sonoras y luminosas que debe llevar las manos al volante.
En el caso del primer accidente de un Tesla Model S con el Autopilot activado, se alegó que el conductor iba en modo autónomo en una zona no prevista y que había hecho caso omiso a las advertencias del sistema para que tomara el volante, razón por la cual Tesla no fue responsabilizada por el accidente aunque tuvo que “parchear” el software de sus coches para desconectar el Autopilot en caso de que el conductor no haga caso de las indicaciones del sistema. Aún así hay quien no ha dudado en saltarse estas restricciones y presume de ello en Internet.
Nivel 4
Los coches autónomos pueden circular sin supervisión de un conductor humano en áreas acotadas en las que disponga de suficiente información (existe una detallada cartografía). En este nivel entrarían los coches autónomos de Waymo (Google), Volvo, Ford y Uber aunque actualmente están en fase de desarrollo.
Nivel 5
La conducción es completamente autónoma, pudiendo circular el vehículo por cualquier carretera o ciudad, la única restricción serían las leyes que autorizaran o no este tipo de conducción. El hardware y el software de los coches autónomos estarán tan desarrollados que serán capaces de responder ante cualquier imprevisto. En este nivel de autonomía querrían entrar empresas tecnológicas como Microsoft o Apple.
LA TECNOLOGÍA NECESARIA PARA LA CONDUCCIÓN AUTÓNOMA
Para conseguir esta automatización, los vehículos autónomos dependen de la información que proporcionan sus sensores (parte hardware) y de la interpretación de esa información que hacen sus algoritmos de control (parte software).
Sensores que incluye un vehículo autónomo
Un vehículo de estas características puede llevar a bordo múltiples cámaras ópticas de diferentes resoluciones, cámaras infrarrojas, sensores de ultrasonidos, radares de diferente alcance y apertura, sensores inerciales, GPS o LIDAR, un sensor especialmente caro y difícil de integrar en la estética de un coche por lo que algunos fabricantes interesados en la conducción autónoma lo sustituyen por un sistema de cámaras ópticas de alta resolución.
Esta variedad de sensores es necesaria porque unos a otros se complementan. Por ejemplo el LIDAR permite “ver” en la oscuridad, pero ve en blanco y negro y no detecta superficies transparentes, por lo que no podría “ver” un semáforo en rojo. Para eso están las cámaras a color de alta resolución que además son necesarias para “leer” las señales de tráfico, pero en carreteras mal iluminadas o con malas condiciones meteorológicas pueden ser inútiles. En esos casos, la ubicación proporcionada por el GPS puede servir para determinar los límites de velocidad en ese tramo, mientras que las cámaras infrarrojas, los ultrasonidos y radares y LIDAR seguirán permitiendo “ver” qué pasa alrededor del vehículo.
Como ejemplo de la importancia de combinar distintas tecnologías cabe citar que el caso del primer accidente mortal con un Tesla Model S en modo Autopilot, en el que el coche se empotró debajo del remolque de un camión. Una de las posibles causas mencionadas fue la incapacidad de las cámaras para distinguir el remolque de color blanco contra el horizonte en un día especialmente luminoso y la altura del Tesla y el remolque
Los algoritmos de control
La información proporcionada por todos esos sensores es interpretada por la “inteligencia” al volante, algoritmos que permiten que el coche “sepa” qué está haciendo, por dónde está circulando, qué está pasando a su alrededor y cómo debe reaccionar (por ejemplo, “leen” las señales de tráfico, conoce a qué velocidad circula, que se aproxima a un cruce, que el semáforo que tiene delante se ha puesto en rojo o que otro vehículo le está adelantando y pretende volver al mismo carril)
En este video, podéis ver como los algoritmos de un Tesla Model S interpretan la información que recibe de sus diferentes sensores, identificando las líneas de la carretera, otros vehículos y obstáculos.
¿QUE PUDO PASAR EN EL ATROPELLO MORTAL EN ARIZONA?
Sin saber cómo implementa Uber su sistema de conducción autónoma (hardware y software) no se puede afirmar nada con rotundidad.
La policía de Arizona ha mostrado imágenes del accidente grabadas por las cámaras del coche (externas e internas) video 1 y video 2. En ellas se ve como el coche circula por una carretera mal iluminada y que de repente aparece de la nada una persona vistiendo ropa oscura, que cruza la carretera por un sitio indebido y es golpeada por el coche. En las imágenes del interior del coche se ve la cara de sorpresa y pánico de la conductora/copiloto/pasajera cuando el impacto es inminente.
De momento, las autoridades de EEUU no permiten que los vehículos autónomos circulen libremente por las vías públicas y exigen que siempre haya a bordo un piloto humano en previsión de cualquier problema durante la conducción en modo autónomo, pero según la policía de Arizona el accidente era inevitable aunque un conductor humano hubiese ido al volante.
Yo personalmente he visto el video varias veces y aun sabiendo lo que va a pasar, me ha sido imposible anticipar la presencia del peatón. Con la poca iluminación de la escena y la velocidad a la que circula el coche, se pasa directamente de intuir los pies del peatón al impacto.
El problema es que la tecnología a bordo del coche debería superar las capacidades humanas, y que los algoritmos de conducción deberían contemplar la posibilidad de que en cualquier momento se cruce “algo” por delante de un coche: un peatón cruzando por un lugar indebido, un animal, un niño corriendo detrás de una pelota… Como muestra, aquí os dejo otro video de “casi accidentes” evitados por la función Autopilot de Tesla donde el sistema parece que es capaz de “prever” accidentes incluso en condiciones de escasísima visibilidad (ver especialmente el minuto 0:20).
Parece que el vehículo de Uber circulaba a 40 mph en una zona de 35 mph (poco más de 64 Km/h en una zona señalizada como de 56 Km/h). No sabemos sí los sensores del vehículo detectaron al peatón, pero lo cierto es que en el video no se aprecia que el vehículo frene y aunque es cierto que la “conductora de respaldo” no parece que vaya muy atenta a la carretera, da la impresión de que es ella la que ve al peatón sin ninguna advertencia previa del sistema. A todo esto se une que al parecer los coches autónomos de Uber ya habían tenido problemas antes de este accidente ya que por ejemplo requerían de la intervención de los pilotos humanos de respaldo con mucha mayor frecuencia que los coches de la competencia. Tras el accidente mortal, Uber ha suspendido todos los ensayos de sus coches autónomos.
EL PROBLEMA DE LA EXCESIVA AUTOMATIZACIÓN
Hablando sobre este accidente con amistades, no son pocos los que señalan la actitud de la conductora de respaldo “no va atenta a la carretera”, “va mirando hacia abajo”, etc incluso se señala que no sigue el protocolo de Uber que indica que sus conductores deben ir siempre con las manos en el volante por si tienen que hacerse con el control del vehículo de forma repentina. Es aquí donde deberíamos estudiar el accidente desde el punto de vista de los factores humanos y donde enlazamos con mi trabajo para el Libro Blanco de los Centros de Control que prepara ISA España.
Si el lector suele hacer viajes largos por carretera habrá experimentado situaciones de “aburrimiento” al volante, cuando la situación está “bajo control”, la meteorología es buena, no hay tráfico y la carretera es excelente. También les pasa a los copilotos, que liberados del estrés de la conducción se duermen rápidamente al poco de comenzar el viaje (mi pareja, sin ir más lejos, es una copiloto poco solidaria y rápidamente cae dormida). Personalmente creo que la situación de un piloto de respaldo en uno de estos vehículos autónomos es muy similar: el sistema funciona a la perfección durante tanto tiempo/kilómetros que es difícil mantener la atención en la carretera.
El conjunto Humano+Automatización no sólo es una suma de virtudes (flexibilidad/adaptabilidad humana capaz de actuar ante imprevistos + confiabilidad, velocidad y potencia de cálculo de la máquina) sino que además da origen a problemas adicionales
Y es que el conjunto Humano+Automatización no sólo es una suma de virtudes (flexibilidad/adaptabilidad humana capaz de actuar ante imprevistos + confiabilidad, velocidad y potencia de cálculo de la máquina) sino que además da origen a problemas adicionales. No quiero decir con esto que la Automatización sea un problema (no tendría sentido habiéndome dedicado a la automatización de procesos durante 10 años), el problema está en la forma en la que se hace la Automatización. Norman en su paper “The Problem With Automation” (1990) indica que “el problema es el nivel intermedio de inteligencia que ha alcanzado la Automatización, capaz de hacerse cargo y superar el desempeño humano en muchas funciones pero insuficiente para hacer frente a todas las posibles situaciones anómalas e incluso de mantener el continuo feedback que necesita el operador humano”.
Los principales problemas que introduce la automatización son los siguientes:
Excesiva confianza en las capacidades del sistema de automatización
El sistema parece funcionar tan bien, que tendemos a pensar que tiene aún mayor capacidad de la real, incluso si pretendemos utilizarla en condiciones para las que no está programado. Por ejemplo, hay cierta polemica con el nombre Autopilot de Tesla, ya que la propia compañía lo define como una “ayuda avanzada a la conducción que obliga a la supervisión del conductor humano”, aunque por el nombre podría pensarse otra cosa. Youtube está lleno de videos de gente poniendo a prueba la función Autopilot y como ya hemos comentando ideando trucos para evitar la “molestia” de las alertas del sistema indicando que deben llevar las manos puestas en el volante.
Reducción de la atención
En sistemas muy automatizados, el trabajo del operador se reduce principalmente a la monitorización del sistema. Si el sistema es lo suficientemente bueno haciendo su trabajo y no suele presentar ningún problema, el trabajo del operador humano se vuelve tedioso con lo que la atención que se presta a la tarea tiende a reducirse: como no suele pasar nada, es difícil mantenerse atento. Esto explicaría la actitud de la conductora de respaldo de Uber implicada en el accidente.
Otro video, en este caso de Volvo en el que invita a aprovechar el tiempo libre durante los desplazamientos que permite la conduccion autonoma
Pérdida de capacidades
Las habilidades que no se practican terminan oxidándose. Acostumbrado a que el sistema automático haga la mayor parte del trabajo, el operador humano pierde conocimientos y práctica y si por alguna razón debe tomar el control podría tener dificultades para hacerse con la situación. Habituados a la conducción autónoma, podría darse el caso de que olvidasemos cómo se conduce.
Este problema ya fue mencionado por Bainbridge en su paper “Ironies of Automation“ (1983) y es conocido por las compañías aéreas que lo detectaron cuando los pilotos que solían volar aviones altamente automatizados debían hacerlo con aeronaves menos tecnológicas; Wickens, C. D. (1984).
Sobrecarga de información
Si el operador humano debe vigilar el correcto funcionamiento del sistema automático deberá disponer también de la misma información. Tanta información puede exceder la capacidad de procesamiento humana. Este aspecto parece bastante conseguido en los vehículos autónomos ya que su salpicadero y la información que se muestra en él no difiere excesivamente del de un vehículo convencional.
Sin embargo, lo habitual en estos vehículos en pruebas es que vayan dos ocupantes, uno, dedicado a actuar como respaldo del sistema autónomo de conducción y otro a cargo de ir evaluando la información que los sistemas informáticos van recopilando (¿Era esta la razón de que la conductora de respaldo mirara hacia abajo en varias ocasiones?)
Así suelen trabajar otras empresas que están desarrollando vehículos autónomos y también lo hacía Uber, hasta que decidió emplear un único conductor lo que provocó que algunos de estos conductores de respaldo mostraran su preocupación por la seguridad. Es cierto que por ejemplo Waymo (Google) también utiliza un único conductor, aunque vuelve a los dos cuando cambia la zona de pruebas o está probando modificaciones mayores en los sistemas.
LA CONDUCCION AUTONOMA DE NIVEL 5, LOS CONDUCTORES HUMANOS YA NO SERAN NECESARIOS
A la vista de todo esto que hemos comentado ¿deberíamos llegar al nivel 5 de conducción autónoma?, es decir, a la completa supresión de la necesidad de un conductor humano.
En Should cars be fully driverless?el profesor David Mindell, del MIT cree que no, ya que aunque por ejemplo la automatización ha permitido aumentar la seguridad de la aviación comercial, se basa en sistemas que son imperfectos y que por lo tanto, necesitan de la supervisión de los pilotos y su interacción con los controladores aéreos.
No podemos negar las ventajas de la aplicación de la tecnología. La seguridad de la conducción activa y pasiva en los coches ha mejorado gracias a sistemas como el ABS, el ESP, airbag, los sensores de ángulo muerto, sistemas de frenado de emergencia, etc. Todas esas tecnologías han tenido un desarrollo y por supuesto, fallos que han ido corrigiéndose. Como ejemplo, este fallo del sistema de frenado de emergencia de Volvo durante su demostración, un fallo ya plenamente superado
Personalmente, creo que ahora mismo estamos en un estado de transicion que dificulta las cosas. La conduccion autonoma se esta desarrollando y durante un tiempo deberá coexistir con vehiculos convencionales y conductores humanos. En el futuro la situación será muy diferente: cabe esperar que la tecnología alcance un mayor grado de madurez y resulte más económica, de manera que el porcentaje de vehículos autónomos del parque automovilistico aumente. A esto habrá que unir otros desarrollos como el vehículo conectado (a Internet, pero también compartiendo información con otros vehículos) o a la inclusión en las carreteras de infraestructuras adicionales para ayudar a la circulación autónoma.
Otra cosa será que los conductores estemos dispuestos a comprarnos un coche autónomo (porque nos gusta conducir, porque no nos fiamos de la tecnología, etc). Este estudio indica que el 87% de los españoles ni siquiera se lo plantea, aunque también hay quien dice que los niños de hoy no tendrán que aprender a conducir.
En cualquier caso, si pretendemos que el humano sirva de respaldo a los sistemas automaticos tendremos que asegurarnos de que no se olvide de como conducir y que se mantenga atento a la carretera “por si las moscas”.
PARA SABER MÁS
Para los interesados en saber algo más acerca del trabajo de los operadores de panel en una instalación industrial, os recomiendo “El Libro del Diseño de los Centros de Control”, publicado porISA Sección Española en 2019 y en concreto el capítulo “Factor humano: hombre y máquina en el centro de control” del que soy co-autor junto a Francisco Arista López.
ISBN Papel.: 9788490522448
ENLACES DE INTERES
Toda la Tecnología que se ha tenido que desarrollar para llegar a un coche del Siglo XXI
Por qué un coche autónomo no siempre sabe cómo actuar
Expertos en coche autónomo: no habrá avances tecnológicos sin accidentes
ARTÍCULOS RELACIONADOS AQUÍ EN MYTIPS
Deja una respuesta