Coches autónomos: cuando el algoritmo mata

El 17 de agosto de 1896, la británica Bridget Driscoll paseaba por Hyde Park. Ese día en el parque londinense se celebraba una feria de mecánica y uno de los coches que hacía un recorrido de exhibición la embistió. Bridget Driscoll fue la primera víctima mortal del motor de combustión interna. Hace 122 años.

El 25 de enero de 1979, Robert Williams trabajaba en un almacén automatizado de Ford. Uno de los brazos del robot lo golpeó en la cabeza. Williams fue la primera víctima mortal de un robot. Están a punto de cumplirse 40 años.

La noche del 18 de marzo de 2018, Elaine Herzberg empujaba una bicicleta cargada con sus pertenencias a través de una carretera de cuatro carriles en Tempe (Arizona) cuando un vehículo de prueba de la empresa Uber conducido por un robot la arrolló. Herzberg fue la primera víctima mortal de un coche autónomo.

Tanto la conductora de seguridad que iba en el vehículo como la víctima tenían un largo historial delictivo a sus espaldas. El Estado de Arizona ha dado facilidades para que se contrate exconvictos.

Sobre el papel, Elaine Herzberg -como Driscoll o Williams- no tendría que haber muerto como murió. En el caso de Herzberg, los motivos que llevaron a su fallecimiento están relacionados con una desaforada carrera tecnológica, con la epidemia de droga que asola Estados Unidos y con una inteligencia artificial que no acaba de despegar.

Error Número uno: la peatona

Empecemos por lo más sencillo. Era noche cerrada y Elaine Herzberg estaba cruzando la carretera en medio de la oscuridad. Tenía 49 años y un largo historial de delitos relacionados con las drogas. Quería llegar al campamento de los sin techo en el que vivía. Este tipo de asentamientos forma parte del paisaje urbano de todas las grandes ciudades de Estados Unidos. Este, en concreto, se encontraba en la North Mill Avenue, uno de los tramos de pruebas en los que Uber examinaba sus coches robotizados.

Los coches son vigilados por conductores de seguridad. Son los 'Robot babysitting', los 'canguros' de los robots

En junio de 2015, Doug Ducey -gobernador republicano de Arizona- emitió un decreto que permitía circular por las carreteras de su Estado a vehículos controlados por un robot. Incluso, autorizó que pudieran hacerlo sin un ser humano a bordo. En ningún lugar del mundo se había ido tan lejos. Las empresas ni siquiera tenían que registrar los coches. Arizona, que con su clima seco ya reunía de por sí condiciones excelentes para este tipo de pruebas, estaba llamada a convertirse en el centro del desarrollo de los coches sin conductor.

Para el gobernador, era la ocasión de hacerle sombra a California y a su famoso Silicon Valley y, sobre todo, la puerta de entrada a un sector prometedor: según los expertos, estos coches inyectarán siete billones de dólares a la economía global.

Las facilidades que ponía encima de la mesa Arizona hicieron que Uber instalara su flota de pruebas en ese estado. Waymo -la filial de coches autónomos de Google y principal competidor de Uber- ya hacía sus pruebas allí, igual que General Motors. Al poco se sumó Intel. En las calles de Arizona llegó a haber más de 600 coches conducidos por una inteligencia artificial no siempre madura para la tarea.

Error número dos: la legislación

En la primavera de 2018, Uber se encontraba sometida a mucha presión. Todavía no había generado ni un solo céntimo de beneficios. Travis Kalanick, su fundador, se dio cuenta de dos cosas: por un lado, que la supervivencia de Uber pasaba por prescindir del sueldo del conductor; por otro, que el mercado de los coches autónomos es uno de esos en los que el ganador se lo lleva todo. No hay sitio para más, solo puede quedar uno, igual que solo hay un Google, un Facebook o un Amazon.

En 2017, Google demandó a Uber (arriba, su fundador Travis Kalanick) por robar información sobre los coches autónomos.

Los departamentos de pruebas de las empresas fabricantes de coches autónomos llevaron muchos empleos a la ciudad. Y es que probar los robots es complejo, hacen falta muchas personas para vigilarlos. Robot babysitting es el nombre que se le da en el sector a esta nueva versión del oficio de canguro.

Pese a la enorme cantidad de robots en pruebas por todas partes, siempre debe haber un humano pendiente de ellos. No solo para impedir que provoquen daños, también para proteger a los robots de la gente. Algunos peatones se echan a la calzada ante un coche autónomo para comprobar si se detiene. Aunque la normativa aprobada por el gobernador no lo imponía, las empresas desarrolladoras siempre llevaban dos personas en sus vehículos para garantizar la seguridad. Solo Uber, la que más coches en pruebas tenía circulando por Tempe -unos 400-, había decidido reducir a uno el número de conductores a bordo de sus Volvo.

La noche del domingo 18 de marzo, a las 21.14 horas, Rafaela Vásquez puso en marcha el Volvo autónomo de Uber en Tempe. Sí, era domingo, pero Vásquez necesitaba dinero. Tenía alquileres atrasados y el trabajo era sencillo: sentarse en un todoterreno de lujo y no hacer nada, solo prestar atención a que el robot no se saltara un semáforo.

Que Vásquez consiguiera aquel empleo resulta sorprendente. Su expediente judicial era largo. Llegaron a condenarla a cinco años de cárcel por intento de robo a mano armada. Pero hay un tuit del gobernador Ducey que lo explica: en él dice que Arizona se enorgullece de ofrecer, de la mano de Uber, una segunda oportunidad a exconvictos.

Error número tres: una carrera peligrosa

En 2015, Uber empezó a centrarse en construir taxis robotizados. La primera idea fue unirse a Google. Pero finalmente decidió ir por libre. Google iba demasiado despacio. Pero Uber no era Google. No llevaba trabajando en el asunto desde 2009. Tampoco había desarrollado nada tan revolucionario como Google Maps ni cartografiado el planeta. Además, Google contaba con un ingeniero al que todos consideraba el gurú de los coches autónomos: Anthony Levandowski.

Uber sabía que si quería batir a Google tenía que ficharlo. A Levandowski también lo dominaba la impaciencia y dio el salto, pero antes se descargó 14.000 archivos de la base de datos de Google.

Por la ciudad circulaban 400 coches autónomos de Uber. El vehículo confundió a la peatona con una bolsa de plástico

A Uber eso le costó una demanda por robo de información en 2017. Sin embargo, el juicio se suspendió de forma sorpresiva a los cuatro días de comenzar. Razón: Uber, que veía caer al abismo su imagen, se declaró dispuesta a pagar 245 millones de dólares a Google.

Probablemente, el nuevo director general de Uber, Dara Khosrowshahi, debió de plantearse si eso de los coches autónomos seguía teniendo sentido. Así que anunció visitas a los centros de desarrollo en Tempe y Pittsburgh. Sus empleados, presionados desde las altas esferas, se lanzaron a una búsqueda obsesiva de resultados para presentar al jefe. Todo esto, un mes antes del accidente.

Error número cuatro: la conductora

En el vídeo que la cámara instalada en el interior del Volvo de Uber grabó la noche del 18 de marzo, se ve que Rafaela Vásquez saca su móvil. Las normas exigían que llevara las manos sobre el volante en todo momento, pero ella las lleva en el regazo. Su atención, además, no está en la carretera, sino en el salpicadero, donde ha colocado el móvil. Durante la investigación, la Policía reclamó a Netflix, Hulu y YouTube los datos de uso de Vásquez. Gracias a ello se sabe que la conductora se vio una entrega del concurso La Voz mientras circulaba.

El coche de Uber iba dotado con un sistema de conducción inteligente capaz de aprender por sí mismo. Incluía cámaras delanteras y laterales, dispositivos de radar, escáneres láser (el llamado 'sistema Lidar') y sensores de navegación. El maletero estaba lleno de dispositivos de inteligencia artificial.

Sobre el techo del vehículo iba el aparato principal del sistema Lidar, un dispositivo que detecta objetos y mide distancias. Su aspecto recuerda al de una sirena de Policía. Lo que hace es disparar a su alrededor millones de pulsos láser por segundo. A partir de ellos se forma una imagen tridimensional. Lidar es la tecnología clave de los coches autónomos, muy cara de fabricar y todavía bastante alejada de la perfección.

En un segundo escalón de relevancia se encuentran los dispositivos de radar, que emiten ondas de radio y miden la velocidad de los objetos. Las cámaras, que observan todo el perímetro del coche, completan la imagen: detectan las señales de tráfico, las luces de freno o los semáforos.

Unos algoritmos capaces de aprender identifican los objetos que van apareciendo, ya se trate de otros coches, peatones, ciclistas o árboles. Los algoritmos elaboran predicciones a partir de todos estos datos. Durante la conducción es importante saber lo que está pasando, pero más aún hacerse una idea de lo que podría ocurrir en los siguientes segundos: en qué dirección se moverá qué objeto, quién cambiará de carril, qué peatones entrarán en la calzada. Los algoritmos calculan la probabilidad de cada una de estas previsiones. Todos estos cálculos ocurren mientras Rafaela va tan tranquila viendo La Voz en su móvil.

El problema son los falsos positivos

Esa noche, Elaine Herzberg presentaba cristal y marihuana en sangre, según constatará más tarde la autopsia oficial. Viste un abrigo negro, la bicicleta tiene luz delantera, pero no lleva reflectores. Son las diez menos un minuto.

El coche de Rafaela Vásquez se desplaza en modo de conducción automática a 69 kilómetros por hora. El sistema de detección percibe a Elaine Herzberg con su bicicleta en medio de la calzada. Aún quedan seis segundos para el impacto. Tiempo suficiente para frenar o para desviarse. Pero los algoritmos no se ponen de acuerdo. Dudan. El software, primero, cree haber percibido un objeto desconocido; luego piensa que se trata de un coche; y, después, de una bicicleta.

La víctima (a la izquierda). La conductora (a la derecha)

Un problema grave de esta tecnología son los denominados 'falsos positivos', las falsas alarmas. El coche ve algo que no está ahí. O ve un objeto que sí que existe, pero que no tiene ninguna consecuencia para el desplazamiento del vehículo: una bolsa de plástico que revolotea sobre la calzada o unas hojas.

La clave, llegados a este punto, reside en cómo se haya programado el software responsable de tomar la decisión última. Es decir, cómodebe actuar el algoritmo si, por ejemplo, obtiene los siguientes grados de probabilidad: en un 30 por ciento el objeto es un peatón empujando una bicicleta, pero en un 70 por ciento se trata de una bolsa de plástico. ¿Frenar o no frenar? Evidentemente, la respuesta debería ser frenar, pero por otro lado la probabilidad de que se haya frenado por culpa de una falsa alarma, por culpa de algo tan inofensivo como una bolsa, es del 70 por ciento. De frenar siempre, el resultado sería una conducción torpe y brusca, cuando no peligrosa, para el conjunto del tráfico.

Cuatro segundos después de que los sensores detectaran el objeto, los algoritmos todavía no se habían puesto de acuerdo sobre qué tenían delante. Calcularon y recalcularon, compararon la situación con millones de casos similares. Cuatro segundos son una eternidad para un superordenador.

Cuando, a 1,3 segundos de la colisión, todavía no había resultados, el software concluyó que ya lo único que cabía hacer era un frenado de emergencia para, al menos, suavizar en lo posible el impacto.

Congelemos este instante. El Volvo alcanzará a Elaine Herzberg, que no mira al cruzar, en 1,3 segundos. El coche lleva a bordo lo mejor que existe en inteligencia artificial. ¿Entonces por qué los algoritmos han sido incapaces de llegar a una conclusión?

La investigación ha descubierto que la conductora de seguridad del coche autónomo de Uber estaba viendo La Voz en su móvil mientras el vehículo avanzaba solo. Cuando levantó la mirada, ya era demasiado tarde.

Según relataron más tarde dos antiguos empleados de Uber, la empresa habría elevado la tolerancia a los falsos positivos en beneficio de la fluidez de la conducción, de tal manera que el coche, en caso de duda, no realizara maniobra alguna y se limitara a aguardar acontecimientos. Los recorridos de prueba tenían que resultar presentables, aunque solo fuera en apariencia, sobre todo de cara a la inminente visita del nuevo jefe de Uber. Si los coches iban a trompicones, sería imposible convencer a nadie de que estaban ante el vehículo del futuro.

En fin, estamos a 1,3 segundos del impacto, el coche circula a 69 kilómetros por hora y los algoritmos acaban de dar la orden de ejecutar el frenado de emergencia.

Pero no sucede nada. Uber ha desactivado el programa de frenado del Volvo porque los diferentes softwares no parecen compatibles. Y Rafaela Vásquez lleva seis segundos sin apartar la vista de La Voz. Menos de un segundo antes del impacto, por fin, levanta la cabeza. En la grabación se la ve abrir la boca por la sorpresa.

El Volvo atropella a Elaine Herzberg a 63 kilómetros por hora. Fallece una hora más tarde en el hospital. El coche la ha confundido con una bolsa de plástico. Vásquez asegura que aquella persona «salió de la nada».

A la mañana siguiente llegan desde Washington varios inspectores que se dedican a estudiar accidentes de aviación o ferroviarios. Actualmente tan solo han publicado un informe provisional que no incluye conclusiones.

Según dos antiguos empleados, Uber habría elevado la tolerancia a los falsos positivos

Pocos días después de la muerte de Elaine Herzberg tres familiares de la víctima contratan unos abogados y amenazan con demandar a Uber. En tres días, empresa y parientes llegan a un acuerdo. La cuantía de la indemnización es secreta, pero se habla de cifras multimillonarias.

¿Seguridad o ser el número uno?

Tras el accidente, Uber paralizó temporalmente las pruebas con coches autónomos. El incidente sacudió a todo un sector que siempre ha tenido problemas de imagen. La gente se fía más de un anciano de 80 años al volante que de un programa informático.

Uno de los integrantes del equipo de Uber era Noah Zych, director del sistema de seguridad del proyecto de coche autónomo. En sentido estricto, él es el principal responsable del accidente. Nos recibe en su despacho. Han pasado unos cuantos meses desde el atropello. Durante todo este tiempo, Uber se ha mostrado reacia a hablar del tema.

Nadie en Silicon Valley se extraña de que un programa se vuelva loco de vez en cuando, es lo suyo. Los algoritmos cometen errores y aprenden de ellos. Los fallos forman parte del proceso. Este enfoque diferencia a Silicon Valley de la industria automovilística. Los fabricantes de coches llevan inscrito en su ADN que los errores provocan muertes.

Uber y las filiales de coches autónomos de Google, General Motors e Intel, han instalado sus flotas de vehículos con robot en Arizona. Su gobernador incluso aprobó que circularan sin alguien a bordo

Anthony Levandowski, el gurú caído, dijo tras el accidente: «Si de verdad quieres impulsar una tecnología, la seguridad no puede ser la prioridad número uno. Si lo es, nunca conseguirás nada».

Uber, que despidió a Rafaela Vásquez y a los otros 400 conductores de seguridad, ha retomado los recorridos de prueba. Zych dice que Uber está probando sus coches, pero esta vez con dos conductores de seguridad a bordo. Además, se los vigila a través de cámaras y en tiempo real desde una central de control. Si uno de ellos mira su móvil o se distrae, empieza a sonar una alarma en el coche.

Así que, en definitiva, ahora hay personas de verdad vigilando a personas de verdad, que a su vez vigilan a robots para que estos aprendan por fin a conducir un coche con la misma seguridad con la que lo haría una persona de verdad.

Te puede interesar

Yuval Noah Harari: "Es muy probable que en cien años seamos sustituidos por otras entidades"