Volvo Cars is
using AI-generated life-like virtual worlds to enhance the development of
its safety software, such as driver assistance systems
(ADAS), all with the aim of creating even safer cars.
We can now
synthesise incident data collected by the advanced sensors in our new cars,
such as emergency braking, sharp steering or manual intervention.
This allows us to probe, reconstruct and explore them in new
ways to better understand how incidents can be avoided.
This is
possible thanks to an advanced computational technique called Gaussian
splatting, which can create a vast amount of realistic,
high fidelity 3D scenes and subjects from real world
visuals. The virtual environment can for
example be manipulated by adding or removing
road users and changing the behaviour of traffic or obstacles on
the road – to generate different outcomes.
Such
a technique allows us to
expose our safety software to all types of traffic situations,
at a speed and scale not possible before. We now can develop software
that works well also in complex, rare yet potentially dangerous ‘edge
cases’ and reduce the time it takes to expose our software to edge
cases, from months to days.
“We already have millions of data points of moments
that never happened that we use to develop our software" says
Alwin Bakkenes, Head of Global Software Engineering at Volvo Cars.
"Thanks to Gaussian splatting we can select one of the rare corner cases
and explode it into thousands of new variations of the scenario to train and
validate our models against. This has the potential to unlock a scale that
we’ve never had before and even to catch edge cases before they happen in the
real world.”
One part of
the puzzle
Volvo Cars uses virtual
environments alongside real-world testing for software training, development
and validation because they’re safe,
scalable, and cost-efficient. The virtual
environments are developed in-house in collaboration with Zenseact,
an AI and software company founded by Volvo Cars.
This project is
part of a PhD programme for leading Swedish universities to
explore whether neural rendering techniques will be integrated into future
safety initiatives. The study is sponsored by Wallenberg AI, Autonomous Systems and Software Program
(WASP).
A history
of using data to improve safety
Volvo Cars
has a long history of using data and advanced technologies
to enhance safety. Data collected by the Volvo Cars Safety
Research team has played a crucial role in the development and testing of some
of the world’s most prominent safety features.
In the
1970’s, Volvo Cars started leveraging data to improve safety thanks
to its Safety Research team. In the early
days, the team arrived at the scene of accidents with
measuring tapes, assessing skid marks and other crash indicators. The data and
knowledge gathered from the accidents have inspired numerous lifesaving
innovations, such as the Whiplash Injury Protection System and Side Impact
Protection System. New
advanced tech now allows us to be even smarter
with how we use data to prevent risky situations.
Integration
of NVIDIA technology
Volvo
Cars can explore technologies like Gaussian splatting thanks
to the recently expanded relationship with
NVIDIA. The new generation of fully electric
cars, built on NVIDIA accelerated compute collects data from
various sensors to understand what’s happening in and around the car better
than ever before. An AI supercomputing platform, powered by NVIDIA DGX systems, contextualises this data,
unlocks new insights, and trains future safety models. It will improve and
accelerate the development of artificial intelligence. This supercomputing
platform is part of a recent investment of Volvo Cars and Zenseact to
set up one of the largest data centers in the Nordics.
Want to know
more?
The exploration
of Gaussian splatting and generative AI forms part of Volvo
Cars’ presentation at the NVIDIA GTC conference. The
presentation is accessible live or on demand via this link.
Fr:
Volvo Cars utilise l’IA et les mondes virtuels dans
le but de créer des véhicules plus sûrs
Volvo Cars utilise des mondes virtuels générés par
l’IA pour améliorer le
développement de ses logiciels de sécurité, tels que les systèmes d’aide à la
conduite (ADAS), le tout dans le but de créer des véhicules encore plus sûrs.
Nous pouvons désormais synthétiser les données sur
les incidents collectées par les capteurs avancés intégrés à nos
nouveaux véhicules, comme le freinage d’urgence, le
pilotage réactif ou l’intervention manuelle. Il nous est ainsi possible
d’analyser, de reconstituer et d’étudier différemment les données pour mieux
comprendre comment éviter les incidents grâce à une technique de calcul avancée
appelée projection gaussienne, qui peut
permettre de créer une grande quantité de scènes et sujets en 3D ultraréalistes à partir de
visuels du monde réel. L’environnement virtuel peut par exemple être manipulé
en ajoutant ou en supprimant des usagers de la route et en modifiant des
tendances de circulation ou des obstacles sur la route, afin de générer
différents résultats.
Cette technique nous permet
d’exposer notre logiciel de sécurité à tous les types de situations de
circulation, à une vitesse et une échelle jamais atteintes auparavant. Nous
pouvons maintenant développer des logiciels qui fonctionnent bien également
dans des « cas extrêmes » complexes, rares mais potentiellement
dangereux et réduire le temps nécessaire pour exposer notre logiciel à des cas
extrêmes, en passant de quelques mois à quelques jours.
« Nous disposons déjà de millions de points de
données de moments qui ne se sont jamais produits et que nous utilisons pour
développer nos logiciels, explique Alwin Bakkenes, responsable
mondial Ingénierie logicielle chez Volvo Cars. Grâce aux
projections gaussiennes, nous pouvons sélectionner l’un des rares cas marginaux
et le décomposer en milliers de nouvelles variantes du scénario pour entraîner
et valider nos modèles. Il est ainsi possible d’accéder à une nouvelle
dimension que nous n’avons jamais atteinte auparavant et même d’identifier des
cas extrêmes avant qu’ils ne se produisent dans le monde réel. »
Une partie du puzzle
Volvo Cars utilise des environnements virtuels
ainsi que des tests en conditions réelles pour la formation, le développement
et la validation des logiciels, car ils sont sûrs, évolutifs et rentables. Les
environnements virtuels sont développés en interne en collaboration avec Zenseact, une
société d’IA et de logiciels fondée par Volvo Cars.
Ce projet fait partie d’un programme de doctorat
destiné à amener les universités suédoises à explorer si les techniques de
rendu neural seront intégrées dans de futures initiatives de sécurité. L’étude est parrainée par Wallenberg AI,
Autonomous Systems and Software Program (WASP).
Un historique d’utilisation des données pour améliorer la sécurité
Volvo Cars utilise depuis longtemps les
données et les technologies de pointe pour améliorer la sécurité. Les données
recueillies par l’équipe de recherche sur la sécurité de Volvo Cars ont
joué un rôle crucial dans le développement et la mise à l’essai de certains des
dispositifs de sécurité les plus importants au monde.
Dans les années 1970, Volvo Cars a commencé
à exploiter les données pour améliorer la sécurité grâce à son équipe de
recherche sur la sécurité. Dans les
premiers temps, l’équipe arrivait
sur les lieux des accidents avec des instruments de mesure permettant d’évaluer les
traces de dérapage et d’autres
indicateurs d’accident. Les données et les
connaissances recueillies sur les accidents ont inspiré de
nombreuses innovations permettant de sauver des vies, telles que le système
anti-coup du lapin et le système de protection contre les chocs latéraux. Les nouvelles
technologies avancées nous permettent désormais d’élaborer des modes d’utilisation des données encore plus intelligents pour prévenir les situations à risque.
Intégration de la technologie NVIDIA
Volvo Cars peut explorer des technologies
telles que les projections gaussiennes grâce au lien récemment renforcé avec NVIDIA. La nouvelle
génération de voitures entièrement électriques, basée sur le calcul
accéléré NVIDIA, collecte les données de divers capteurs pour comprendre
mieux que jamais auparavant ce qui se passe dans et autour de la voiture. Une
plateforme de supercalcul d’IA, alimentée par les systèmes NVIDIA
DGX, contextualise ces données, dévoile de nouvelles perspectives et
entraîne les futurs modèles de sécurité. Elle va permettre d’améliorer et
accélérer le développement de l’intelligence artificielle. Cette plateforme
de supercalcul fait partie d’un investissement récent de Volvo Cars et de Zenseact visant à créer l’un des plus grands centres de données dans les pays
nordiques.
Vous voulez en savoir plus ?
L’exploration des projections gaussiennes et de
l’IA générative sera présentée par
Volvo Cars à la conférence NVIDIA GTC. La présentation est
accessible en direct ou à la demande via ce lien.
Commentaires
Enregistrer un commentaire