Caractéristiques principales

  • Comprend les données de forme d’onde complète d’un LiDAR 3D flash solid-state
  • Accès gratuit fourni à des fins académiques et de recherche
  • 29 000 images dans 97 séquences, avec plus de 1,3 million de cadres 3D annotés
  • Données d’une suite complète de capteurs pour véhicules autonomes
  • Divers environnements, conditions météorologiques et moments de la journée
  • API à code source libre et visualiseur de jeu de données

 

Aperçu du jeu de données PixSet

Pour atteindre les plus hauts niveaux d’autonomie, un des principaux défis rencontrés dans le développement de véhicules automatisés est d’exploiter les données de nombreux types de capteurs, dont chacun possède ses propres forces et faiblesses.  Les techniques de fusion de données de capteurs sont largement utilisées pour améliorer la performance et la robustesse des algorithmes de vision artificielle.  Des jeux de données comme PixSet permettent aux équipes de recherche et d’ingénierie d’utiliser des données de capteurs existantes pour tester et développer des logiciels de conduite autonome et réaliser des simulations, le tout sans avoir à assembler leur propre suite de capteurs et collecter leur propre jeu de données.

Le jeu de données PixSet contient 97 séquences pour un total d’environ 29 000 images obtenues au moyen de la suite de capteurs pour véhicules autonomes. Chaque image a été annotée manuellement avec des cadres englobants 3D sur les objets détectés. Les séquences ont été obtenues dans divers environnements et dans diverses conditions climatiques à l’aide d’un véhicule instrumenté (voir photo).

Enregistrées dans des zones urbaines canadiennes à haute densité, les scènes se déroulent dans des environnements urbains et de banlieue ainsi que sur autoroute, dans diverses conditions météorologiques (p. ex., temps ensoleillé, ciel couvert, pluie…) et d’éclairage (p. ex., jour, nuit, semi-obscurité…), et fournissent ainsi une grande variété de situations avec des données du monde réel pour la conduite autonome.

Leddar Car sensor fusion data capture with LiDAR Camera and Radar

Suite de capteurs

Ce nouveau jeu de données se distingue par l’utilisation d’un LiDAR flash avec un champ de vision horizontal de 180° et vertical de 16°, et l’inclusion des données brutes de forme d’onde LiDAR complète, en plus des habituels nuages de points des LiDARs mécaniques.

Les capteurs utilisés pour collecter le jeu de données sont énumérés ci-dessous. Montés sur une voiture, les caméras, les LiDARs et le radar sont placés l’un près de l’autre à l’avant de la voiture afin de minimiser l’effet de parallaxe.  Les antennes GPS de l’unité de mesure inertielle (IMU) sont placées sur le toit du véhicule.

  • LiDAR Leddar Pixell flash solid-state (1 x)
  • LiDAR à balayage mécanique, 64 lignes (1 x)
  • Caméras avec optique 90° (3 x)
  • Caméra avec optique 180° panomorphe ImmerVision (1 x)
  • Radar FMCW 77 à 79 GHz (1 x)
  • IMU fusionnée avec antenne GPS RTK

PointPillars a été implémenté sur PixSet et les résultats sont disponibles ici avec des métriques communes.

Leddar PixSet – Article Scientifique

 

Pour en apprendre plus sur les fondements du jeu de données Leddar PixSet, accédez à l’article technique (white paper) disponible en version anglaise.

 

 

Accéder au document

Exemples de données PixSet

Les images ci-dessous donnent un aperçu des diverses scènes et conditions environnementales du jeu de données, avec des exemples de données des caméras (à gauche) et du LiDAR à 64 lignes (à droite) ainsi que des cadres 3D.

L’exemple d’image ci-dessous provient du jeu de données qui montre les vues des caméras, les données du LiDAR solid-state, et les cadres de détection d’objets avec des annotations.

À propos du jeu de données

 

Le jeu de données contient 97 séquences et cumule plus de 29 000 images enregistrées dans différentes conditions d’éclairage et météorologiques.

The dataset contains 97 sequences, and cumulates more than 29k frames recorded in different lighting and weather conditions.

Une attention particulière a été portée à la synchronisation et au déclenchement des différents capteurs. Ceci pour permettre d’uniformiser le temps d’échantillonnage des différents capteurs et les portions de la scène, tout en minimisant les incohérences avec les objets dynamiques.

Les coordonnées des cadres 3D annotés sont fournies dans le référentiel Pixell, mais il est facile de les reprojeter dans le référentiel de n’importe quel autre capteur avec les matrices de calibration et l’API fournies.

Classes et étiquettes d’objets

22 classes d’objets sont définies dans le jeu de données (cliquer sur la flèche pour voir la description détaillée).

À chaque objet annoté correspond un ID unique, qui est commun d’une image à l’autre, ce qui permet le développement et l’analyse comparative d’algorithmes de suivi. De plus, pour chaque objet, des attributs complémentaires sont fournis, comme indiqué ci-dessous.

Tous les cadres d’objets ont une taille constante pendant la durée de la séquence, à l’exception des piétons, qui constituent un cas à part, leur forme pouvant varier d’une image à l’autre. La position des membres d’un piéton (bras et jambes) affecte la taille du cadre englobant.  Par conséquent, le fait de rendre la taille du cadre englobant variable résout ce problème, tout en permettant une plus grande précision pour l’apprentissage et l’inférence.

  • Piéton

      Généralement une personne qui marche, se tient debout, est assise, etc.  Un mannequin à apparence humaine est annoté comme piéton.  Les bras et les jambes de la personne sont inclus à l’intérieur du cadre englobant.  Si un piéton porte un objet (sac, etc.), ce dernier est inclus dans le cadre englobant.  Noter que si deux ou plusieurs personnes portent le même objet, ce dernier est inclus dans le cadre englobant d’un seul piéton.  De plus, chaque instance de piéton doit avoir l’attribut spécial « Activité humaine » comme expliqué plus bas.

  • Cycliste

      Un vélo avec son conducteur.  Le vélo et le conducteur sont tous les deux inclus dans le cadre.

  • Vélo

      Véhicule à deux roues, à propulsion humaine ou électrique, conçu pour se déplacer à des vitesses inférieures sur la chaussée, le trottoir ou une piste cyclable.  Aucun cycliste n’est présent sur le vélo.  Si un piéton marche à côté de son vélo, un cadre est prévu pour le piéton et un autre pour le vélo.

  • Support à vélos

      Zone ou dispositif destiné à garer ou sécuriser des vélos en rangée.  Comprend tous les vélos qui y sont garés, et tous les emplacements vides destinés à accueillir un vélo.  Les vélos qui ne font pas partie du support ne sont pas inclus, mais ils sont plutôt annotés comme vélos séparément.

  • Automobile

      Véhicule conçu principalement pour un usage personnel, p. ex., berline, voiture à hayon, VUS, camionnette personnelle (Ford F-150, par exemple), jeep, etc.

  • Fourgonnette

      Véhicule à quatre roues, plus grand, avec des portes latérales coulissantes.

  • Autobus

      Autobus et navettes conçus pour le transport de plus de dix personnes.  Pour les autobus articulés, chaque section est incluse dans un cadre séparé.

  • Camion

      Grand véhicule conçu principalement pour le transport de marchandises.  La totalité du véhicule et de son chargement sont inclus dans le cadre.  Si le camion comprend deux parties (p. ex., camion de grande longueur), chaque section est incluse dans un cadre séparé.

  • Remorque

      Toute remorque destinée à des automobiles, motos, camions, etc. utilisée pour déplacer des objets (indépendamment du fait qu’ils sont actuellement remorqués ou non).  La remorque et ce qu’elle transporte sont inclus dans le cadre.  Par exemple, dans le cas d’un bateau sur une remorque, le bateau est inclus dans le cadre.

  • Train

      Train ou tramway.  Chaque section rigide est incluse dans un cadre séparé.

  • Motocycliste

      Une moto avec son conducteur.  La moto et le conducteur sont tous les deux inclus dans le cadre.

  • Moto

      Véhicule à deux roues, à essence ou électrique, conçu pour se déplacer rapidement (à la vitesse d’une automobile standard) sur la chaussée.  Cette catégorie comprend toutes les motos, les vespas et les scooters.  Elle comprend également les véhicules légers à trois roues, souvent avec un toit en plastique léger et ouverts sur les côtés, comme on rencontre de plus en plus en Asie.

  • Véhicule ou engin de chantier

      Véhicules conçus principalement pour la construction.  Généralement très lents, voire stationnaires.  Les grues et les extrémités des véhicules ou engins de chantier sont incluses dans les annotations seulement si elles gênent la circulation.  Les camions utilisés pour le transport de roches ou de matériaux de construction entrent dans la catégorie des camions plutôt que des véhicules ou engins de chantier.

  • Véhicule non classifié

      Tout véhicule qui n’entre dans aucune des autres catégories.

  • Panneau d’arrêt

      Généralement un panneau d’arrêt octogonal rouge.  Le poteau n’est pas inclus dans le cadre.

  • Feu de circulation

      Ensemble de feux conçus pour la gestion de la circulation.  Comprend les feux destinés aux véhicules motorisés et non motorisés, comme les cyclistes et les piétons.

  • Panneau de signalisation

      Tout panneau rétroréfléchissant pouvant être utile pour la navigation.  Le poteau ou les publicités ne sont pas inclus dans le cadre.

  • Cône de signalisation

      Cônes or cylindres généralement utilisés pour la gestion temporaire de la circulation.

  • Borne d’incendie

      Tout type de borne d’incendie.

  • Animal

      Tous les animaux, p. ex., chats, chiens, etc.  (Pas les oiseaux de petite taille)

  • Barrière

      Toute barrière métallique, en béton ou autre mur d’eau temporairement placé dans la scène afin de rediriger la circulation automobile ou piétonne.  Comprend, en particulier, les barrières utilisées sur les chantiers de construction.  Si plusieurs barrières sont jointes ou placées les unes à côté des autres, elles sont annotées séparément.

  • Obstacle

      Tout objet sur la route qui n’a pas été mentionné plus haut et sur lequel il serait dangereux de rouler.

    TEXT

    TEXT

De plus, pour tout objet, des attributs complémentaires sont proposés comme suit (cliquer sur la flèche pour voir la description détaillée).

Tous les cadres d’objets ont une taille constante pendant la durée de la séquence, à l’exception des piétons, qui constituent un cas à part, leur forme pouvant varier d’une image à l’autre. La position des membres d’un piéton (bras et jambes) affecte la taille du cadre englobant. Le fait de rendre la taille du cadre englobant variable résout ce problème, tout en permettant une plus grande précision pour l’apprentissage et l’inférence.

  • ID de suivi

      Pour chaque objet, un ID persistant est inclus.

  • Occultation

      Les objets complètement occultés sont ignorés, et les objets partiellement occultés sont annotés autant que possible (voir aussi « Nombre de points » plus bas).  Les cadres occultés peuvent, également, être signalés.  En plus de la position, des dimensions, de l’orientation et de la catégorie pour chaque cadre, on peut avoir un nombre représentatif du niveau d’occultation.  Par exemple, un « 0 » signifie aucune occultation, « 1 » signifie que moins de la moitié de l’objet est occultée, et « 2 » signifie que plus de la moitié est occultée.

  • Troncature

      À ne pas confondre avec l’occultation, la troncature signifie qu’un objet est partiellement hors du champ de vision du LiDAR.  Tout comme pour l’occultation, le niveau de troncature peut être spécifié séparément.  « 0 » signifie que les 8 coins du cadre sont dans le champ de vision (occultés ou non).  « 1 » signifie que moins de la moitié du cadre est en dehors (c.-à-d., au moins un coin est hors du champ de vision, mais le centre du cadre est dedans).  Enfin, « 2 » signifie que plus de la moitié du cadre est hors du champ de vision (c.-à-d., le centre du cadre est en dehors, mais au moins un coin est dedans).

  • Activité humaine

      L’activité de chaque piéton peut être spécifiée comme suit :

      1. Assis ou couché : la personne est en position assise ou couchée.
      1. Debout : la personne se tient debout.
      2. Se déplace : la personne se déplace.
  • Activité du véhicule

      L’activité de chaque véhicule (y compris les automobiles, fourgonnettes, autobus, camions, trains, motocyclistes, cyclistes, remorques ainsi que les véhicules ou engins de chantier et les véhicules non classifiés) peut être spécifiée comme suit :

      1. En stationnement : le véhicule est stationné, sans intention de bouger. Généralement, ceci implique que le véhicule est sur le côté de la voie, ou dans un stationnement, sans conducteur au volant.
      1. À l’arrêt : le véhicule est temporairement à l’arrêt, prêt à se déplacer (p. ex., immobilisé à un feu de circulation).

      Se déplace : le véhicule se déplace.

  • Sur la route

      Pour chaque objet, l’indicateur « Vrai » ou « Faux » spécifie si l’objet se trouve sur la zone carrossable, celle-ci étant définie comme la zone de la chaussée où la circulation des véhicules est permise (c.-à-d., dans la plupart des cas, l’asphalte).  Par contre, ceci exclut les stationnements, ainsi que les allées privées d’immeubles.  Noter que cet attribut sera utile durant l’apprentissage et les tests, puisque les objets avec l’attribut « Sur la route » = « Vrai » seront les plus importants à détecter.

  • Nombre de points

      Un objet sans points LiDAR peut être étiqueté pour autant qu’il ait été étiqueté avec plusieurs points à l’intérieur du cadre dans une image précédente.

    Details

API DAS à code source libre et visualiseur

 

L’API à code source libre fournit un accès facile aux jeux de données.  De nombreuses méthodes de développement d’algorithmes habituelles sont disponibles : synchronisation ou interpolation des capteurs, compensation du mouvement propre du LiDAR, projection des données dans un référentiel spécifique (n’importe quel capteur ou référentiel mondial), nuages de points du Leddar Pixell ou projection « quad cloud », alignement des formes d’onde, gestion des annotations (cadres 2-3D et segmentation) et autres.

Vous pouvez installer l’API au moyen de pip install pioneer-das-api ou cloner le projet et contribuer.

Sur la base de cette API, nous fournissons également un visualiseur de jeu de données à code source libre : pip install pioneer-das-view.

Conditions d’utilisation

 

Veuillez lire le Contrat de licence d’utilisation de jeu de données public. Les jeux de données sont fournis à des fins non commerciales, ce qui signifie qu’ils peuvent être utilisés à des fins de recherche, d’enseignement, de publication scientifique et d’expérimentation personnelle. Pour l’usage commercial des jeux de données, ce qui signifie dans un objectif visant principalement un avantage commercial ou une compensation monétaire, veuillez communiquer avec un représentant LeddarTech.