Performances et validation des données (Telraam S2 et V1)

Performance des données et validation de Telraam S2

Alors que nous nous rapprochons de la sortie de notre Telraam S2, nous travaillons continuellement à l'amélioration de l'IA qui est responsable des comptages de trafic. Il s'agit d'un processus long et progressif, mais pour rester totalement transparents, nous souhaitons fournir quelques mises à jour sur les performances actuelles de la puce IA, même si elles seront améliorées avant et après la sortie initiale. Nous mettrons régulièrement à jour cet article pour vous tenir au courant de la validation des données S2.

🆕   Update 20/12/2022

Nous utilisons un outil de débogage pour tester tout type de changement que nous apportons au micrologiciel de la puce d'IA, qui peut émuler les performances du micrologiciel sur des fichiers vidéo simples (enregistrés avec, par exemple, une caméra GoPro). En guise de données d'entrée, nous avons rassemblé un ensemble de 12 courtes vidéos (2-6 minutes) couvrant diverses rues de Louvain, Bruxelles et Londres, allant des zones cyclables et piétonnes aux routes express à 2×3 voies, et représentant diverses conditions de trafic et de météo. Nous avons obtenu le nombre réel d'usagers de la route à partir de ces vidéos par comptage manuel, et nous avons utilisé l'outil de débogage pour obtenir les totaux qui seraient comptés par nos appareils S2.

En regardant les segments ensemble (dans la figure ci-dessus), nous pouvons voir que la performance est déjà très bonne. 874 objets ont été comptés par Telraam S2, alors qu'en réalité il y avait 870 objets, ce qui signifie que l'erreur sur le nombre total d'objets est de demi pour cent (ou que la précision est de 99,5%). Si l'on examine la précision par type d'usager de la route (dans la figure ci-dessous, graphique orange de l'échantillon complet), on constate des valeurs de précision de 90 % pour les poids lourds, 95 % pour les voitures et les camions légers, 90 % pour les vélos et les motos et 85 % pour les piétons.

Comme certains segments sont plus performants que d'autres et que diverses conditions peuvent entraîner des surestimations ou des sousestimations, nous avons également calculé la précision segment par segment, en faisant la moyenne des erreurs absolues sur les 12 segments et en les pondérant par le volume de trafic. Il en résulte des valeurs de précision égales ou supérieures à 90 % pour tous les modes, à l'exception des poids lourds et des piétons, mais le nombre total de ces objets est relativement faible dans notre échantillon, et les poids lourds souffrent d'un biais de détection qui reste à corriger, tandis que les piétons n'étaient présents en grand nombre que dans deux des 12 vidéos, dans les deux cas dans des situations très difficiles (groupes de piétons sur des trajectoires croisées), où nous ne nous attendons pas à ce que l'IA soit pleinement capable de détecter chaque objet.

Nous avons déjà identifié quelques domaines clés où nous voyons un grand potentiel d'améliorations supplémentaires avant même la sortie des appareils S2 et nous vous tiendrons au courant dans cet article de la FAQ.

Performance des données et validation du Telraam V1

Consultez le blogpost https://telraam.net/en/blog/precision-accuracy-and-validations-of-the-original-telraam-sensor