Hardware CPU 2 EAVISE

Transcriptie

1 - VISION

2 Hardware CPU 2

3 Hardware GPU 3

4 Hardware Jetson 4

5 Object Detection Classification 3D Sensors 5

6 Object Detection 6

7 Object Detection 7

8 Object Detection 8

9 Classification 9

10 Classification 10

11 Classification 11

12 3D Vision 12

13 Sensors 13

14 Sensors 14

15 Sensors 15

16 Sensors 16

17 Sensors 17

18 - VISION

19 Pruning for fast object detection Huidige trend DL technieken is om steeds grotere netwerken te maken Met pruning kan men deze netwerken terug kleiner maken met een minimaal verlies aan accuraatheid Real-time embedded applicaties Doel: Het vergelijken en implementeren van verschillende pruning technieken op object detectoren Kan jij de snelste detector maken? Begeleider: Ing. Tanguy Ophoff 19

20 Interpretable object detection Welke pixels hebben ertoe geleidt dat een detector hier een olifant detecteert? Het kunnen interpreteren van DL modellen blijft nog steeds een open kwestie. Er is al reeds onderzoek gebeurt naar interpretatie van classificatie netwerken Doel: Het uitbreiden van deze interpretatie technieken voor het probleem van object detectie Begeleider: Ing. Tanguy Ophoff 20

21 Adversarial patches Generating adversarial patches to fool computer vision. Continuation of master thesis by Simen Thys. Resulted in paper to be presented at a CVPR workshop in Long Beach, California ( Been in the news a lot. Two separate proposals: Generating adversarial examples: How hard is it to break our detectors? Can we build in more robustness? Render patches in 3D, pattern over complete T-shirt, robust against multiple detectors... Generating adversarial examples: Can we steel someone's identity, how hard is it to break person recognition? How vulnerable is person recognition (re-id) against these attacks? Promoter: Wiebe Van Ranst (contact: wiebe.vanranst@kuleuven.be) 21

22 Study on automatic machine learning Recently efforts have been made to automate the design of neural network architectures (Google s AutoML, autokeras). How well do these tools compare against hand crafted architectures? Goal: Comparison between hand crafted architectures and AutoML framework. Current systems optimize for accuracy, can we optimize to use hardware more efficiently? Promoter: Wiebe Van Ranst (contact: wiebe.vanranst@kuleuven.be) 22

23 Crowd Counting Tellen van object met behulp van CNN om metadata te verzamelen. Doel: Een alternatief voor object detection gebasseerd tellen onderzoeken. Contact: ing. Timothy Callemein Promotor: prof. Toon Goedemé 23

24 Development of a detection and decision support system for weed control performed by an unmanned vehicle in maize CIMMYT focuses on improving productivity of wheat and maize farming systems for the developing world Development of an autonomous vehicle for weed control Goal: detect and identify different weeds in a maize stand in the Mexican Altiplano Note: includes internship at CIMMYT in Mexico Promotor: prof. Patrick Vandewalle dr. Jelle Van Loon (CIMMYT) Image source: T. Bakker et al, An autonomous weeding robot for organic farming, Proc. FSR,

25 Object detection and 3D localisation using a stereo camera Understanding of the environment is needed for many applications (autonomous vehicles, automation, etc.) Stereo cameras offer both visual features and 3D information Goal: detect objects in stereo images and localize them in 3D space Promotor: prof. Patrick Vandewalle 25

26 Kennisbanksysteem voor de examenregeling van ISP-studenten Kennisbanksysteem Input: voorwaarden waarin oplossing moet doen Output: oplossing (wordt automatische berekend!) Bv. IDP-systeem van KU Leuven: Doel: Gebruik IDP om (individuele) examenroosters op te stellen Promotor: Herman Crauwels, Begeleider: Kylian Van Dessel 26

27 Vergelijkende studie van voorkeuren in declaratieve systemen Kennisbanksystemen hebben vaak nood aan optimisatie Niet bereken examenrooster, maar bereken zo goed mogelijke examenrooster Wat bekent zo goed mogelijk? Doel: Onderzoek verschillende manieren om voorkeuren weer te geven en vergelijk op verschillende concrete case studies: EHBO-permanentie, shiften van artsen, productconfiguratie Promotor: Joost Vennekens, Begeleider: Kylian Van Dessel 27

28 Energiezuinig bouwen : Een maatschappelijk relevant kennisbanksysteem Het gebruik van declaratieve kennisbanksystemen is aangewezen wanneer je rekening moet houden met complexe regels. EPB regelgeving is hiervan een voorbeeld. De EPBregels veranderen bovendien elk jaar Doel: het bouwen van een applicatie die je informeert over de te volgen EPB regelgeving Promotor: Joost Vennekens, Begeleider: Marjolein Deryck 28

29 Deep learning to improve metal recycling Bestaande sorteer technieken: XRF, magnetisch, LIBS, Verbetering mogelijk met object classificatie van optische beelden? kleur, vorm, textuur, reflectie, Verzameling data: industriële camera opstelling met transportband beschikbaar Training neuraal netwerk: individueel vs. combinatie beelden (met deep fusion) Evaluatie: snelheid, accuraatheid, impact combinatie beelden/type beeld Roestvrij staal Doel/focus van thesis: evaluatie van de resultaten! i.s.m, Galloo, Redwave, Swerim: Koper Bezoek onderzoekscentrum Swerim (Luleå, Zweden) mogelijk! Interesse? Contact: Schroot RGB, 3D, Messing [1] 29

30 Tellen en classificeren van weggebruikers op minimale hardware Telraam.net : community science project voor fijnmazig opmeten van verkeersdrukte in straten: voetgangers fietsers auto s zwaar vervoer Raspberry Pi + camera bevestigd aan raam Online platform met alle telgegevens Doel: Verbeteren software voor detectie van weggebruikers met deep learning netwerk. Constraint: moet real-time draaien op CPU van RPI. Promotor: prof. Toon Goedemé 30

31 Identificeren van koeien en varkens Meer maatschappelijke aandacht voor manier waarop vee leeft Monitor gedrag: Stress, voldoende eten, Manueel, tijdrovend Doel: automatische detectie / herkenning van individuele dieren voor gedragsanalyse Promotor: prof. Toon Goedemé 31

32 DEVELOPMENT OF A GAME OVERLAY USING COMPUTER VISION BASED DEEP LEARNING TO ANALYZE CARD GAMEPLAY Onderzoek naar cognitieve performance van mensen door middel van gameplay (card-games) en het extraheren van biomarkers. Microsoft Sollitaire collectie Volledige automatische analyse van spelverloop, fouten, tijdsverloop, volgen regels, DOEL: er bestaat een basis implementatie via OpenCV via een voorgaande masterproef Momenteel klassieke beeldverwerking Uitbreiden / verbeteren met deep learning Uniforme analyse bibliotheek over spelvarianten 1 of 2 studenten mogelijk mogelijks volgen traject GroepT Promotoren: prof. Vero Vanden Abeele dr. ir. Steven Puttemans ir. Karsten Gielis 32

33 Deep learning on FPGA for person detection Persoonsdetectie kent vele toepassingen, maar vaak tijdscruciaal (bv. traffic safety) Huidige algoritmes: Deep learning-based: accuraat maar rekenintensief, maakt vaak gebruik van (embedded) GPUs Vaak power/weight constraints (bv. UAVs) Doel: deep learning accelerator in FPGA bouwen: Studie naar bestaande DL accelerator designs Hardware-software co-designopbouwen Xilinx Zybo Z7-20 met Pcam5 module Promotor: Kristof Van Beeck A210) 33

34 Optimizing convolutional neural networks through weight quantization for fast inference on FPGAs Quantization to speed up inference What can be done to compensate for accuracy loss? Calibration Quantization aware training Promotor: Ing. Maarten Vandersteegen 34

35 Thermal-visible image registration using local features Finding correspondences between visible and LWIR images without using a calibration rig Can this be done in a scale invariant way? Purpose: preprocessing for multispectral object detectors (not part of the thesis) Promotor: Ing. Maarten Vandersteegen 35

36 - VISION