5XID0 Nature-inspired control. Marc Geilen Sander Stuijk. Eerste 3 collegeweken: laatste vijf weken: project, nadere informatie volgt

Transcriptie

1 5XID0 Nature-inspired control Marc Geilen Sander Stuijk Eerste 3 collegeweken: maandagmorgen 8.45: kick off weekopdrachten (Laplace 1.105) donderdagmiddag 15.45: afronding weekopdracht (Laplace 1.105) laatste vijf weken: project, nadere informatie volgt

2 Voorbereidende lab sessies Programmeerbare robotjes Draadloze communicatie met Zigbee Sensoren en actuatoren Augmented reality / 3D Emergent behaviour Brein computer interface

3 organisatie werken in gemengde teams met gemengde expertise en niveaus. zorg dat je individueel leert van de oefeningen! Twee opdrachten per week, te verdelen binnen het team naar competentie (niet alleen dat doen waar je goed in bent!) Tijdbesteding: 5ects, ongeveer 16u/w Elke donderdag, korte presentatie / demonstratie zorg dat je goed voorbereid bent

4 organisatie wekelijks per team kort verslag over ontwerp en realisatie en korte *individuele* reflectie van elk teamlid over haar/zijn bijdrage en eigen ontwikkelingen uiterlijk vrijdag van de betreffende week opsturen per e mail naar: m.c.w.geilen@tue.nl en s.stuijk@tue.nl

5 evaluatie Verslagen/reflectie voorbereidende projekten, 30% Eindverslag en reflectie 70%

6 Deze week: Admoveo + 3D virtual reality

7 Sensoren Infrarood afstandsensoren voor, links en rechts Lichtsensoren twee lichtsensoren (LDR) aan de voorkant links en rechts Geluidsensors twee microfoons Lijnvolger twee infrarood sensors naast elkaar meten reflectie op de vloer

8 Actuatoren Motoren Twee afzonderlijk in richting en snelheid bestuurbare DC motoren. Geluid Een kleine buzzer Licht RGB LED in het chassis Communicatie 1 USB seriële communicatie met een pc Communicatie 2 Xbee draadloze communicatie over Zigbee netwerk

9 Programmeren Atmel Atmega 328 Arduino duemilanove Via de Arduino softwareomgeving Programmeertaal: C( achtig)

10 Draadloze Communicatie (nog niet nodig deze week) Zigbee module XBee

11 Opdrachten installatie programmeren Admoveo onder de knie krijgen testen van sensoren en actuatoren oefening demonstratie / wedstrijdje

12 installatie volg de installatiehandleiding op laad de batterijen op software: download alle bestanden van onze webpagina

13 test sensoren en actuatoren gebruik testprogramma s van website bestudeer hoe sensoren en actuatoren te gebruiken vanuit Arduino software test hoe (goed) de sensoren of actuatoren werken

14 mogelijke oefening laat de robot rondrijden, sturen terugdeinzen wanneer er iets of iemand voor hem staat (afstandssensoren)

15 wedstrijdje autonome voertuigen de juiste weg: witte lijn (schilderstape) volgen op donkere grond (zie de vloer), lijn kruist zichzelf niet twee robotjes mogen niet botsen: afstand houden zo snel mogelijk, tijd van tweede voertuig telt bonus: startschot door handenklap programma opsturen source code + korte beschrijving via e mail: m.c.w.geilen@tue.nl en s.stuijk@tue.nl Zorg dat de batterijen opgeladen zijn!

16 (Augmented Reality) 3D Virtuele Realiteit

17 Virtual en Augmented Reality

18 Virtual en Augmented Reality

19 Augmented Reality

20 Wat achtergrond, 3d rendering

21 3D Modelling Punten en driehoeken Een mesh Rendering Transformaties Projecties GPUs, simpele, uniforme operaties

22 coordinatensysteem XY scherm, Z van scherm naar je toe Google Sketchup: X,Y grond, Z vertikaal omhoog

23 transformaties Translatie Rotatie Projectie

24 Translatie Verplaatsing x y z x y z a b c als matrix vermenigvuldiging: ax x a b y y b cz z c

25 Rotatie Rotatie om de Y as met hoek φ x y z 1 xcosφ y zcosφ 1 zsinφ xsinφ cosφ 0 sinφ 0x xcosφ zsinφ y y sinφ 0 cosφ 0z zcosφ xsinφ

26 Schaling Schaal x, y, zmet factor s x y z 1 s x sy s z 1 s 0 0 0x sx 0 s 0 0 y sy 0 0 s 0z sz

27 Rotatie en Translatie Eerst rotatie met matrix M φ Dan schaling met matrix M s Dan translatie met matrix M v => vermenigvuldiging met: M v M s M φ (Let op in de software zijn vectoren rijvectoren en is het andersom: M φ M s M v )

28 Projectie Camera op positie [x,y,z] kijkend naar [a,b,c], met bepaalde field of view, brandpuntsafstand lens Ook lineaire tranformatie > matrix

29 transformaties World Matrix Object naar wereld, translatie, rotatie, schaling (, animatie) View Matrix Wereld naar camera, translatie, rotatie Projection Matrix camera naar scherm, FOV, 3D naar 2D Eenvoudige functies om matrices te maken Zie code voorbeelden Voorwerp eigen coordinaten 3D World Wereld Absolute coordinaten 3D View Wereld relatieve coordinaten camera 3D Scherm coordinaten 2D Projection

30 rendering Ray tracing, hoge kwaliteit, langzaam Polygonen, lagere kwaliteit, maar snel Driehoekje voor driehoekje Z buffer, geeft aan of nieuw de driehoek zichtbaar is of niet Belichting, materiaal, enz. Gedaan door gespecialiseerde GPUs, maar toch vaak bottleneck

31 Interactie Beweging, animatie, physics Interactie, collission detection Externe input/output

32 implementatie Initialisatie Loop begin DrawFrame() InputOutput() Update(deltaT) Loop end

33 XNA Game Studio (XNA s Not Acronymed) Eenvoudige ontwikkelomgeving Xbox PC + Windows Phone Visual Studio (Express) C#, soort C++/Java, maar dan anders, automatisch geheugen management: garbage collection, gebaseerd op Microsofts.NET Veel hulp / tips / documentatie / voorbeelden op internet

34 XNA Game Studio Leer van voorbeelden Afgeleide van de klasse Microsoft.Xna.Framework.Game Initializatie Initialize() LoadContent() Update(GameTime gametime) Draw(GameTime gametime) Methodes om eenvoudig tranformatiematrices te maken: Matrix.createTranslation(a, b, c)

35 C# C / C++ / Java achtige programmeertaal Object georiënteerd Leer van voorbeelden en van collega s.net framework

36 3D modellen DirectX (.x) bestandsformaat Google Sketchup 2013, sketchup.google.com Gebruik Simple Template Meters 3D modellen: sketchup.google.com/3dwarehouse/ Voor gevorderden: (Textures: alleen vierkante, machten van twee?) Blender (geen support!)

37 Installatie 1. Installeren van de software Windows Phone SDK 7.1 Visual Studio Express for Windows Phone XNA 4.0, Google Sketchup Make 2013,.x export plugin Volg de instructies op de website Probeer niet Windows Phone SDK 8.0 te installeren. Deze ondersteunt XNA niet meer

38 Installatie 2. Open de frog solution in Visual Studio Express 3. Bekijk ook het HighRoller project in Visual Studio Express

39 Oefeningen Bestudeer de gegeven code, probeer te begrijpen hoe het werkt. Maak kleine wijzigingen Voeg andere 3D modellen toe of vervang de bestaande modellen door je eigen modellen Krijg onder de knie hoe de orientatie en afmetingen zich verhouden tussen Sketchup en XNA Leer hoe je je eigen modellen toevoegt aan je XNA project Voeg (simpele) collision detection toe Voeg bijv. aan HighRoller collission detection toe, zodat de admoveo niet meer door de blokken heen kan bewegen. Animeer de camera Laat de camera bijv. één van de objecten in het spel volgen.

40 Eindopdracht Maak een eenvoudig 3D spel in XNA Game Studio Bijvoorbeeld door een 2D klassieker te nemen en opnieuw te maken in 3D Geef een korte presentatie/toelichting op je spel en laat iemand van een ander team spelen

41 meer informatie onoplosbare problemen: Sander Stuijk, Marc Geilen

42 groepsindelingen Team 1 Dings D.L.M. (Daan) Koenders J.T.W. (Jesse) Pijnenborg D.H.G. (Daniël) Vries G.G. de (Guus) Wolters E.J. (Eric) Team 2 Borges E Souza M. (Mariana) Heck F.J.M. (Frank) Jager R. de (Robbert Jan) Ummelen A.R.A. (Alex) Lokalen Team 1: PT6.10 Team 2: PT6.11 Nu, PT9.10, ophalen materiaal per team bij Sander Stuijk