Doorways è un progetto su commissione realizzato per la Fondazione G. e D. De Marchi ONLUS ed i bambini che sono in terapia nell'ospedale pediatrico in cui lavorano i volontari dell'ente, presentato come Progetto di Tesi per il conseguimento della Laurea nei Corsi Triennali in CG Animation e Media Design.
Si tratta di un accattivante gioco portatile a fruizione singola che, grazie all’utilizzo combinato di realtà aumentata e installazioni fisiche e interattive, contribuisce allo sviluppo sensoriale, cognitivo ed emotivo dei piccoli fruitori. Attraverso esperienze divertenti e stimolanti, i bambini sono portati a compiere intuitivamente azioni che normalmente eseguirebbero guidati dai terapisti e riescono così a stimolare i canali sensoriali in un modo nuovo e più divertente.
Target
Per coinvolgere il maggior numero dei piccoli pazienti della Clinica, il target di riferimento che abbiamo scelto va dai primi anni delle elementari (8 anni) fino ai primi delle medie (12 anni). Abbiamo selezionato questa fascia perché secondo noi riassume al meglio le diverse sfaccettature che possiede l’esperienza proposta all'interno della Game App, ed è in grado più facilmente di raggiungere anche ragazzi un po’ più grandi o bambini un po’ più piccoli.
La missione della Fondazione G. e D. De Marchi, infatti, non è quella di curare una specifica malattia, ma di accompagnare ognuno dei bambini/ragazzi lungo il percorso di guarigione, andando a toccare con mano il dolore di ogni paziente, generato da patologie e contesti diversi, ma comune a tutti.
Svolgimento del gioco
All'interno della valigia è presente la mappa di Doorways e ogni mondo da visitare è rappresentato da un diorama del luogo che si andrà a visitare. Qui, una pedina con le sembianze di Fantaso si muove lungo un percorso inciso nel tabellone per raggiungere di volta in volta il nuovo capitolo della storia.
Tramite l’applicazione sul telefono è poi possibile vedere gli elementi in realtà aumentata specifici del mondo sul quale il pedone è posizionato.
Obiettivo finale
L’obiettivo del gioco è aiutare il gigante Fantaso a recuperare tutte le note della trombetta che sono andate perdute dopo uno scherzo organizzato dai suoi fratelli.
Le note sono 7 e sono posizionate in diversi punti dello svolgimento del gioco. Il ritrovamento di quattro note è subordinato alla risoluzione di alcuni problemi all'interno dei mondi da visitare, per le altre tre invece è stato deciso di farle trovare al bambino come gratificazione in determinati momenti dell'avventura.
Realizzazione dei modelli 3D dei personaggi
Per la realizzazione dei protagonisti della storia abbiamo chiesto ai bambini in cura di mostrarci come si immaginavano il Pirata, la Fata, l'Inventore ed il Sognatore. Dai loro disegni sono stati creati dei concept basati su personaggi simili, presi soprattutto da film di animazione, fumetti e libri per bambini, estrapolando da questi i caratteri che più di tutti potessero creare immediata simpatia e affetto. Da questo, quindi, sono nate tutte quelle caratteristiche che rendono unico ognuno di loro, come le orecchie grandi e a sventola del gigante, l'ala morsicata della Fata e gli occhi bicolore del Sognatore.
I modelli 3D dei protagonisti è stato poi creato grazie all'utilizzo dei software ZBrush e Maya.
Per realizzare le animazioni dei personaggi abbiamo utilizzato reference di pose, tramite anche disegni 2D, come per la corsa del topo, e azioni seguendo lo stato d’animo dei nostri personaggi, rendendo i gesti armoniosi, fino ai più piccoli dettagli. Fantaso, per esempio, è un personaggio sbadato e fisicamente ricorda una pallina, quindi ci siamo sbizzarriti ad esagerare alcune pose e movimenti. Inoltre, essendo il personaggio protagonista, deve entrare in empatia con il giocatore e, per questo motivo, in molte animazioni tende a porgersi verso il giocatore. Per rendere i gesti sinuosi è stato utilizzato il tool Motion Trail di Maya. Per il lip-sync, invece, ci siamo basati su registrazioni audio fatte da noi e poi doppiate da A.D.A.P. Ed infine, per le animazioni dei balletti conclusivi, ci siamo avvalsi della mocap, pianificando i movimenti ed impersonando i nostri personaggi svolgendo il ruolo di attori.
Fantaso deve il suo nome ad un dio della mitologia greca, da cui prende, oltre che il nome, anche il ruolo di portatore di sogni e creatore di realtà immaginifiche. Egli è, infatti, il cicerone della nostra storia, colui che porta il giocatore a conoscere mondi nuovi e fantastici e facendolo sognare grazie alla musica della propria trombetta.
È un gigante buono che abita, insieme ai suoi fratelli, in una caverna ai confini dei quattro mondi, sulle sponde dell’Oceano Ovest, sempre dritto verso il tramonto. È caratterizzato da indole allegra, è molto goffo e ha una parlata buffa e sgrammaticata.
Nonostante sia molto alto, risulta piccolo rispetto alla media della sua specie e questo lo rende facile bersaglio per gli scherzi dei suoi crudeli fratelli. Ha uno spettinato ciuffo di capelli sulla fronte, una folta barba rossiccia e orecchie decisamente sproporzionate rispetto alla testa. Il suo fisico panciuto e tondeggiante e le grandi mani gli donano un aspetto impacciato e bonario. Indossa sempre abiti dalle maniche lunghe e una grossa sciarpona di lana, per proteggersi dalle fredde correnti oceaniche e dalle intemperie che incrocia durante i suoi viaggi, nei quali ama portare allegria suonando la propria trombetta e girovagando spensierato per i mondi.
Un omone alto e magro una folta barba rossa.
È il capitano dei pirato dell’arcipelago delle Tartarughe, oltre il Gorgo del terrore.
È sempre accompagnato dal suo fido amico pappagallo Rhum
Ha una benda sull’occhio e una bandana sulla testa, indossa il gesso sulla gamba destra e per questo usa una stampella per reggersi in piedi.
Appare come un uomo fiero e un po irascibile.
Una piccola fatina sognatrice. Le piace girovagare tra i fiori ed ascoltare le storie delle altre fate.
Indossa vestiti dai colori sgargianti, che fanno trasparire la sua vitalità e felicità, e delle leggiadre ali piene di polvere fatata.
Al contrario delle altre fate, lei si ostina a tenere i capelli corti e rossi ed invece di ascoltare i suoni della natura preferisce volare di qui e di là con le sue
cuffie, che ha sempre al collo.
La sua caratteristica unica è la sua ala, morsicatagli durante una delle sue avventure. Questa sua ‘mancanza’ la rende ancora più speciale e riconoscibile tra le altre fate.
Un buffo robot simpatico con una testa a forma di televisore.
Purtroppo soffre di memoria a breve termine e molto spesso si scorda cosa stesse facendo un attimo prima.
Ha una lampadina al posto della mano sinistra che lo aiuta ad illuminare gli oggetti che gli servono per le sue invenzioni.
La sua faccia è uno schermo che cambia a seconda del suo umore.
Il sognatore appare come un gatto umanizzato. È il guardiano della tribù dei Miao: un popolo di gatti sonnecchiosi e coccoloni.
Si presenta con una grande tunica e un cappellone che gli copre quasi il muso.
Nonostante sia da solo, riesce ad amministrare perfettamente l’arduo compito di vegliare sui sogni di tutti i suoi popolani.
Si occupa inoltre di scacciare i malvagi ratti mangiasogni, che approfittano santuariamente della grande presenza di sogni creando scompiglio nel
mondo.
Ha un buffo musone sui cui è presente una cicatrice perenne, lasciatagli da uno dei ratti durante uno dei loro attacchi. La sua forma tondeggiante gli dà un aspetto goffo e simpatico.
I mondi di gioco
Ad ogni personaggio abbiamo associato un proprio mondo, accessibile tramite una porta posta al suo ingresso. Ogni porta contiene un piccolo minigioco/indovinello che il giocatore dovrà risolvere per poterla aprire e, quindi, accedere al mondo che essa custodisce.
La realizzazione di questi mondi ha una forte valenza simbolica, in quanto rappresentano l’interiorità dei personaggi, ognuno dei quali è portato, a causa di problemi di diversa natura, ad isolarsi e chiudersi in sé stesso, senza riuscire a comunicare il proprio disagio.
Il compito del giocatore è quindi quello di riuscire a varcare la soglia di questi mondi, rappresentata metaforicamente dalle porte, divisori tra il mondo esterno e l’interiorità del personaggio. I mondi sono disposti lungo un percorso predefinito e i minigiochi contenuti al loro interno crescono gradualmente di difficoltà.
Il primo mondo esplorabile è quello del Pirata. La porta da aprire presenta al centro un timone, elemento da ruotare in una determinata sequenza suggerita tramite delle incisioni sul retro della porta stessa per poter varcare la soglia.
Il mondo è un’isola in mezzo all’oceano, nella quale è approdato il vascello del Pirata. In giro per l’isola sono nascoste delle medicine che il giocatore dovrà trovare e consegnare al Pirata per curare la sua gamba. Una volta aiutato, il Pirata consegnerà al giocatore la chiave per liberare il suo amico pappagallo, Rhum, e ottenere la nota musicale del mondo.
Una volta raggiunta la seconda casella, il bambino vedrà davanti a lui un fiore appassito. Per aprire la porta per il Mondo delle Fate il giocatore dovrà soffiare sul microfono del proprio telefono. Questa azione rinvigorirà il fiore, e farà crescere ai suoi lati due tronchi d’albero che andranno a comporre un portale magico per il mondo.
Il Mondo delle Fate è costituito da delle isole fluttuanti. Per aiutare la Fata il giocatore dovrà ridare vita al mondo, il quale ha perso tutti i suoi colori, ottenendo delle rune magiche che una volta mischiate all’interno di un calderone ridaranno colore a tutto il mondo.
Per oltrepassare la porta del Mondo degli Inventori, il giocatore dovrà completare un puzzle, risolvibile riordinando i vari pezzi fino ad ottenere una lampadina elettrica.
Il Mondo degli Inventori è un laboratorio, pieno di macchinari di ogni tipo. Per ottenere la nota di questo mondo il giocatore dovrà ritrovare diversi ingranaggi in giro per il mondo, entro un determinato periodo di tempo, e poi utilizzarli per riparare l’Inventore.
La porta dell’ultimo mondo rappresenta simbolicamente il giorno e la notte. Inizialmente la porta risulterà chiusa, in quanto giorno. Per aprirla il giocatore dovrà far scorrere il tempo ribaltando una clessidra nascosta dietro la porta. Lo scorrere del tempo trasformerà la porta da giorno a notte, permettendo al giocatore di accedervi.
Il Mondo dei Sognatori è un castello sospeso tra le nuvole. Si tratta di un dormitorio dove il Sognatore vive e custodisce i sogni. Il mondo è infestato dagli incubi, che sotto forma di ratti mangia-sogni, stanno minacciando i sogni dei bambini. Per aiutare l’abitante del posto, il giocatore dovrà dapprima ottenere una mascherina da notte, ed inseguito, utilizzando un piccolo martello fisico, catturare i ratti e porre fine all’infestazione.
Gli oggetti della valigia
Tutte le nostre installazioni interattive sono il frutto della tecnologia del D1 Mini, una scheda compatta basata sul micro controllore Wi-Fi ESP8266 ESP-12F che monta i diversi sensori. Per programmare e far funzionare ogni modulo, di cui è corredata ogni installazione, abbiamo utilizzato Arduino IDE, ovvero un software multipiattaforma.
I dati generati da quest’ultimo passano prima per un broker MQTT (un protocollo ISO standard di messaggistica leggero di tipo publisher-subscriber) e poi vengono gestiti dai software NodeRED (strumenti di sviluppo basati sul flusso per la programmazione visiva) e da Unity (motore grafico multipiattaforma che consente lo sviluppo di videogiochi e altri contenuti interattivi).
La trombetta di Fantaso è stata stampata in polvere secondo un modello 3D realizzato da noi, seguendo le linee guida stilistiche della storia.
Al suo interno abbiamo posto 7 pulsanti, ognuno dei quali aziona una melodia differente, disponibile solo in seguito al raccoglimento della nota corrispondente.
Per controllare le melodie ci siamo serviti di un dfplayer che contiene al suo interno tutte le tracce da suonare.
L’uscita audio di questa installazione è posta all’interno della valigia per coinvolgere maggiormente il bambino.
A collegare tutti i mondi troviamo una pedina raffigurante Fantaso. La parte del personaggio è stata stampata in resina in 3D.
Ad ogni cambio di mondo la pedina varia di posizione andandosi a posizionare in corrispondenza di un mondo sul tabellone di gioco.
Il movimento della pedina è controllato da un sistema di carrucola posto al di sotto del tabellone. Con un motore stepper e una cinghia dentata, siamo in grado di far muovere la pedina collegata al meccanismo con un’ostina di legno. Il motore stepper è un motore elettrico asincrono in corrente continua pulsata con gestione elettronica senza spazzole (brushless) che può suddividere la propria rotazione in un grande numero di passi (step). La posizione del motore può essere controllata accuratamente senza dover ricorrere al controllo ad anello chiuso (feedback) se la taglia ed il tipo di motore sono scelti in modo adeguato all’applicazione.
La durata della spinta è impostata su Node RED che ci ha permesso di calibrare con esattezza quanti giri far fare al motore assicurandoci che la pedina si trovi nella posizione corretta.
Se l’applicazione viene chiusa la pedina torna alla sua posizione iniziale, pronta per iniziare una nuova partita.
Nel Mondo dei Pirati la missione del bambino è quella di liberare il pappagallo, amico del capitano, dalla gabbia in cui è stato rinchiuso. Per fare ciò il bimbo deve girare una chiave situata nel tabellone.
A livello tecnico abbiano realizzato la chiave stampandola in resina in 3D e al di sotto del tabellone abbiamo realizzato una struttura di rame che, attraverso un contatto, riesce a rilevare quando la chiave viene girata. Una volta rilevato il contatto viene mandato un segnale mqtt a node red che in seguito viene recepito da Unity.
Nel Mondo delle Fate il bambino deve far sbocciare il fiore che al suo interno racchiude le rune del colore per riportare il mondo al suo originale splendore.
Per farlo il bimbo deve soffiare sul microfono del cellulare, innescando così l’apertura del fiore.
Il fiore è stato realizzato assemblando componenti stampati in resina in 3D e componenti di metallo saldati tra loro per comporre la struttura interna.
Il movimento dell’installazione è dato da un servomotore posizionato all’interno della base del fiore, ovvero il piedistallo che cela al suo interno tutti i componenti per il funzionamento.
Un servomotore è un particolare tipo di motore, generalmente di piccola potenza, che si differenzia dai motori tradizionali in quanto le sue condizioni operative sono soggette ad ampie e spesso repentine variazioni sia nel campo della velocità sia della coppia motrice. Il servomotore si deve adattare a queste variazioni con la massima rapidità e precisione. Può essere elettrico, pneumatico, idraulico.
Nel Mondo degli Inventori il bambino deve riparare il robot sgangherato. Per farlo il bimbo ha bisogno di un manuale di istruzioni, che troverà all’interno del mondo cercandolo con il suo cellulare. Una volta trovato il manuale, viene detto al bambino di seguire le istruzioni contenute nella seconda pagina in cui apparirà una sequenza di attrezzi da replicare toccando le card poste sulla parte superiore della valigia.
Per rilevare il tocco del bambino abbiamo lasciato aperte delle finestrelle sul rivestimento interno della valigia che lasciano passare dello scotch di rame. Attraverso un reticolo posto al di sotto del rivestimento, invisibile perché ben nascosto, abbiamo collegato ogni finestrella ad un pin dell’MPR121 che, essendo un sensore di prossimità, rileva il tocco e stabilisce poi se la sequenza è giusta o meno.
All’interno del Mondo dei Sognatori l’installazione con cui il bambino deve interfacciarsi è quella del martello scaccia-incubi.
I topi mangia sogni hanno invaso il mondo del sognatore quindi il bimbo per scacciarli dovrà utilizzare l’installazione interattiva del martello.
Questa installazione è composta da due elementi: un martello e dei dischetti sui cui appariranno in realtà aumentata i topi.
La parte fisica del martello è stata stampata in 3D con la resina. All’interno abbiamo posizionato, ben nascosto un sensore RFID.
Il sensore RFID è sostanzialmente costituto da tre elementi: il tag, composto da un chip e da una piccola antenna che lo contorna, una seconda antenna che colloquia con quella del tag per mezzo delle onde radio e un lettore che da una parte scambia informazioni, per mezzo dell’antenna con il tag mentre dall’altra si rivolge al sistema informatico a cui è collegato. Il tag passivo (in questo caso i nostri dischetti), spesso chiamato transponder o etichetta intelligente, ha come costituente principale un piccolo chip di silicio contornato da un’antenna, normalmente realizzata in rame, a cui è collegato e da cui riceve l’energia necessaria per operare quando è investito da un campo elettromagnetico della frequenza opportuna.
L’applicazione è una Game App realizzata con l’utilizzo di Unity 3D che si avvale della realtà aumentata, integrata nell'Engine grazie all'utilizzo del tool Vuforia, per mostrare gli ambienti di gioco.
Il suo utilizzo è strettamente legato alla valigia, in quanto il completamento dei quattro mondi immaginari è subordinato alla coesistenza di azioni digitali e azioni fisiche che arrivano all’app solamente grazie all’utilizzo di un server sono stati programmati diversi flussi di NodeRED che ci consentono di scambiare messaggi con le componenti harware e di avanzare quindi nello svolgimento dell’avventura.
Dovendo finire nelle mani dei bambini in cura presso la clinica, abbiamo cercato di creare azioni il più intuitive possibili, inserendo elementi grafici che aiutano il giocatore a comprendere cosa deve fare per poter avanzare e terminare l’avventura.
Per permettere a tutti i piccoli pazienti di giocare, l’applicazione è stata distribuita sia su Apple Store che su Google Play, così da renderli tutti indipendenti.
Attraverso l'utilizzo di immagini registrate come marker sul portale Vuforia, gli elementi digitali vengono visualizzati dal telefono nel momento in cui la fotocamera del dispositivo inquadra uno degli attivatori scelti per questo scopo.
A livello di GamePlay, dato che non tutti i bambini restano costantemente all’interno della struttura e che le pause tra una terapia e l’altra non sono poi così lunghe (ci hanno parlato di poche ore di svago ma tante di attesa, ad esempio durante le sedute di flebo), all’interno dell’app è stato inserito un sistema di salvataggio al termine di ogni mondo. In questo modo i bambini possono interrompere quando vogliono il gioco e, al ritorno successivo in ospedale, saranno in grado di riprendere da dove avevano interrotto per poter così terminare l’avventura. Per evitare che la pedina resti bloccata quando il bambino chiude l’app senza tornare al menu, è stato aggiunto un controllo che si attiva ogni volta che compie questa azione, permettendo alla pedina di tornare automaticamente all’origine.
GamePlay del gioco
Lavorare con i bambini ci ha portati a selezionare dei font senza grazie che richiamassero il cerchio, figura geometrica prediletta dai più piccoli nel disegni e nel momento del gioco.
Anche lo studio dei colori è stato basato su di loro. La scelta di utilizzare come tinte predominanti verde e giallo è dovuta al fatto che questi, sono i colori che meglio trasmettono vicinanza ai bambini.
• Il verde nello spettro percepibile dall’occhio umano si posiziona al centro e, per questo motivo, risulta essere quello che dà meno fastidio allo sguardo. Essendo molto comune in natura è anche il rappresentate più calzante per l’ambiente del Giardino delle Meraviglie.
• Il giallo è stato selezionato a seguito di ricerche condotte sul significato dei colori e dell’utilizzo che ne fanno i bambini nei loro disegni. Chi ama il giallo ha un impulso ad avvicinarsi agli altri, di uscire dai propri confini individuali Il suo utilizzo aiuta a sbrogliare i problemi e guida verso una soluzione alle preoccupazioni.
Elementi costitutivi della grafica sono sicuramente le foglie, la rappresentazione astratta del Giardino delle Meraviglie da cui ha avuto tutto inizio. Proprio per questo motivo, abbiamo deciso di inserirle sia nel design dell’app che come trama decorativa della custodia della valigia.
Il naming del progetto deve il suo nome all’arco d’ingresso del Giardino delle Meraviglie, porta immaginaria da cui iniziare l’avventura in realtà aumentata. Per crearlo sono stati unificati al suo interno gli elementi principali su cui si fonda il gioco: le note della trombetta, le porte che permettono al bambino di esplorare i quattro mondi e gli occhi dell’immaginazione e della fantasia.
Sound
Per realizzare le tracce audio delle voci dei nostri personaggi siamo stati aiutati da A.D.A.P - Associazione Doppiatori Attori Pubblicitari.
Dopo aver inviato una breve descrizione con esempi audio allegati per spiegare come ci immaginavamo le voci dei nostri personaggi, i doppiatori selezionati hanno magnificamente superato le nostre aspettative.
Il Sognatore è stato doppiato da Luca Bottale, Fantaso da Maurizio Desinan, il Pirata da Gianni Quillico, la Fata da Emanuela Pacotto, il pappagallo Rhum e l’Inventore da Renato Novara.
Noi studenti abbiamo avuto la possibilità di assistere alle registrazioni, in cui erano presenti anche Matteo Milani e Claudio Ridolfo, tramite videochiamata.
Durante questi incontri abbiamo cercato di aiutare i doppiatori ad interpretare al meglio i nostri personaggi, descrivendone lo stato d’animo e il carattere. Inoltre hanno rispettato, in modo esaustivo, i tempi delle registrazioni fatte, precedentemente da noi, sulle nostre animazioni e sono stati disponibili a produrre più prove audio per concretizzare le voci che ipotizzavamo appartenere ai nostri personaggi.
Tutti gli effetti sonori e le melodie che il bambino sente all’interno dell’applicazione e durante la fruizione delle installazioni interattive all’interno della valigia sono stati realizzati da alcuni ragazzi di seconda del Corso Triennale in Sound Design. Grazie alla loro collaborazione siamo stati in grado di animare dal punto di vista sonoro il nostro progetto. Per le uscite del suono utilizziamo rispettivamente gli altoparlanti interni del cellulare su cui gira l’applicazione e una cassa ben nascosta all’interno della valigia.
Abbiamo diversi tipi di suoni: l'ambientazione dei mondi, i suoni specifici di alcune interazioni dei vari minigiochi (fisiche per gli oggetti e digitali con l’app) e la melodia delle diverse note recuperate che confluisce nel suono prodotto dalla trombetta di Fantaso.
