Ewaluacja eventu firmowego: jak mierzyć sukces i zbierać feedback

Z tego artykułu dowiesz się: dlaczego grę dla zespołu projektuje się od omówienia, a nie od planszy, jakie pięć typów reguł wymusza zachowania, które chcecie zobaczyć, co badania nad motywacją mówią o punktacji i nagrodach w takim formacie, jak zbudować rozmowę po grze, żeby przekładała się na pracę, i kiedy taniej wyjdzie kupienie gotowej gry niż projektowanie własnej.

W skrócie: Gra dla zespołu zaczyna się od zdania opisującego, co uczestnicy mają o sobie zobaczyć, a kończy na regułach, które to wymuszą. Odwrotna kolejność, czyli najpierw mechanika, potem szukanie sensu, daje format przyjemny i pusty. Punktacja jest narzędziem ryzykownym i często zbędnym.

Zamówienie brzmi: potrzebujemy gry na spotkanie zespołu sprzedaży, coś angażującego, na dwie godziny. Dostawca przysyła trzy propozycje z cenami, ktoś wybiera środkową, gra się odbywa, ludzie się dobrze bawią. Miesiąc później nikt nie potrafi powiedzieć, po co to było.

Inne zamówienie, to samo spotkanie: chcemy, żeby handlowcy zobaczyli, że przekazują sobie klientów bez kontekstu i że każde takie przekazanie kosztuje tydzień. Z tego zdania wynika już prawie cała gra: kilka zespołów, niepełna informacja, przymusowe przekazania między rundami, kara czasowa za brak notatki.

To jest cała różnica. Pierwsze zamówienie opisuje format, drugie opisuje to, co ma się wydarzyć w głowach uczestników. O tym, kiedy w ogóle sięgać po grę, pisałem w tekście o grze biznesowej zamiast szkolenia. Tu chodzi o to, jak ją zbudować.

Od czego zacząć, czyli co gra ma pokazać?

Od jednego zdania w formie obserwacji, którą uczestnicy mają zrobić sami. Nie od celu szkoleniowego, nie od tematu, nie od czasu trwania.

Różnica jest praktyczna. „Poprawa komunikacji w zespole" nie da się przetłumaczyć na reguły gry. „Chcemy, żeby zobaczyli, że przy presji czasu przestają pytać i zaczynają zgadywać" przekłada się od razu: skracamy czas rundy, ograniczamy liczbę pytań do prowadzącego, wprowadzamy koszt błędnego założenia.

Dobre zdanie startowe ma trzy cechy. Opisuje zachowanie, nie cechę. Jest na tyle konkretne, że da się je zaobserwować w sali. I jest niewygodne, bo gra, która potwierdza, że wszystko działa dobrze, nie jest nikomu potrzebna.

Dane, które się nie zgadzają

Tekst o projektowaniu własnych gier musi zacząć od uczciwego przyznania, czego nie wiemy. Badania, które mamy, dotyczą gier komputerowych i symulacji w kształceniu oraz szkoleniach. Metaanaliza Traci Sitzmann z Personnel Psychology z dwa tysiące jedenastego roku objęła sześćdziesiąt pięć badań, metaanaliza Pietera Woutersa i współautorów z Journal of Educational Psychology z dwa tysiące trzynastego roku podobny materiał.

Żadna z nich nie dotyczyła gry planszowej zaprojektowanej pod konkretny zespół przez zewnętrznego konsultanta. Przenoszę z nich warunki brzegowe, bo są zgodne i sensowne, ale nie mam dowodu, że działają tak samo przy planszy i ołówku.

Druga rzecz, która nie zgadza się z intuicją: Sitzmann sprawdzała hipotezę, że o skuteczności decyduje poziom rozrywki, i ta hipoteza nie znalazła potwierdzenia. Projektanci gier przeznaczają większość wysiłku na to, żeby gra była atrakcyjna, a dane mówią, że to nie jest oś, na której rozstrzyga się efekt.

Trzecia: przewaga gier malała, kiedy grupa porównawcza dostawała równie aktywną formę pracy. Jeśli projektujecie grę, a alternatywą jest dobrze poprowadzony warsztat z realnymi przypadkami, różnica może być mniejsza, niż wynika z budżetu.

Jakie reguły wymuszają zachowanie, które chcecie zobaczyć?

Reguła w grze robi to, czego nie zrobi żadna prośba prowadzącego: zmienia koszt zachowania. Pięć rodzin reguł wystarczy do zbudowania większości sensownych formatów.

Pięć mechanizmów i co każdy wydobywa:

• Niepełna informacja. Każda grupa wie coś, czego nie wiedzą pozostałe. Pokazuje, czy ludzie pytają, czy zgadują, i kto czuje się uprawniony do zadania pytania.
• Ograniczony zasób. Za mało czasu, pieniędzy albo ludzi na wszystkie zadania. Wydobywa sposób podejmowania decyzji i to, kto ustępuje pierwszy.
• Wymuszone przekazanie. Zadanie zaczyna jedna grupa, kończy druga. Pokazuje jakość przekazywania pracy, czyli miejsce, w którym realnie gubi się najwięcej.
• Opóźniona konsekwencja. Skutek decyzji widać dwie rundy później. Wydobywa myślenie krótkoterminowe, którego nikt o sobie nie przyzna wprost.
• Zmiana zasad w trakcie. Po drugiej rundzie zmienia się jeden warunek. Pokazuje, jak zespół reaguje na zmianę, i często jest najmocniejszym momentem całej gry.

Ostatni mechanizm bywa odbierany jako niesprawiedliwy i to jest jego zaleta. Reakcja na zmianę zasad w grze jest zwykle tą samą reakcją, którą zespół ma na zmianę celów w połowie kwartału, tylko łatwiej o niej rozmawiać, kiedy dotyczy planszy.

Co zrobić z punktacją i nagrodami?

Najczęściej: ograniczyć do minimum. Punktacja jest potrzebna, żeby gra miała rozstrzygnięcie, ale każdy punkt ponad to przesuwa uwagę z zachowania na wynik.

Metaanaliza Edwarda Deciego, Richarda Koestnera i Richarda Ryana opublikowana w Psychological Bulletin w tysiąc dziewięćset dziewięćdziesiątym dziewiątym roku, obejmująca sto dwadzieścia osiem eksperymentów, pokazała, że materialne nagrody obniżają motywację wewnętrzną do czynności wykonywanych wcześniej chętnie, a pozytywna informacja zwrotna działa odwrotnie.

W praktyce oznacza to trzy rzeczy. Nagroda rzeczowa dla zwycięskiej grupy zamienia grę w konkurs i część uczestników zacznie grać pod punkty, a nie pod zadanie. Ranking między grupami utrwala podziały w zespole, który ma współpracować. Najlepiej działa rozstrzygnięcie symboliczne plus informacja zwrotna od prowadzącego, opisująca, co każda grupa zrobiła inaczej. Szerzej o mechanice punktów piszę w tekście o grywalizacji w firmie.

Jak zbudować omówienie?

Omówienie projektuje się pierwsze, przed regułami, bo to ono jest produktem. Gra jest tylko sposobem na wytworzenie materiału do rozmowy.

Praktycznie wygląda to tak, że wypisujecie trzy pytania, na które chcecie usłyszeć odpowiedź po grze, i dopiero potem sprawdzacie, czy zaprojektowane reguły w ogóle wytworzą sytuacje, o których da się tak rozmawiać. Jeśli nie, zmieniacie reguły, nie pytania.

Sama rozmowa ma trzy poziomy i pomijanie środkowego jest najczęstszym błędem. Pierwszy: co się działo, fakty bez ocen. Drugi: co to o nas mówi, czyli nazwanie wzorca. Trzeci: gdzie to samo dzieje się w pracy i co z tym robimy. Bez drugiego poziomu trzeci zamienia się w listę dobrych intencji.

Czas: tyle, ile trwała gra. Przy dziewięćdziesięciu minutach rozgrywki od czterdziestu minut do godziny rozmowy. Jeśli w agendzie nie ma na to miejsca, gra nie powinna się odbyć.

Kiedy kupić gotową grę zamiast projektować własną?

Prawie zawsze, kiedy problem jest typowy, a zespół mały. Gotowe formaty dotyczące współpracy między działami, podejmowania decyzji przy niepełnej informacji albo zarządzania zasobem są dobrze zrobione i kosztują ułamek tego, co projekt na zamówienie.

Projektowanie własnej gry opłaca się w trzech sytuacjach. Kiedy proces w firmie jest na tyle specyficzny, że żaden gotowy format go nie odwzorowuje. Kiedy gra ma być używana wielokrotnie, na przykład we wdrożeniu nowych ludzi, i koszt rozkłada się na lata. Kiedy sama gra ma być nośnikiem treści marki, bo wtedy jej wartość wykracza poza jedno spotkanie.

Poza tymi trzema przypadkami różnica między gotowym a autorskim formatem rzadko odpowiada różnicy w cenie, bo o efekcie i tak decyduje omówienie.

Co policzyć po grze?

Pomiar jest tu trudniejszy niż przy szkoleniu, bo gra nie uczy treści, tylko wytwarza obserwacje. Mierzy się więc obserwacje i ich dalszy los.

Cztery pomiary:

• Liczba nazwanych wzorców. Ile konkretnych rzeczy o sobie zespół nazwał w omówieniu. Zero oznacza, że reguły nie wytworzyły materiału.
• Przypisane ustalenia. Ile z tych wzorców dostało konkretny następny krok z nazwiskiem.
• Powrót języka gry. Czy po miesiącu ktoś używa pojęć z gry, opisując realną sytuację. Najlepszy dostępny sygnał transferu.
• Rozkład udziału. Ilu uczestników faktycznie grało. Obie metaanalizy wskazują aktywne zaangażowanie jako warunek efektu, więc bierni obserwatorzy to zmarnowany budżet.

Trzeci wskaźnik jest najbardziej niedoceniany. Jeśli zespół po miesiącu mówi „znowu robimy trzecią rundę", to znaczy, że gra dała im nazwę na coś, czego wcześniej nie umieli nazwać, a to jest najtrwalszy efekt, jaki ten format potrafi zostawić. Jak zbudować pełny pomiar, opisuję w materiale o ewaluacji eventu firmowego.

Moja prognoza, oparta na danych i na tym, co widzę u klientów

Spodziewam się, że wartość będzie się przesuwać z mechaniki na prowadzenie. Dwa argumenty za. Pierwszy: mechaniki są łatwe do skopiowania i dostępne w gotowych zestawach, więc przestają być przewagą. Drugi: dane mówią, że o efekcie decyduje aktywność uczestnika i to, co dzieje się po grze, a jedno i drugie zależy od człowieka przy tablicy, nie od planszy.

Argument przeciw jest sprzedażowy. Planszę da się pokazać w ofercie i sfotografować w relacji, a jakość omówienia nie wygląda na zdjęciach. Dopóki formaty wybiera się z katalogu, część rynku będzie płacić za rekwizyty.

Zapamiętaj!

• Grę projektuje się od omówienia, potem reguły, na końcu mechanika i materiały.
• Zdanie startowe ma opisywać zachowanie, które uczestnicy mają u siebie zobaczyć, i ma być niewygodne.
• Niepełna informacja, ograniczony zasób, wymuszone przekazanie, opóźniona konsekwencja i zmiana zasad wystarczą do zbudowania większości formatów.
• Punktacja ma dawać rozstrzygnięcie, nie napęd. Nagroda rzeczowa zamienia grę w konkurs.
• Gotowy format wystarczy, jeśli problem jest typowy. Własna gra opłaca się przy specyficznym procesie, wielokrotnym użyciu albo roli nośnika marki.

FAQ: projektowanie gry dla zespołu

Ile trwa zaprojektowanie własnej gry?

Od dwóch do sześciu tygodni, zależnie od tego, jak dobrze opisany jest problem i ile trzeba testować. Najwięcej czasu zjada nie mechanika, tylko dwie rzeczy: ustalenie z klientem, co dokładnie gra ma pokazać, oraz testy, które sprawdzają, czy reguły faktycznie wytwarzają zakładane sytuacje.

Czy trzeba testować grę przed wdrożeniem?

Tak, minimum raz, na grupie o podobnym profilu. Prawie zawsze wychodzi, że jedna reguła jest niejasna albo że runda trwa dwa razy dłużej, niż zakładano. Test na zespole klienta bez uprzedzenia kończy się tym, że uczestnicy zapamiętają chaos w instrukcji, a nie to, co mieli zobaczyć.

Ilu uczestników to optymalna wielkość?

Od dwunastu do trzydziestu przy jednym prowadzącym, w grupach po cztery do sześciu osób. Mniej niż dwanaście i brakuje tarcia między grupami, więcej niż trzydzieści i omówienie przestaje być rozmową, a staje się wykładem prowadzącego o tym, co widział.

Czy grę może prowadzić ktoś z firmy?

Samą rozgrywkę tak, omówienie rzadko. Problem nie polega na umiejętnościach, tylko na tym, że przy przełożonym część obserwacji nie zostanie wypowiedziana. Jeśli omówienie ma prowadzić ktoś wewnętrzny, lepiej żeby była to osoba spoza tej struktury, na przykład z innego działu.

Czy w grze powinien być zwycięzca?

Rozstrzygnięcie tak, nagroda niekoniecznie. Gra bez żadnego wyniku traci napięcie i część uczestników przestaje się starać. Gra z nagrodą rzeczową przesuwa uwagę na punkty, co przy zespole mającym współpracować działa przeciwko celowi. Rozsądny środek to ogłoszenie wyniku i omówienie, czym różniły się podejścia grup.

Jak długo powinna trwać pojedyncza runda?

Od ośmiu do piętnastu minut, żeby zmieścić trzy do pięciu rund plus omówienie. Krótsze rundy nie dają czasu na decyzję zespołową, dłuższe sprawiają, że część osób wypada z gry. Opóźniona konsekwencja wymaga minimum trzech rund, inaczej nie ma czego opóźniać.

Czy da się zaprojektować grę dla zespołu rozproszonego?

Da się, pod warunkiem że uczestnicy grają w małych grupach w osobnych pokojach, a nie każdy sam przed ekranem. Metaanaliza Woutersa i współautorów wskazuje rozgrywkę w grupach jako warunek wzmacniający efekt uczenia się. Omówienie wspólne, w jednym pokoju, działa lepiej niż osobne podsumowania w podgrupach.

Źródła

• Traci Sitzmann, „A Meta-Analytic Examination of the Instructional Effectiveness of Computer-Based Simulation Games", Personnel Psychology, 2011. Sześćdziesiąt pięć badań, warunki brzegowe skuteczności, brak potwierdzenia hipotezy o decydującej roli rozrywkowości oraz spadek przewagi wobec równie aktywnej grupy porównawczej.
• Pieter Wouters, Christof van Nimwegen, Herman van Oostendorp, Erik D. van der Spek, „A Meta-Analysis of the Cognitive and Motivational Effects of Serious Games", Journal of Educational Psychology, 2013. Warunki wzmacniające efekt: rozgrywka w grupach, wiele sesji i uzupełnianie innych form nauki.
• Edward L. Deci, Richard Koestner, Richard M. Ryan, „A Meta-Analytic Review of Experiments Examining the Effects of Extrinsic Rewards on Intrinsic Motivation", Psychological Bulletin, 1999. Sto dwadzieścia osiem eksperymentów, wpływ nagród materialnych i pozytywnej informacji zwrotnej na motywację wewnętrzną.
• Praktyka projektowa autora. Projektowanie autorskich formatów z regułami dla zespołów sprzedaży, operacji i menedżerów.

Świadomie nie podaję żadnej liczby opisującej skuteczność autorskich gier zaprojektowanych pod konkretną firmę. Dostępne metaanalizy dotyczą symulacji komputerowych w kształceniu i szkoleniach, a przenoszenie ich wyników wprost na planszę projektowaną na zamówienie byłoby nadużyciem.

Zanim narysujecie pierwszą planszę

Napiszcie trzy pytania, które chcecie zadać po grze. Jeśli zaprojektowane reguły nie wytworzą sytuacji, o których da się tak rozmawiać, zmieniajcie reguły, nie pytania.

Macie konkretny problem w zespole i zastanawiacie się, czy da się z niego zrobić grę? Napiszcie, co dokładnie nie działa i ilu jest ludzi, a powiem, czy wystarczy gotowy format, czy warto projektować własny. Jeśli szukacie przeglądu dostępnych formatów, zacznijcie od tekstu o grach integracyjnych dla zespołu, a jeśli gra ma uczyć konkretnej umiejętności, od materiału o grach szkoleniowych.

Z tego artykułu dowiesz się: o ile konkretnie lepiej uczą symulacje niż klasyczne formy szkolenia według metaanalizy sześćdziesięciu pięciu badań, dlaczego ta przewaga topnieje w zderzeniu z dobrze poprowadzonym warsztatem, na czym polega luka między wiedzą a zachowaniem i czemu wiedza nie jest rezultatem szkolenia, jak zaplanować przeniesienie umiejętności do pracy i co mierzyć na czterech poziomach zamiast jednej ankiety.

W skrócie: Symulacje uczą mierzalnie lepiej niż bierne formy szkolenia. Metaanaliza Traci Sitzmann pokazała wyższą wiedzę proceduralną o czternaście procent i wyższe poczucie własnej skuteczności o dwadzieścia procent wobec grupy porównawczej. Ale ta przewaga malała wobec równie aktywnej formy pracy, a wiedza i tak nie jest tym, co zostaje w firmie.

Poniedziałek po dwudniowym szkoleniu z negocjacji. Uczestnicy potrafią wymienić pięć technik, mają zdjęcia slajdów w telefonach i wysoką ocenę w ankiecie. W środę ten sam handlowiec schodzi z ceny w pierwszej minucie rozmowy, bo klient zapytał o rabat tonem, który mu się nie spodobał.

Inne szkolenie, ten sam temat. Zamiast pięciu technik jedna sytuacja, przegrana trzy razy w symulacji, omówiona po każdym podejściu. Dwa tygodnie później ten sam handlowiec wysyła przykład rozmowy, w której zrobił to inaczej, i pyta, czy dobrze.

Obie firmy zapłaciły za dwa dni pracy zespołu. Tylko jedna kupiła zmianę zachowania. O tym, kiedy w ogóle wybrać grę zamiast klasycznego szkolenia, pisałem w tekście o grze biznesowej zamiast szkolenia. Tu chodzi o to, co dzieje się po niej.

O ile lepiej uczą symulacje?

Najlepiej udokumentowana odpowiedź pochodzi z metaanalizy Traci Sitzmann „A Meta-Analytic Examination of the Instructional Effectiveness of Computer-Based Simulation Games", opublikowanej w Personnel Psychology w dwa tysiące jedenastym roku. Autorka zebrała sześćdziesiąt pięć badań z udziałem sześciu tysięcy czterystu siedemdziesięciu sześciu uczestników szkoleń.

Cztery liczby z metaanalizy:

• Poczucie własnej skuteczności wyższe o dwadzieścia procent niż w grupie porównawczej. Największy pojedynczy efekt w całym zestawieniu.
• Wiedza proceduralna wyższa o czternaście procent, czyli wiedza o tym, jak coś zrobić, a nie czym to jest.
• Wiedza deklaratywna wyższa o jedenaście procent.
• Zapamiętanie materiału lepsze o dziewięć procent przy późniejszym pomiarze.

Układ tych liczb jest sam w sobie informacją. Najmocniej rośnie przekonanie uczestnika, że sobie poradzi, słabiej wiedza o tym, jak coś zrobić, najsłabiej trwałość zapamiętania. Symulacja daje więc przede wszystkim pewność siebie w działaniu, a to jest cenne akurat w sprzedaży, obsłudze trudnych rozmów i zarządzaniu, czyli tam, gdzie ludzie wiedzą, co robić, i mimo to tego nie robią.

Dane, które się nie zgadzają

Ta sama metaanaliza zawiera zastrzeżenie, które rzadko trafia do ofert. Przewaga symulacji malała, kiedy grupa porównawcza dostawała równie aktywną formę pracy.

To znaczy, że gra nie wygrywa z warsztatem. Gra wygrywa z wykładem. Działa aktywność uczestnika, a symulacja jest jednym ze sposobów jej wymuszenia, wygodnym, bo kupionym z zewnątrz razem z prowadzącym. Jeśli macie w firmie kogoś, kto potrafi poprowadzić warsztat z realnymi przypadkami, różnica może nie uzasadnić różnicy w cenie.

Druga uwaga dotyczy motywacji. Metaanaliza Pietera Woutersa i współautorów z Journal of Educational Psychology z dwa tysiące trzynastego roku mierzyła osobno efekty poznawcze i motywacyjne gier. Uczenie się i zapamiętywanie wypadły lepiej, natomiast przewaga motywacyjna okazała się najsłabsza z mierzonych i mniejsza, niż autorzy zakładali. Gra sprzedawana jako zastrzyk energii sprzedaje więc najsłabszą ze swoich właściwości.

Trzecia rzecz to kontekst. Obie metaanalizy dotyczyły głównie symulacji komputerowych w kształceniu i szkoleniach, nie planszowych gier biznesowych prowadzonych przez trenera w sali. Mechanizm przenoszę, wyników nie.

Czwarta uwaga dotyczy liczby, której źródła nie udało mi się zweryfikować. Przy polskiej kampanii przeciw marnowaniu żywności, opisywanej przez serwis PRoto, podawano, że pięćdziesiąt siedem procent badanych deklaruje wiedzę o sposobach ograniczania marnowania żywności, a codzienne zachowania tego nie odzwierciedlają. Nie dotarłem do pełnej metodologii tego badania, więc traktuję tę liczbę jako ilustrację zjawiska, a nie jako dowód. Samo zjawisko jest natomiast dobrze opisane i ma nazwę.

Dlaczego wiedza nie jest rezultatem szkolenia?

Bo między wiedzą a zachowaniem jest kilka kroków, a szkolenie zwykle domyka tylko pierwszy. Uczestnik może wiedzieć więcej, zgadzać się z trenerem, zrobić zdjęcia slajdów i nie zmienić niczego w pracy. To nie jest jego wina ani wina treści.

Droga wygląda mniej więcej tak: świadomość, że problem istnieje, zrozumienie, na czym polega, zamiar zrobienia czegoś inaczej, pierwsze działanie, a na końcu nawyk. Klasyczne szkolenie obsługuje dwa pierwsze kroki. Symulacja dokłada trzeci, bo uczestnik przeżywa konsekwencję własnej decyzji zamiast słuchać o niej. Czwarty i piąty dzieją się już w firmie albo nie dzieją się wcale.

To jest poważna wiadomość dla każdego, kto zamawia szkolenie. Budżet idzie na dwa dni, a rozstrzyga się w czterech tygodniach po nich, na które zwykle nie ma ani planu, ani właściciela.

Jak zaplanować przeniesienie do pracy?

Transfer nie dzieje się sam i nie jest zadaniem trenera. Jest zadaniem przełożonego i trzeba go rozpisać przed szkoleniem, nie po.

Pięć decyzji przed zamówieniem szkolenia:

• Jedno zachowanie, nie pięć technik. Nazwijcie konkretnie, co ma wyglądać inaczej: „nie schodzimy z ceny przed poznaniem budżetu klienta" zamiast „lepsze negocjacje".
• Rozgrywka powtórzona, nie jednorazowa. Obie metaanalizy wskazują wiele sesji jako warunek wzmacniający. Trzy krótkie podejścia biją jedno długie.
• Omówienie po każdym podejściu. Nie jedno na koniec dnia. Konsekwencja decyzji musi być nazwana, kiedy uczestnik jeszcze pamięta, dlaczego ją podjął.
• Pierwsza okazja w kalendarzu. Konkretna rozmowa albo spotkanie w ciągu tygodnia po szkoleniu, w którym uczestnik ma zastosować to jedno zachowanie.
• Krótka rozmowa z przełożonym po miesiącu. Piętnaście minut o tym, co się udało i gdzie się wysypało. Bez tego całość zostaje na poziomie dobrych chęci.

Punkt piąty jest najtańszy z całej listy i pomijany najczęściej. Kosztuje kwadrans czasu menedżera na osobę i decyduje o tym, czy dwa dni szkolenia były wydatkiem, czy inwestycją. Jak wybierać i wdrażać takie programy, rozpisuję w tekście o szkoleniu menedżerskim.

Co mierzyć zamiast ankiety zadowolenia?

Klasyczny model oceny szkoleń Donalda Kirkpatricka wyróżnia cztery poziomy: reakcję uczestników, nauczenie się, zmianę zachowania i wynik biznesowy. Większość firm mierzy wyłącznie pierwszy, czyli to, czy uczestnikom się podobało.

Cztery pomiary, po jednym na poziom:

• Reakcja. Ankieta po szkoleniu. Mierzy trenera i catering, nie efekt. Warto ją zbierać, ale nie warto na niej opierać decyzji o powtórzeniu programu.
• Nauczenie się. Krótki test albo zadanie przed szkoleniem i po nim, ta sama forma w obu momentach.
• Zachowanie. Obserwacja albo samoocena po trzydziestu dniach, dotycząca tego jednego zachowania, które zostało nazwane na początku.
• Wynik. Wskaźnik, na który to zachowanie ma wpływać, po kwartale. Średni rabat, czas obsługi zgłoszenia, rotacja w zespole.

Trzeci poziom jest tym, na którym kończy się większość programów rozwojowych, i tym, który decyduje o obronie budżetu. Czwarty wymaga cierpliwości i zgody na to, że nie wszystko da się przypisać szkoleniu. Jak budować taki pomiar, opisuję szerzej w materiale o ewaluacji eventu firmowego.

Kiedy gra szkoleniowa nie ma sensu?

Trzy sytuacje wracają regularnie i w każdej lepiej wydać pieniądze inaczej.

Pierwsza: kiedy problem nie leży w umiejętnościach, tylko w procesie albo w narzędziach. Handlowiec schodzący z ceny, bo ma cel miesięczny nie do wyrobienia, nie potrzebuje symulacji negocjacji. Potrzebuje innego celu.

Druga: kiedy nie ma zgody przełożonych na to, żeby ludzie robili coś inaczej. Szkolenie, po którym menedżer mówi „teoria teorią, a u nas robimy po swojemu", jest wydatkiem, który buduje cynizm.

Trzecia: kiedy grupa jest zbyt zróżnicowana doświadczeniem. Symulacja dopasowana do średniej nudzi doświadczonych i przytłacza początkujących, a obie grupy wychodzą z przekonaniem, że to nie było dla nich.

Moja prognoza, oparta na danych i na tym, co widzę u klientów

Spodziewam się, że dwudniowe szkolenia wyjazdowe będą ustępować krótszym, powtarzalnym sesjom rozpisanym na kwartał, z symulacją jako jednym z elementów. Dwa argumenty za. Pierwszy: obie przytoczone metaanalizy wskazują wiele sesji jako warunek wzmacniający efekt, więc to nie jest kwestia mody, tylko danych. Drugi: praca hybrydowa rozbiła dwudniowe bloki i firmy i tak już uczą się pracować w krótszych formatach.

Argument przeciw jest logistyczny i mocny. Jeden wyjazd jest łatwiejszy do zorganizowania, rozliczenia i obronienia w budżecie niż sześć spotkań rozrzuconych po kalendarzu. Dopóki rozwojem zarządza się projektowo, a nie procesowo, format dwudniowy przetrwa.

Zapamiętaj!

• Symulacje dawały wyższe poczucie własnej skuteczności o dwadzieścia procent i wyższą wiedzę proceduralną o czternaście procent wobec grupy porównawczej.
• Przewaga symulacji malała wobec równie aktywnej formy pracy, więc działa aktywność, a nie sama gra.
• Wiedza nie jest rezultatem szkolenia. Rezultatem jest zachowanie, a między jednym a drugim są trzy kroki.
• Transfer rozpisuje się przed szkoleniem: jedno zachowanie, powtórzone podejścia, omówienie po każdym, okazja w kalendarzu i rozmowa po miesiącu.
• Mierzcie na czterech poziomach, a decyzje opierajcie na trzecim, nie na ankiecie zadowolenia.

FAQ: gry szkoleniowe

Czy gra szkoleniowa uczy lepiej niż klasyczne szkolenie?

Lepiej niż wykład, niekoniecznie lepiej niż dobrze poprowadzony warsztat. Metaanaliza sześćdziesięciu pięciu badań pokazała wyraźną przewagę symulacji, ale też to, że malała ona wobec równie aktywnej grupy porównawczej. Decyduje poziom aktywności uczestnika, nie forma opakowania.

Ile powinna trwać gra szkoleniowa?

Krócej i częściej, niż robi to większość firm. Obie przytoczone metaanalizy wskazują, że kilka sesji działa lepiej niż jedna długa. W praktyce trzy podejścia po dziewięćdziesiąt minut rozłożone na kwartał dadzą więcej niż jeden dwudniowy blok, przy podobnym koszcie czasu.

Czy symulacja online działa tak samo jak stacjonarna?

Działa, pod warunkiem że uczestnicy grają w małych grupach, a nie indywidualnie. Metaanaliza Woutersa i współautorów wskazuje rozgrywkę w grupach jako warunek wzmacniający efekt. Symulacja online, w której każdy klika sam przed własnym ekranem, traci większość przewagi.

Jak przekonać zarząd do budżetu na symulację?

Nie liczbami z metaanaliz, tylko jednym zachowaniem i jednym wskaźnikiem. Powiedzcie, co konkretnie ma wyglądać inaczej po miesiącu i na który wskaźnik to ma wpłynąć po kwartale. Argument „ludzie się rozwiną" nie broni się przy cięciu budżetów, bo nie ma jak go sprawdzić.

Co zrobić, kiedy po szkoleniu nic się nie zmienia?

Sprawdzić, czy problem był w umiejętnościach. Bardzo często leży w procesie, w celach albo w tym, że przełożony nie zgadza się na nową praktykę. Szkolenie nie naprawi nieosiągalnego celu sprzedażowego ani źle ustawionego procesu, a próba takiej naprawy buduje cynizm wobec kolejnych programów.

Czy warto robić test wiedzy przed i po?

Warto, ale jako drugi poziom pomiaru, nie jedyny. Test pokaże, że uczestnik wie więcej, i nic nie powie o tym, czy coś robi inaczej. Najwięcej wnosi zestawienie testu z obserwacją jednego konkretnego zachowania po trzydziestu dniach.

Czym gra szkoleniowa różni się od integracyjnej?

Celem i konstrukcją omówienia. Gra szkoleniowa ma nauczyć konkretnej umiejętności i jest zbudowana wokół sytuacji z pracy uczestników. Gra integracyjna ma pokazać zespołowi, jak działa, i nie musi przypominać ich codzienności. Więcej o tym drugim formacie w tekście o grach integracyjnych dla zespołu.

Źródła

• Traci Sitzmann, „A Meta-Analytic Examination of the Instructional Effectiveness of Computer-Based Simulation Games", Personnel Psychology, 2011. Sześćdziesiąt pięć badań, sześć tysięcy czterysta siedemdziesiąt sześć uczestników, wartości dla poczucia własnej skuteczności, wiedzy proceduralnej, wiedzy deklaratywnej i zapamiętania oraz spadek przewagi wobec równie aktywnej grupy porównawczej.
• Pieter Wouters, Christof van Nimwegen, Herman van Oostendorp, Erik D. van der Spek, „A Meta-Analysis of the Cognitive and Motivational Effects of Serious Games", Journal of Educational Psychology, 2013. Efekty poznawcze i motywacyjne oraz warunki wzmacniające: wiele sesji, rozgrywka w grupach i uzupełnianie innych form nauki.
• Donald Kirkpatrick, czteropoziomowy model oceny szkoleń. Reakcja, nauczenie się, zachowanie i wynik jako osobne poziomy pomiaru.
• PRoto, materiał o polskiej kampanii przeciw marnowaniu żywności. Deklarowana wiedza wobec codziennych zachowań jako ilustracja luki między wiedzą a działaniem.
• Praktyka projektowa autora. Projektowanie formatów szkoleniowych z symulacją i omówieniem dla zespołów sprzedaży i menedżerów.

Świadomie nie podaję żadnego wskaźnika zwrotu z inwestycji w szkolenie. Liczby tego typu krążą w materiałach firm szkoleniowych, ale nie znalazłem za nimi metodologii, którą dałoby się pokazać dyrektorowi finansowemu.

Zanim zamówicie szkolenie

Napiszcie jedno zdanie o tym, co ma wyglądać inaczej za miesiąc, i nazwisko osoby, która o tym porozmawia z uczestnikami. Bez tego zdania i bez tego nazwiska kupujecie dwa dni, nie zmianę.

Planujecie program rozwojowy i nie wiecie, ile z niego zostawić na symulację, a ile na pracę po? Napiszcie, kogo szkolicie i co konkretnie ma się poprawić, a powiem, jak rozłożyć sesje i co mierzyć po trzydziestu dniach. Jeśli format ma też domknąć stronę zespołową, zacznijcie od tekstu o planowaniu warsztatów.

Z tego artykułu dowiesz się: co dwie duże metaanalizy mówią o warunkach, w których gra faktycznie czegoś uczy, dlaczego gra w grupie działa inaczej niż gra indywidualna, który z czterech typów interwencji zespołowych realizuje typowa gra integracyjna, a których nie dotyka wcale, jak wybrać format do konkretnego problemu zespołu i czego nie da się załatwić dwugodzinnym blokiem w środku wyjazdu.

W skrócie: Gry integracyjne działają, ale nie dlatego, że są grami. Metaanalizy pokazują, że przewaga pojawia się wtedy, kiedy gra angażuje aktywnie, toczy się w grupie, powtarza się w kilku sesjach i uzupełnia inne działania, a nie zastępuje je. Sama rozrywkowość nie okazała się czynnikiem decydującym.

Sala po lunchu, czterdzieści osiem osób podzielonych na siedem stołów, na każdym zestaw klocków i zadanie z instrukcją. Po dziewięćdziesięciu minutach prowadzący ogłasza wyniki, wręcza dyplom i zapowiada przerwę kawową. Nikt nie pyta, co z tego wynika, bo nie ma na to punktu w agendzie.

Inna firma, ta sama gra, inny układ. Po zakończeniu rozgrywki czterdzieści minut rozmowy przy tych samych stołach: co się działo, kto przejął decyzje, kiedy zespół przestał słuchać osoby, która miała rację. Trzy tygodnie później dwie z tych obserwacji wracają w rozmowie o realnym projekcie.

Różnica nie jest w grze. Jest w tym, czy ktokolwiek zaplanował, co się dzieje po niej. O tym, kiedy w ogóle sięgać po ten format, pisałem w tekście o grze biznesowej zamiast szkolenia. Tu zajmuję się wyborem konkretnej gry i tym, czego od niej realnie oczekiwać.

Co badania mówią o skuteczności gier?

Dwie metaanalizy warto mieć w głowie, zanim ktoś wystawi fakturę za wynajem gry. Pierwsza to praca Traci Sitzmann „A Meta-Analytic Examination of the Instructional Effectiveness of Computer-Based Simulation Games", opublikowana w Personnel Psychology w dwa tysiące jedenastym roku, obejmująca sześćdziesiąt pięć badań i sześć tysięcy czterysta siedemdziesięciu sześciu uczestników. Druga to metaanaliza Pietera Woutersa, Christofa van Nimwegena, Hermana van Oostendorpa i Erika van der Speka z Journal of Educational Psychology z dwa tysiące trzynastego roku.

Z obu wychodzi zaskakująco zgodny obraz warunków brzegowych.

Cztery warunki, które decydują o efekcie:

• Aktywne zaangażowanie zamiast biernego. Gra, w której uczestnik głównie ogląda i czeka na swoją kolej, traci większość przewagi nad zwykłą prezentacją.
• Gra w grupie, nie indywidualnie. Wouters i współautorzy wskazują rozgrywkę zespołową jako warunek wzmacniający efekt uczenia się.
• Kilka sesji zamiast jednej. Pojedynczy blok w środku wyjazdu wypada gorzej niż ten sam czas rozłożony na kilka spotkań.
• Gra jako uzupełnienie, nie zamiennik. Obie metaanalizy zgodnie pokazują, że gra działa najlepiej obok innych form pracy, nie zamiast nich.

Najciekawsze jest to, czego w tej liście nie ma. Sitzmann sprawdzała też hipotezę, że decyduje poziom rozrywki, i ta hipoteza nie znalazła potwierdzenia. To, czy gra była bardziej czy mniej zabawna, nie przekładało się na to, ile z niej zostało.

Dane, które się nie zgadzają

Najmocniejsze zastrzeżenie pochodzi z tej samej metaanalizy, która gry chwali. Sitzmann odnotowała, że przewaga gier malała, kiedy grupa porównawcza dostawała równie aktywną formę pracy.

To przestawia cały argument sprzedażowy. Jeśli gra wygrywa z wykładem, a przegrywa albo remisuje z dobrze poprowadzonym warsztatem, to działa nie gra, tylko aktywność uczestnika. Gra jest jednym ze sposobów na wywołanie tej aktywności, wygodnym i łatwym do kupienia, ale nie jedynym i nie zawsze najtańszym.

Druga uwaga dotyczy motywacji. Metaanaliza Woutersa i współautorów mierzyła osobno efekty poznawcze i motywacyjne. Gry wypadły lepiej pod względem uczenia się i zapamiętywania, natomiast przewaga motywacyjna okazała się najsłabsza z mierzonych i mniejsza, niż autorzy zakładali. Czyli dokładnie odwrotnie, niż brzmi typowa oferta, w której gra jest sprzedawana przede wszystkim jako zastrzyk energii.

Trzecia rzecz to kontekst badań. Obie metaanalizy dotyczyły głównie gier komputerowych i symulacji w kształceniu oraz szkoleniach, nie gier planszowych granych po lunchu na wyjeździe firmowym. Mechanizm przenoszę, wyników nie. Kiedy ktoś pokazuje wykres wzrostu zaufania w zespole po dwugodzinnej grze, warto zapytać o źródło, bo ja takiego nie znalazłem.

Który problem zespołu gra faktycznie rozwiązuje?

Metaanaliza team buildingu opublikowana przez Camerona Kleina i współautorów w Small Group Research w dwa tysiące dziewiątym roku wyróżnia cztery rodzaje interwencji zespołowych: ustalanie celów, relacje międzyludzkie, rozwiązywanie problemów i doprecyzowanie ról.

Typowa gra integracyjna dotyka dwóch z nich, i to nie tych, które zamawiający ma zwykle na myśli.

Co gra robi, a czego nie:

• Rozwiązywanie problemów. To jest naturalne środowisko gry i tu działa najlepiej, bo zadanie z regułami wymusza wspólne szukanie drogi.
• Doprecyzowanie ról. Gra brutalnie pokazuje, kto w zespole naprawdę decyduje, kto milczy i kto przejmuje robotę. Pod warunkiem że ktoś to nazwie po zakończeniu.
• Relacje międzyludzkie. Działa słabiej, niż się zakłada, bo dwie godziny wspólnej rywalizacji nie budują zaufania. Budują wspólne wspomnienie, co nie jest tym samym.
• Ustalanie celów. Gra tego nie dotyka w ogóle. Cele ustala się przy stole, na trzeźwo, z konkretnymi liczbami.

Praktyczny wniosek jest taki, że gra jest dobrym narzędziem diagnostycznym i średniej jakości narzędziem relacyjnym. Jeśli problemem zespołu jest to, że ludzie się nie znają, lepiej zadziała wspólna kolacja bez programu. Jeśli problemem jest to, że nikt nie wie, kto podejmuje decyzje, gra pokaże to w półtorej godziny.

Jak wybrać format gry do konkretnej sytuacji?

Wybór zaczyna się od zdania opisującego problem, nie od katalogu dostawcy. Trzy typowe sytuacje i to, co się w nich sprawdza.

Zespół, który się nie zna, bo przybyło ludzi albo firmy się połączyły: format z wymuszoną rotacją składów, krótkie rundy, dużo rozmów, zero rywalizacji między grupami. Rywalizacja na tym etapie utrwala podziały zamiast je znosić.

Zespół, który się zna i źle współpracuje: symulacja procesu zbliżona do ich realnej pracy, z ograniczonym czasem i niepełną informacją po każdej stronie. To jest jedyna sytuacja, w której gra bywa lepsza od warsztatu, bo ludzie zobaczą własne zachowanie, a nie jego opis.

Zespół po trudnym okresie, na przykład po zwolnieniach albo nieudanym projekcie: żadna gra. Format z regułami i punktacją zostanie odebrany jako lekceważenie sytuacji. Tu działa rozmowa, najlepiej prowadzona przez kogoś z zewnątrz.

Ile czasu potrzeba na omówienie?

Tyle, ile na samą grę, i to jest liczba, która najczęściej rozbija się o agendę. Przy dziewięćdziesięciominutowej rozgrywce sensowne omówienie zajmuje od czterdziestu minut do godziny.

Struktura, która działa, jest prosta. Najpierw co się działo, czyli fakty bez ocen. Potem co kto zauważył u siebie i w grupie. Na końcu gdzie to samo dzieje się w pracy i co z tym zrobimy. Ostatni krok jest jedynym, który przekłada się na poniedziałek, i jest też tym, który najczęściej wypada z braku czasu.

Jeśli w agendzie nie ma miejsca na omówienie, lepiej nie robić gry. Godzina i pół wolnego czasu na rozmowy da zespołowi więcej niż gra bez zamknięcia.

Co policzyć po grze?

Ocena gry w ankiecie mierzy prowadzącego i pogodę w sali. Do oceny sensu wydatku potrzeba czegoś innego.

Cztery pomiary po formacie z grami:

• Liczba obserwacji z omówienia. Ile konkretnych rzeczy zespół nazwał po zakończeniu rozgrywki. Zero oznacza, że omówienia faktycznie nie było.
• Ustalenia z właścicielem. Ile z tych obserwacji dostało nazwisko i termin.
• Powrót tematu po miesiącu. Czy którakolwiek z obserwacji wraca w rozmowie o realnym projekcie. Najlepszy dostępny wskaźnik transferu.
• Rozkład udziału. Ilu uczestników faktycznie grało, a ilu siedziało obok. Metaanalizy są tu jednoznaczne: bierny udział nie daje efektu.

Ostatni punkt najlepiej sprawdzić w trakcie, nie po. Wystarczy przejść między stołami i policzyć, przy ilu z nich pracują dwie osoby, a pozostali patrzą. Jak zbudować cały pomiar po wydarzeniu, opisuję w tekście o ewaluacji eventu firmowego.

Moja prognoza, oparta na danych i na tym, co widzę u klientów

Spodziewam się, że rynek gier integracyjnych rozłoży się na dwie części: tanie formaty rozrywkowe kupowane świadomie jako rozrywka oraz droższe symulacje kupowane jako narzędzie diagnostyczne, z omówieniem w cenie. Środek, czyli gra sprzedawana jako rozwój, ale bez omówienia, będzie się kurczyć. Dwa argumenty za. Pierwszy: działy HR coraz częściej muszą uzasadnić wydatek czymś więcej niż zdjęciami. Drugi: dostęp do samych mechanik potaniał na tyle, że przewagę daje prowadzący, nie plansza.

Argument przeciw jest prosty i wcale nie słaby. Gra bez omówienia jest łatwiejsza w sprzedaży, tańsza w realizacji i lepiej wygląda w relacji z wyjazdu. Dopóki wydarzenia rozlicza się nastrojem na zdjęciach, ten środek będzie się sprzedawał.

Zapamiętaj!

• Gra działa, kiedy angażuje aktywnie, toczy się w grupie, powtarza się w kilku sesjach i uzupełnia inne formy pracy.
• Przewaga gier malała, kiedy grupa porównawcza dostawała równie aktywną formę pracy, więc działa aktywność, nie sama gra.
• Poziom rozrywki nie okazał się czynnikiem decydującym o tym, ile z gry zostaje.
• Gra dobrze pokazuje role i sposób rozwiązywania problemów, słabo buduje zaufanie i nie dotyka ustalania celów.
• Omówienie powinno trwać tyle co gra. Bez niego lepiej dać zespołowi wolny czas na rozmowy.

FAQ: gry integracyjne dla zespołu

Ile powinna trwać gra integracyjna?

Sama rozgrywka od sześćdziesięciu do dziewięćdziesięciu minut, plus drugie tyle na omówienie. Krótsze formaty nie zdążą pokazać zachowań zespołu, dłuższe męczą i część uczestników wypada z gry. Jeśli w agendzie jest tylko półtorej godziny łącznie, lepiej wybrać krótszy format i zachować czas na rozmowę.

Czy gry integracyjne budują zaufanie w zespole?

Słabiej, niż sugerują oferty. Metaanaliza team buildingu pokazuje, że działania nastawione na relacje międzyludzkie to jeden z czterech typów interwencji, a gra realizuje go dość powierzchownie. Dwie godziny rywalizacji dają wspólne wspomnienie, co pomaga w rozmowie, ale nie jest tym samym co zaufanie.

Gra planszowa, terenowa czy symulacja online?

Decyduje problem, nie forma. Przy zespole, który się nie zna, sprawdza się format z rotacją składów i bez rywalizacji między grupami. Przy zespole, który źle współpracuje, symulacja procesu zbliżona do ich realnej pracy. Przy zespole rozproszonym format online ma sens, o ile gra się w małych grupach, a nie indywidualnie.

Czy gra sprawdzi się przy zespole, który się nie lubi?

Ostrożnie i raczej nie jako pierwszy ruch. Gra z punktacją w skonfliktowanym zespole zwykle utrwala podziały, bo daje im nową scenę. Jeśli konflikt jest realny, zaczyna się od rozmowy prowadzonej przez osobę z zewnątrz, a gra może przyjść później, kiedy jest co utrwalać.

Czy trzeba wynajmować prowadzącego?

Do samej rozgrywki nie zawsze, do omówienia prawie zawsze. Omówienie prowadzone przez przełożonego uczestników rzadko wychodzi, bo nikt nie powie przy nim, że decyzje są podejmowane za wolno. Osoba z zewnątrz może zadać pytanie, którego nikt wewnątrz nie zada.

Ile kosztuje gra integracyjna dla zespołu?

Od kilkuset złotych za gotowy zestaw do kilkudziesięciu tysięcy za symulację przygotowaną pod konkretną firmę. Różnica w cenie rzadko odpowiada różnicy w efekcie, bo o efekcie decyduje omówienie, a nie mechanika. Przy pierwszym podejściu rozsądniej wydać mniej na grę i więcej na prowadzącego.

Jak często powtarzać taki format?

Częściej, niż robi to większość firm. Obie przytoczone metaanalizy wskazują, że kilka krótszych sesji działa lepiej niż jedna długa. W praktyce oznacza to raczej kwartalne półtorej godziny niż jeden blok raz do roku na wyjeździe. Jak rozłożyć to w czasie, opisuję w tekście o integracji jesiennej.

Źródła

• Traci Sitzmann, „A Meta-Analytic Examination of the Instructional Effectiveness of Computer-Based Simulation Games", Personnel Psychology, 2011. Sześćdziesiąt pięć badań, sześć tysięcy czterysta siedemdziesięciu sześciu uczestników, moderatory skuteczności oraz spadek przewagi wobec równie aktywnej grupy porównawczej.
• Pieter Wouters, Christof van Nimwegen, Herman van Oostendorp, Erik D. van der Spek, „A Meta-Analysis of the Cognitive and Motivational Effects of Serious Games", Journal of Educational Psychology, 2013. Efekty poznawcze i motywacyjne gier oraz warunki wzmacniające: uzupełnianie innych form nauki, wiele sesji i rozgrywka w grupach.
• Cameron Klein, Deborah DiazGranados, Eduardo Salas i współautorzy, „Does Team Building Work?", Small Group Research, 2009. Cztery typy interwencji zespołowych: ustalanie celów, relacje międzyludzkie, rozwiązywanie problemów i doprecyzowanie ról.
• Praktyka projektowa autora. Projektowanie i prowadzenie formatów z regułami dla zespołów firmowych.

Świadomie nie podaję żadnej liczby opisującej wzrost zaufania w zespole po grze integracyjnej. Takie wykresy pojawiają się w ofertach, ale nie dotarłem do badania, które mierzyłoby to na polskich zespołach firmowych.

Zanim zamówicie grę

Napiszcie jedno zdanie o tym, co w tym zespole nie działa. Jeśli brzmi ono „ludzie się nie znają", gra jest słabszym wyborem niż wspólna kolacja. Jeśli brzmi „nie wiadomo, kto decyduje", gra pokaże to szybciej niż pół roku obserwacji.

Wybieracie format na spotkanie zespołu i nie wiecie, czy gra się sprawdzi? Napiszcie, ilu jest ludzi i co konkretnie chcecie poprawić, a powiem, czy warto i ile czasu zostawić na omówienie. Jeśli szukacie szerszego przeglądu formatów, zacznijcie od tekstu o atrakcjach na imprezę integracyjną, a jeśli interesuje was mechanika punktów i rankingu, od materiału o grywalizacji w firmie.