Event Marketing Institute Sp. z o.o.
Iwonicka 3, 60-473 Poznań
NIP 7812066079
REGON 527890052
KRS 0001090243
REGON 527890052
KRS 0001090243
© 2024 Kalewski copy
Ile mówi ci średnia 4,8 na 5 z ankiety po konferencji? Mniej, niż sugeruje zielony kolor w raporcie dla zarządu. Ocena pokazuje, jak uczestnikom było w sali, a wynik wydarzenia widać dopiero w tym, co zrobili po wyjściu.
Najpopularniejszą miarą zadowolenia po evencie stał się Net Promoter Score, wskaźnik opisany przez Freda Reichhelda w Harvard Business Review w 2003 roku. Liczy się go szybko, wygląda poważnie i daje jedną liczbę do porównań. Ta wygoda sprawia, że organizatorzy traktują go jak wynik wydarzenia, choć mierzy on wyłącznie deklarowaną chęć polecenia.
W skrócie: NPS liczysz jako odsetek promotorów minus odsetek krytyków, na skali od minus 100 do plus 100. Metaanaliza Alligera i współpracowników z 1997 roku wykazała, że to, jak bardzo uczestnikom się podobało, prawie nie przewiduje, czego się nauczyli. Obok NPS potrzebujesz pięciu wskaźników: pytania o użyteczność, odsetka odpowiedzi, rozkładu ocen, pomiaru po 30 dniach i osobnego wyniku dla wystawców.
Uczestnik odpowiada na jedno pytanie: jak prawdopodobne jest, że polecisz to wydarzenie znajomemu lub współpracownikowi, na skali od 0 do 10. Osoby, które zaznaczą 9 albo 10, to promotorzy. Oceny 7 i 8 oznaczają pasywnych, a oceny od 0 do 6 krytyków.
Wynik to procent promotorów minus procent krytyków, więc mieści się między minus 100 a plus 100. Pasywni nie wchodzą do wzoru, ale liczą się w mianowniku. Przykład: na ankietę po konferencji odpowiada 200 osób, 110 daje 9 lub 10, 60 wybiera 7 lub 8, a 30 zaznacza 6 lub mniej. Promotorów jest 55 procent, krytyków 15 procent, NPS wynosi 40.
Ta sama czterdziestka może powstać z bardzo różnych sal. Przy 45 procentach promotorów i 5 procentach krytyków wynik jest identyczny, a sytuacja inna: prawie nikt się nie zawiódł, ale też mało kto wyszedł poruszony. Dlatego w raportach, które przygotowuję, obok NPS stoją trzy liczby, z których powstał.
Reichheld oparł wskaźnik na dwuletnich badaniach, które łączyły odpowiedzi klientów z ich późniejszymi zakupami i poleceniami. Przekonywał, że jedno pytanie o polecenie przewiduje wzrost firmy lepiej niż rozbudowane badania satysfakcji. Tytuł jego artykułu, „The One Number You Need to Grow”, zrobił z NPS standard raportów zarządczych.
Cztery lata później Timothy Keiningham z zespołem sprawdził tę tezę w Journal of Marketing. Na danych z 21 firm i ponad 15 500 wywiadów z norweskiego barometru satysfakcji klientów nie udało się powtórzyć wyniku o wyraźnej przewadze NPS nad innymi miarami. W osobnej pracy z tego samego roku autorzy doszli do wniosku, że sama intencja polecenia nie wystarcza jako jedyny predyktor lojalności.
Najciekawszą korektę zrobił sam Reichheld. W tekście „Net Promoter 3.0” w Harvard Business Review z 2021 roku przyznał, że niezweryfikowane, raportowane przez same firmy wyniki NPS podważyły użyteczność wskaźnika, i zaproponował miarę opartą na zachowaniu: wzrost przychodów od powracających klientów i z ich poleceń. Dla eventu oznacza to pytanie, ilu uczestników wróciło na kolejną edycję i ilu przyprowadziło kogoś ze sobą.
Pierwszy mechanizm opisali George Alliger i współautorzy w metaanalizie z 1997 roku, obejmującej 34 badania szkoleń. Reakcje afektywne, czyli odpowiedź na pytanie, czy się podobało, korelowały z tym, czego ludzie się nauczyli, na poziomie 0,02. Dla reakcji dotyczących użyteczności, czyli oceny, czy to się przyda w pracy, korelacja wyniosła 0,26 z nauką i 0,18 z przeniesieniem wiedzy do pracy.
W praktyce pytanie „czy ci się podobało” mówi bardzo mało o efekcie. NPS stoi bliżej zadowolenia niż użyteczności, bo pyta o chęć polecenia, a ludzie polecają też wieczory, które były po prostu przyjemne.
Drugi mechanizm dotyczy pamięci. Donald Redelmeier i Daniel Kahneman w badaniu z 1996 roku na 154 pacjentach po kolonoskopii i 133 po litotrypsji wykazali, że ocena całego doświadczenia zależała od najsilniejszego momentu i od ostatnich minut, a długość procedury nie wpływała na wspomnienie. Ankieta wysłana następnego ranka po gali mierzy więc głównie finał wieczoru i najmocniejszy punkt programu, a panel z godziny 11:00 zostaje w tle.
Trzeci mechanizm to próba. Explori, firma prowadząca badania uczestników wydarzeń, szacuje typowy odsetek odpowiedzi na ankiety po konferencjach i eventach firmowych na 10 do 20 procent. Z moich obserwacji odpowiadają najczęściej osoby z mocnym zdaniem w którąkolwiek stronę, a środek sali milczy. Przy 300 uczestnikach i 15 procentach odpowiedzi wynik opiera się na 45 osobach, a jedna z nich przesuwa NPS o ponad 2 punkty.
NPS może zostać w raporcie. Potrzebuje jednak towarzystwa, które pokaże, czy za dobrą oceną stoi zmiana. Każdy z pięciu wskaźników poniżej ma swoje pytanie i jeden zakaz.
Zamiast drugiej skali zadowolenia zadaj pytanie otwarte: co z dzisiejszego dnia zastosujesz w pracy w ciągu dwóch tygodni. Odpowiedź konkretna, z nazwą narzędzia albo decyzji, jest sygnałem przeniesienia wiedzy. Metaanaliza Alligera wskazuje, że ten typ reakcji lepiej przewiduje naukę niż zadowolenie.
Zakaz: nie zastępuj tego pytania skalą „na ile przydatne było wydarzenie”. Skala daje kolejną średnią, a pytanie otwarte daje listę działań, którą sprawdzisz po miesiącu.
Liczba odpowiedzi i jej udział w liczbie uczestników stoją w raporcie tuż obok wyniku. NPS 60 z 40 ankiet przy 500 osobach na sali opisuje 8 procent uczestników. Gdy odsetek jest niski, zadzwoń do kilku osób, które nie odpowiedziały, i zadaj im te same pytania.
Zakaz: nie porównuj wyników dwóch edycji, gdy liczba odpowiedzi różni się kilkukrotnie. Różnica wyniku może wtedy wynikać z tego, kto odpowiedział, bez związku ze zmianami w programie.
Dwa wydarzenia z NPS 40 z przykładu wyżej wymagają innych decyzji, a różnicę między nimi widać dopiero w rozkładzie. Przy 15 procentach krytyków szukasz tego, co ich zawiodło, a przy 50 procentach pasywnych szukasz powodu, dla którego mało kto wyszedł poruszony. Rozbij wynik też według grup: nowi i powracający uczestnicy, klienci i partnerzy, dział sprzedaży i reszta firmy.
Zakaz: nie raportuj samej średniej ani samego NPS. Obie liczby ukrywają to, co w ankiecie najciekawsze: kto był rozczarowany i z jakiego powodu.
Donald Kirkpatrick opisał na przełomie lat 1959 i 1960 cztery poziomy oceny szkoleń: reakcję, uczenie się, zachowanie i rezultaty. Ankieta w dniu wydarzenia zatrzymuje się na pierwszym z nich. Krótka ankieta po 30 dniach wraca do odpowiedzi z pytania o użyteczność i sprawdza, czy uczestnik zrobił to, co zadeklarował.
Zakaz: nie zamykaj raportu z wydarzenia w tygodniu, w którym się odbyło. Znasz wtedy reakcję, a o zmianie zachowania nie wiesz jeszcze nic.
Na targach i konferencjach z częścią wystawienniczą uczestnik i wystawca oceniają dwa różne produkty. Raport UFI i Explori z 2017 roku, oparty na danych z 1040 targów w ponad 40 krajach, podał średni NPS wystawców na poziomie minus 17, a dodatni wynik miała tylko co czwarta impreza. Targi, które szkoliły wystawców, miały wynik wyższy o 23 punkty.
Zakaz: nie łącz ocen uczestników i wystawców w jedną liczbę. Zadowolona widownia może współistnieć z wystawcami, którzy nie wrócą w przyszłym roku.
Masz raport z ostatniego wydarzenia i nie wiesz, co z niego wynika? Umów konsultację 1:1 i przeczytajmy wyniki razem.
Najprostszy test: zestaw NPS z odpowiedziami na pytanie o użyteczność. Wysoki wynik i ogólniki w rodzaju „ciekawe wystąpienia” albo „dobra organizacja” oznaczają, że wydarzenie było przyjemne, a uczestnicy nie wiedzą, co z nim zrobić. W takim raporcie zadowolenie jest wysokie, a efekt nieznany.
Odwrotna sytuacja też się zdarza. Średni NPS i kilkadziesiąt konkretnych deklaracji, na przykład zmiana procesu ofertowania albo umówione spotkanie z partnerem, opisują wydarzenie, które pracuje mimo przeciętnej oceny. O tym, jak zaplanować kontakt z uczestnikami po zamknięciu sali, pisałem w tekście o obsłudze posprzedażowej po evencie.
Pięć pytań wystarczy, a z mojego doświadczenia każde kolejne widać w spadku odsetka odpowiedzi. Moja kolejność: NPS, jedno pytanie o najmocniejszy punkt programu, jedno o najsłabszy, pytanie o zastosowanie w pracy i pytanie o temat na następną edycję. Ankietę wysyłam w ciągu 24 godzin, póki uczestnik pamięta też poranne wystąpienia.
Pytania o catering, hotel i nagłośnienie zostaw dla zespołu produkcji w osobnym formularzu. Takie dane są potrzebne, ale w raporcie dla zarządu mieszają ocenę logistyki z oceną efektu. Szerzej o całym systemie pomiaru piszę w tekście o ewaluacji eventu firmowego, a o tym, dlaczego zrozumienie tematu nie oznacza jeszcze zmiany, w artykule wiedza nie jest rezultatem eventu.
Następnym razem, gdy w raporcie zobaczysz NPS 60, zapytaj, ilu uczestników zrobiło po wydarzeniu coś, czego wcześniej nie robiło. Dopiero ta liczba mówi, czy event zadziałał.
Nie ma jednego progu dla wszystkich wydarzeń. Wynik dodatni oznacza więcej promotorów niż krytyków, a wśród wystawców targowych jest rzadkością: w raporcie UFI i Explori z 2017 roku miała go co czwarta impreza. Porównuj wynik z własnymi poprzednimi edycjami przy podobnej liczbie odpowiedzi.
Od procentu ocen 9 i 10 odejmij procent ocen od 0 do 6. Przykładowo 55 procent promotorów i 15 procent krytyków daje NPS 40.
Ankieta satysfakcji pyta o ocenę elementów wydarzenia, NPS o gotowość polecenia całości. Obie miary opisują reakcję uczestnika, czyli pierwszy poziom w modelu Kirkpatricka, i żadna z nich nie mierzy zmiany zachowania.
Pytania o reakcję w ciągu 24 godzin, a krótkie pytanie o zastosowanie po około 30 dniach. Badanie Redelmeiera i Kahnemana z 1996 roku pokazało, że ocena z pamięci opiera się głównie na najsilniejszym momencie i zakończeniu, więc późna ankieta mówi niewiele o środku programu.
Sam w sobie nie. NPS mierzy deklarację, a ROI wymaga danych o przychodach lub kosztach, dlatego Reichheld w 2021 roku zaproponował miarę opartą na przychodach od powracających klientów i z ich poleceń.
Źródła: Frederick F. Reichheld, „The One Number You Need to Grow”, Harvard Business Review, 2003; Timothy L. Keiningham, Bruce Cooil, Tor Wallin Andreassen, Lerzan Aksoy, „A Longitudinal Examination of Net Promoter and Firm Revenue Growth”, Journal of Marketing, 2007; Timothy L. Keiningham i in., „The value of different customer satisfaction and loyalty metrics in predicting customer retention, recommendation, and share-of-wallet”, Managing Service Quality, 2007; Fred Reichheld, Darci Darnell, Maureen Burns, „Net Promoter 3.0”, Harvard Business Review, 2021; George M. Alliger i in., „A meta-analysis of the relations among training criteria”, Personnel Psychology, 1997; Donald A. Redelmeier, Daniel Kahneman, „Patients' memories of painful medical treatments”, Pain, 1996; Donald L. Kirkpatrick, „Techniques for evaluating training programs”, 1959-1960; Explori, „What is a good post-event survey response rate?”, 2021; UFI, Explori, „Global Exhibitor Insights”, 2017.
Dołącz do społeczności świadomych marketerów i otrzymaj pakiet bonusów za darmo! 🎉 Co 2 tygodnie wyślemy Ci też newsletter pełen konkretnych inspiracji z obszaru marketingu doświadczeń.