Blog

NPS po evencie: jak go liczyć i czego nie pokaże ankieta

Ile mówi ci średnia 4,8 na 5 z ankiety po konferencji? Mniej, niż sugeruje zielony kolor w raporcie dla zarządu. Ocena pokazuje, jak uczestnikom było w sali, a wynik wydarzenia widać dopiero w tym, co zrobili po wyjściu.

Najpopularniejszą miarą zadowolenia po evencie stał się Net Promoter Score, wskaźnik opisany przez Freda Reichhelda w Harvard Business Review w 2003 roku. Liczy się go szybko, wygląda poważnie i daje jedną liczbę do porównań. Ta wygoda sprawia, że organizatorzy traktują go jak wynik wydarzenia, choć mierzy on wyłącznie deklarowaną chęć polecenia.

W skrócie: NPS liczysz jako odsetek promotorów minus odsetek krytyków, na skali od minus 100 do plus 100. Metaanaliza Alligera i współpracowników z 1997 roku wykazała, że to, jak bardzo uczestnikom się podobało, prawie nie przewiduje, czego się nauczyli. Obok NPS potrzebujesz pięciu wskaźników: pytania o użyteczność, odsetka odpowiedzi, rozkładu ocen, pomiaru po 30 dniach i osobnego wyniku dla wystawców.

Jak policzyć NPS po evencie

Uczestnik odpowiada na jedno pytanie: jak prawdopodobne jest, że polecisz to wydarzenie znajomemu lub współpracownikowi, na skali od 0 do 10. Osoby, które zaznaczą 9 albo 10, to promotorzy. Oceny 7 i 8 oznaczają pasywnych, a oceny od 0 do 6 krytyków.

Wynik to procent promotorów minus procent krytyków, więc mieści się między minus 100 a plus 100. Pasywni nie wchodzą do wzoru, ale liczą się w mianowniku. Przykład: na ankietę po konferencji odpowiada 200 osób, 110 daje 9 lub 10, 60 wybiera 7 lub 8, a 30 zaznacza 6 lub mniej. Promotorów jest 55 procent, krytyków 15 procent, NPS wynosi 40.

Ta sama czterdziestka może powstać z bardzo różnych sal. Przy 45 procentach promotorów i 5 procentach krytyków wynik jest identyczny, a sytuacja inna: prawie nikt się nie zawiódł, ale też mało kto wyszedł poruszony. Dlatego w raportach, które przygotowuję, obok NPS stoją trzy liczby, z których powstał.

Skąd się wziął NPS i co mu zarzucają

Reichheld oparł wskaźnik na dwuletnich badaniach, które łączyły odpowiedzi klientów z ich późniejszymi zakupami i poleceniami. Przekonywał, że jedno pytanie o polecenie przewiduje wzrost firmy lepiej niż rozbudowane badania satysfakcji. Tytuł jego artykułu, „The One Number You Need to Grow”, zrobił z NPS standard raportów zarządczych.

Cztery lata później Timothy Keiningham z zespołem sprawdził tę tezę w Journal of Marketing. Na danych z 21 firm i ponad 15 500 wywiadów z norweskiego barometru satysfakcji klientów nie udało się powtórzyć wyniku o wyraźnej przewadze NPS nad innymi miarami. W osobnej pracy z tego samego roku autorzy doszli do wniosku, że sama intencja polecenia nie wystarcza jako jedyny predyktor lojalności.

Najciekawszą korektę zrobił sam Reichheld. W tekście „Net Promoter 3.0” w Harvard Business Review z 2021 roku przyznał, że niezweryfikowane, raportowane przez same firmy wyniki NPS podważyły użyteczność wskaźnika, i zaproponował miarę opartą na zachowaniu: wzrost przychodów od powracających klientów i z ich poleceń. Dla eventu oznacza to pytanie, ilu uczestników wróciło na kolejną edycję i ilu przyprowadziło kogoś ze sobą.

Dlaczego wysoka ocena po evencie może ukrywać problem

Pierwszy mechanizm opisali George Alliger i współautorzy w metaanalizie z 1997 roku, obejmującej 34 badania szkoleń. Reakcje afektywne, czyli odpowiedź na pytanie, czy się podobało, korelowały z tym, czego ludzie się nauczyli, na poziomie 0,02. Dla reakcji dotyczących użyteczności, czyli oceny, czy to się przyda w pracy, korelacja wyniosła 0,26 z nauką i 0,18 z przeniesieniem wiedzy do pracy.

W praktyce pytanie „czy ci się podobało” mówi bardzo mało o efekcie. NPS stoi bliżej zadowolenia niż użyteczności, bo pyta o chęć polecenia, a ludzie polecają też wieczory, które były po prostu przyjemne.

Drugi mechanizm dotyczy pamięci. Donald Redelmeier i Daniel Kahneman w badaniu z 1996 roku na 154 pacjentach po kolonoskopii i 133 po litotrypsji wykazali, że ocena całego doświadczenia zależała od najsilniejszego momentu i od ostatnich minut, a długość procedury nie wpływała na wspomnienie. Ankieta wysłana następnego ranka po gali mierzy więc głównie finał wieczoru i najmocniejszy punkt programu, a panel z godziny 11:00 zostaje w tle.

Trzeci mechanizm to próba. Explori, firma prowadząca badania uczestników wydarzeń, szacuje typowy odsetek odpowiedzi na ankiety po konferencjach i eventach firmowych na 10 do 20 procent. Z moich obserwacji odpowiadają najczęściej osoby z mocnym zdaniem w którąkolwiek stronę, a środek sali milczy. Przy 300 uczestnikach i 15 procentach odpowiedzi wynik opiera się na 45 osobach, a jedna z nich przesuwa NPS o ponad 2 punkty.

Pięć wskaźników, które czytasz obok NPS

NPS może zostać w raporcie. Potrzebuje jednak towarzystwa, które pokaże, czy za dobrą oceną stoi zmiana. Każdy z pięciu wskaźników poniżej ma swoje pytanie i jeden zakaz.

1. Pytanie o użyteczność

Zamiast drugiej skali zadowolenia zadaj pytanie otwarte: co z dzisiejszego dnia zastosujesz w pracy w ciągu dwóch tygodni. Odpowiedź konkretna, z nazwą narzędzia albo decyzji, jest sygnałem przeniesienia wiedzy. Metaanaliza Alligera wskazuje, że ten typ reakcji lepiej przewiduje naukę niż zadowolenie.

Zakaz: nie zastępuj tego pytania skalą „na ile przydatne było wydarzenie”. Skala daje kolejną średnią, a pytanie otwarte daje listę działań, którą sprawdzisz po miesiącu.

2. Odsetek odpowiedzi

Liczba odpowiedzi i jej udział w liczbie uczestników stoją w raporcie tuż obok wyniku. NPS 60 z 40 ankiet przy 500 osobach na sali opisuje 8 procent uczestników. Gdy odsetek jest niski, zadzwoń do kilku osób, które nie odpowiedziały, i zadaj im te same pytania.

Zakaz: nie porównuj wyników dwóch edycji, gdy liczba odpowiedzi różni się kilkukrotnie. Różnica wyniku może wtedy wynikać z tego, kto odpowiedział, bez związku ze zmianami w programie.

3. Rozkład ocen

Dwa wydarzenia z NPS 40 z przykładu wyżej wymagają innych decyzji, a różnicę między nimi widać dopiero w rozkładzie. Przy 15 procentach krytyków szukasz tego, co ich zawiodło, a przy 50 procentach pasywnych szukasz powodu, dla którego mało kto wyszedł poruszony. Rozbij wynik też według grup: nowi i powracający uczestnicy, klienci i partnerzy, dział sprzedaży i reszta firmy.

Zakaz: nie raportuj samej średniej ani samego NPS. Obie liczby ukrywają to, co w ankiecie najciekawsze: kto był rozczarowany i z jakiego powodu.

4. Pomiar po 30 dniach

Donald Kirkpatrick opisał na przełomie lat 1959 i 1960 cztery poziomy oceny szkoleń: reakcję, uczenie się, zachowanie i rezultaty. Ankieta w dniu wydarzenia zatrzymuje się na pierwszym z nich. Krótka ankieta po 30 dniach wraca do odpowiedzi z pytania o użyteczność i sprawdza, czy uczestnik zrobił to, co zadeklarował.

Zakaz: nie zamykaj raportu z wydarzenia w tygodniu, w którym się odbyło. Znasz wtedy reakcję, a o zmianie zachowania nie wiesz jeszcze nic.

5. Osobny wynik dla wystawców i partnerów

Na targach i konferencjach z częścią wystawienniczą uczestnik i wystawca oceniają dwa różne produkty. Raport UFI i Explori z 2017 roku, oparty na danych z 1040 targów w ponad 40 krajach, podał średni NPS wystawców na poziomie minus 17, a dodatni wynik miała tylko co czwarta impreza. Targi, które szkoliły wystawców, miały wynik wyższy o 23 punkty.

Zakaz: nie łącz ocen uczestników i wystawców w jedną liczbę. Zadowolona widownia może współistnieć z wystawcami, którzy nie wrócą w przyszłym roku.

Masz raport z ostatniego wydarzenia i nie wiesz, co z niego wynika? Umów konsultację 1:1 i przeczytajmy wyniki razem.

Sygnał ostrzegawczy w wynikach

Najprostszy test: zestaw NPS z odpowiedziami na pytanie o użyteczność. Wysoki wynik i ogólniki w rodzaju „ciekawe wystąpienia” albo „dobra organizacja” oznaczają, że wydarzenie było przyjemne, a uczestnicy nie wiedzą, co z nim zrobić. W takim raporcie zadowolenie jest wysokie, a efekt nieznany.

Odwrotna sytuacja też się zdarza. Średni NPS i kilkadziesiąt konkretnych deklaracji, na przykład zmiana procesu ofertowania albo umówione spotkanie z partnerem, opisują wydarzenie, które pracuje mimo przeciętnej oceny. O tym, jak zaplanować kontakt z uczestnikami po zamknięciu sali, pisałem w tekście o obsłudze posprzedażowej po evencie.

Jak ułożyć ankietę po wydarzeniu

Pięć pytań wystarczy, a z mojego doświadczenia każde kolejne widać w spadku odsetka odpowiedzi. Moja kolejność: NPS, jedno pytanie o najmocniejszy punkt programu, jedno o najsłabszy, pytanie o zastosowanie w pracy i pytanie o temat na następną edycję. Ankietę wysyłam w ciągu 24 godzin, póki uczestnik pamięta też poranne wystąpienia.

Pytania o catering, hotel i nagłośnienie zostaw dla zespołu produkcji w osobnym formularzu. Takie dane są potrzebne, ale w raporcie dla zarządu mieszają ocenę logistyki z oceną efektu. Szerzej o całym systemie pomiaru piszę w tekście o ewaluacji eventu firmowego, a o tym, dlaczego zrozumienie tematu nie oznacza jeszcze zmiany, w artykule wiedza nie jest rezultatem eventu.

Następnym razem, gdy w raporcie zobaczysz NPS 60, zapytaj, ilu uczestników zrobiło po wydarzeniu coś, czego wcześniej nie robiło. Dopiero ta liczba mówi, czy event zadziałał.

Najczęstsze pytania o NPS po evencie

Jaki NPS po evencie jest dobry?

Nie ma jednego progu dla wszystkich wydarzeń. Wynik dodatni oznacza więcej promotorów niż krytyków, a wśród wystawców targowych jest rzadkością: w raporcie UFI i Explori z 2017 roku miała go co czwarta impreza. Porównuj wynik z własnymi poprzednimi edycjami przy podobnej liczbie odpowiedzi.

Jak obliczyć NPS?

Od procentu ocen 9 i 10 odejmij procent ocen od 0 do 6. Przykładowo 55 procent promotorów i 15 procent krytyków daje NPS 40.

Czym NPS różni się od ankiety satysfakcji?

Ankieta satysfakcji pyta o ocenę elementów wydarzenia, NPS o gotowość polecenia całości. Obie miary opisują reakcję uczestnika, czyli pierwszy poziom w modelu Kirkpatricka, i żadna z nich nie mierzy zmiany zachowania.

Kiedy wysłać ankietę po wydarzeniu?

Pytania o reakcję w ciągu 24 godzin, a krótkie pytanie o zastosowanie po około 30 dniach. Badanie Redelmeiera i Kahnemana z 1996 roku pokazało, że ocena z pamięci opiera się głównie na najsilniejszym momencie i zakończeniu, więc późna ankieta mówi niewiele o środku programu.

Czy NPS nadaje się do mierzenia ROI eventu?

Sam w sobie nie. NPS mierzy deklarację, a ROI wymaga danych o przychodach lub kosztach, dlatego Reichheld w 2021 roku zaproponował miarę opartą na przychodach od powracających klientów i z ich poleceń.

Źródła: Frederick F. Reichheld, „The One Number You Need to Grow”, Harvard Business Review, 2003; Timothy L. Keiningham, Bruce Cooil, Tor Wallin Andreassen, Lerzan Aksoy, „A Longitudinal Examination of Net Promoter and Firm Revenue Growth”, Journal of Marketing, 2007; Timothy L. Keiningham i in., „The value of different customer satisfaction and loyalty metrics in predicting customer retention, recommendation, and share-of-wallet”, Managing Service Quality, 2007; Fred Reichheld, Darci Darnell, Maureen Burns, „Net Promoter 3.0”, Harvard Business Review, 2021; George M. Alliger i in., „A meta-analysis of the relations among training criteria”, Personnel Psychology, 1997; Donald A. Redelmeier, Daniel Kahneman, „Patients' memories of painful medical treatments”, Pain, 1996; Donald L. Kirkpatrick, „Techniques for evaluating training programs”, 1959-1960; Explori, „What is a good post-event survey response rate?”, 2021; UFI, Explori, „Global Exhibitor Insights”, 2017.

Było pomocne? Podaj dalej
→ Zobacz pozostałe artykuły

Przeczytaj również

ZGARNIJ BONUSY!

Dołącz do społeczności świadomych marketerów i otrzymaj pakiet bonusów za darmo! 🎉 Co 2 tygodnie wyślemy Ci też newsletter pełen konkretnych inspiracji z obszaru marketingu doświadczeń.

Dziękujemy! Zapisaliśmy Cię do Newslettera
Ups! Coś poszło nie tak