Prawo Goodharta czyli dlaczego nie należy płacić za szczurze ogony?

Na przełomie XIX i XX wieku w Hanoi typowy francuski kolonista mieszkał w bogatej dzielnicy przy wysadzanej drzewami alei. Jego dumą był system kanalizacyjny biegnący pod francuską częścią miasta. Kanalizacja była symbolem czystości  i postępu, wyrazem wyższości kultury i cywilizacji kolonialnego imperium. Dlatego też dość duże zakłopotanie u większości Francuzów  wywoływał  fakt,  że z rur kanalizacyjnych zaczęły wychodzić szczury. Te skądinąd inteligentne stworzenia nie wyczuły niechęci mieszkańców bogatych dzielnic a wykrzykiwane na ich widok “Merde!” potraktowały  jako element radosnego przywitania. Okazało się, że dziewięciomilowy, ciemny, chłodny i chroniący przed drapieżnikami system rur to dla szczurów nowy wspaniały świat. Gryzonie efektywnie korzystały z utworzonych udogodnień i rozmnażały się wykładniczo. Chcąc okazać wdzięczność tym, którzy stworzyli te wspaniałe warunki szczury coraz częściej opuszczały rury kanalizacyjne  ochoczo  manifestując w ten sposób swój sukces reprodukcyjny. Gdyby nie wyraźny deficyt w poziomie inteligencji emocjonalnej może gryzonie odkryłyby,  że z jakiegoś powodu panie w strojach kapeluszach i panowie w białych garniturach nie darzą ich sympatią. Po części nie było to ich winą. Napędzana głównie różnicami międzygatunkowymi ludzka niechęć do szczurów była dodatkowo wzmacniana faktem, że w tamtym czasie zaczęły się pojawiać przypadki dżumy a szczury były podejrzane o jej roznoszenie.

Przyzwyczajeni do narzucania swojej woli koloniści naturalnie nie godzili się z  niesubordynacją  włochatych czworonogów. Wynajęto całą armię wietnamskich łowców,  których wynagradzano  od sztuki: oddzielnie za każdego zabitego szczura. System, jak się wydawało, działał bardzo sprawnie. W pierwszym tygodniu zarejestrowano blisko 8 tysięcy  martwych szczurów; w następnym miesiącu już każdego dnia zabijano ich  średnio 4000, a w rekordowym w dniu 30 maja odnotowano śmierć 15 041.

Jak wskazuje francuski historyk Michael Vann: choć polujący w ciemnych, cuchnących i  ciasnych kanałach łowcy szczurów byli coraz skuteczniejsi,  gryzonie uparcie  odmawiały wyprowadzenia się z francuskich willi.  Sięgnięto po alternatywne  rozwiązanie: nagrodę za udane polowanie  mógł od teraz uzyskać każdy, kto odda szczurzy ogon - dowód uśmiercenia - odpowiedniemu francuskiemu urzędnikowi (tak na marginesie:  niezła robota: liczenie szczurzych ogonów).

Koloniści byli bardzo z siebie dumni: stworzyli idealny system zachęcający Wietnamczyków do działalności gospodarczej.  Jednak  wietnamskie wyobrażenie na temat przedsiębiorczości nieco różniło się od francuskiego. Najpierw pojawiły się szczury bez ogonów:  Wietnamczycy woleli odciąć szczurowi ogon niż go zabijać.  Potem okazało się, że po nagrodę zgłaszali się również ludzie, którzy przywozili szczury ze wsi,  innych miast, a nawet z zagranicy. Szczytowym osiągnięciem Wietnamczyków było jednak założenie szczurzych farm we wsiach na obrzeżach Hanoi.

Można tę historię opowiadać jako anegdotyczną przypowieść moralną na temat arogancji ludzi reprezentujących tak zwaną nowoczesność; pokładających bezkresną wiarę w dokonania naukowe, przekonanych o wyższości własnego doświadczenia.  Można też po prostu śmiać się z Francuzów. Anglicy mają pewnie ubaw  choć  sami mieli podobne doświadczenia z Hindusami, którym płacono za zabijanie węży.

W końcu można też, i tą drogą podążę dzisiaj, opowiadać tę historię jako wstęp do przedstawienia tak zwanego "efektu kobry” lub inaczej: prawa Goodharta.

O czym mówi prawo Goodharta?

Bodźce, które w zamierzeniu miały służyć czemuś dobremu, często prowadzą do  niepożądanych konsekwencji. Można też to wyrazić inaczej:

gdy to co mierzymy staje się celem przestaje to być dobrym sposobem pomiaru.

Jeden z klasycznych przykładów  pochodzi  z XVIII wieku.  W ówczesnej Anglii państwo wprowadziło podatek, którego wielkość była zależna od liczby okien w domu.  Wydawało się to rozsądne: im większy budynek tym więcej okien; i praktyczne: okna łatwo jest policzyć.  Zamiast zwiększonych dochodów państwa Anglia z dnia na dzień stała się krajem z największą liczbą zamurowanych okien na świecie.  A wszystko po to by płacić mniejsze podatki.  To dobry przykład pokazujący, że zastosowana do celów podatkowych miara nie tylko okazała się nieefektywna ale też doprowadziła do całkowicie niezamierzonych, negatywnych skutków.

Niewyczerpywalnym źródłem przykładów obrazujących prawa Goodharta był nostalgicznie wspominany przez niektórych Związek Socjalistycznych Republik Radzieckich. W zarządzanej centralnie gospodarce planowej normy wydajności określane były odgórnie: światli narodowi planiści ustalali na przykład ile gwoździ  ma zostać wyprodukowane. Skoro liczba była celem operatorzy fabryk produkowali miliony malutkich, kompletnie bezużytecznych gwoździków, dzięki czemu mogli pochwalić się przekroczeniem norm i prężyć  klatki do orderów. Ponieważ to nie było dokładnie to o co chodziło planistom cele zostały zmienione:  tym razem postawiono nie na liczbę ale na masę wyprodukowanych  gwoździ.  Do tego fabryki również się dostosowały: zaczęto produkować tak samo ogromne, ciężkie, jak i nieprzydatne gwoździe giganty.

Błądzimy kiedy myślimy o tym, że jesteśmy w stanie tego uniknąć i nas to nie dotyczy.

Rozejrzyjmy się.

W naszym codziennym życiu możemy znaleźć wiele podobnych radzieckiemu, francuskiemu czy angielskiemu przykładów.

Edukacja

Prestiż szkoły i praca nauczycieli, oceniane są głównie w oparciu o rezultaty, jakie uczniowie uzyskują na egzaminach ósmoklasisty lub maturalnych. Wyniki te mają w zamierzeniu mierzyć wiedzę i umiejętności, jakie uczeń nabył w procesie edukacji.  W efekcie obserwujemy, że ostatnie kilka miesięcy kształcenia w klasie ósmej lub maturalnej, nie służy niczemu innemu jak tylko przygotowywaniu się do zdawania egzaminów. Presja wywierana na nauczycieli (w dużej mierze przez rodziców) sprawia, że koncentrują się oni na nauczaniu umiejętności zdawania testów. Jeżeli wyniki testów są dobrym odzwierciedleniem: inteligencji, wiedzy, kreatywności i ciężkiej pracy uczniów to znaleźliśmy świętego Graala. Jeżeli jednak tak nie jest,  a myślę że nie jestem jedynym, który ma co do tego wątpliwości,  to postawiliśmy wóz przed koniem: właśnie zaczęliśmy płacić za martwe węże i produkować monstrualne gwoździe. Dostajemy produkt doskonały; absolwentów szkoły, którzy świetnie umieją rozwiązywać testy nie posiadając przy tym zdolności refleksji, pogłębionej wiedzy, umiejętności argumentowania czy wrażliwości na piękno. A jednocześnie przekonanych, że to co nie pojawia się na testach jest niepotrzebne a przynajmniej  dużo mniej cenne np.: muzyka, plastyka.

Skoro już jestem przy temacie testów i przechodzenia ze szkoły do szkoły; bycie wolontariuszem daje ósmoklasistom dodatkowe punkty. Idea jest szlachetna. Większą dumą napawa mnie fakt, że moje dziecko bezinteresownie pomaga  i z pełnym przekonaniem angażuje się w jakąś większą sprawę, niż gdy w elektronicznym dzienniku pojawia się piątka (a wcale nie ma ich zbyt wiele). System jednak w znacznej mierze się wypaczył.  W wielu miejscach można zdobyć papier. Zaświadczenie o wolontariacie, o którym nawet uczniowie wyrażają się lekceważąco; to śmieszny świstek, który ma potwierdzać, że jesteśmy wrażliwi, zaangażowani, pełni inicjatywy czy otwarci na nowe doświadczenia. Dla wielu uczniów,  o czym nieraz przekonują się organizacje pozarządowe, jest to tylko punkt do odkreślenia, niemający nic wspólnego z ideą wolontariatu. Efekt jest taki, że stworzyliśmy skuteczny sposób na zmianę motywacji wewnętrznej na zewnętrzną: “robię to ponieważ zostanę za to nagrodzony” zamiast “robię to bo czuję że to jest potrzebne, chcę pomóc, być częścią czegoś ważnego”.

Ale nie ograniczajmy się tylko do uczniów i szkoły. Wyobraź sobie, że zatrudniasz ludzi do pracy.   Kogo potrzebujesz? Po prostu kogoś kto będzie dobrze pracował. Nie jesteś w stanie zmierzyć tego w czasie procesu rekrutacji, dlatego szukasz mierników, które ci w tym pomogą. Okazuje się, że wśród twoich pracowników wydajność pracy jest dość mocno skorelowana z inteligencją. Zatem, logiczne, przyjmując nowe osoby mierzysz ich IQ i wybierasz kandydatów, którzy dobrze wypadają w testach.  Wkrótce twoi ludzie to członkowie klubu Mensa; którzy świetnie radzą sobie z rozwiązywaniem trudnych zadań logicznych ale nie potrafią wykonywać swoich obowiązków albo kompletnie nimi znudzeni,  a w konsekwencji sfrustrowani i rozgoryczeni. Wybierając do pracy osoby  inteligentne jednocześnie ignorując inne czynniki,  tak jak choćby sumienność czy obowiązkowość, liczyliśmy na to, że będą pracować wydajniej.

Efekt kobry świetnie funkcjonuje w świecie który jest mi najbliższy; w akademii. Kierowani naczelnym hasłem:  “publikuj albo giń”  naukowcy starają się dotrzeć z wynikami swoich badań do renomowanych czasopism. Sukces akademicki  od dziesięcioleci mierzony jest liczbą publikacji, liczbą cytowań i tak zwanym: współczynnikiem wpływu. Wszystkie one stały się celem  samym w sobie. W badaniu, w którym przeanalizowano 120 milionów artykułów klarownie opisano, jak naukowcy się dostosowują.

· Od dziesięcioleci rośnie liczba publikacji przypadająca na jednego autora.

· Rośnie liczba współautorów artykułu; zgodnie z zasadą  dziś  ja dopiszę ciebie jutro to ty dopiszesz mnie.

· Publikowane artykuły są coraz krótsze.

· Autorzy częściej niż w przeszłości cytują swoje własne dzieła ale też wydłużają listę pozycji literaturowych.

· Niektóre czasopisma korzystają z bardzo wąskiej puli autorów.

· Do tego dochodzą  zachowania nieetyczne polegające na   celowym wzajemnym  cytowaniu. W Polsce nazywamy to spółdzielniami: ja cytuję ciebie Ty  cytujesz mnie.

· Podyktowane zasadami zatrudniania w uniwersytetach dążenie do zamieszczenia  swojego artykułu w czasopiśmie sprawia również, że mamy do czynienia z coraz częściej ujawnionymi manipulacjami w zakresie stosowanych metod i wyników badań.

· Mnożą się  też drapieżne czasopisma, które publikują wątpliwe dane po wniesieniu odpowiedniej opłaty.

· W końcu większe szanse na publikowanie mają artykuły, których wyniki są pozytywne. Tymczasem jak przeczytamy w każdym podręczniku metodyki badań: wynik negatywny, którego przesłanie brzmi: “Ja tam poszedłem i okazało się, że wszedłem w ślepą uliczkę; w swoich badaniach szukaj odpowiedzi gdzie indziej “ -jest tak samo cenny jak ten, który pokazuje sukces.

Omawiane prawo widzimy wszędzie.

· Biznes. Gdy celem firmy reklamowej jest  zwiększenie liczby kliknięć  tworzy się atrakcyjne zachęty kompletnie nie zważając na to, kto klika. Kampania reklamująca samochody uzyskująca wynik na poziomie 15% (odsetek osób, które zobaczyły reklamę i w nią kliknęły) to wynik absolutnie niesamowity, chyba że wskaźnik ten uzyskano dzięki nastolatkom zachęconym widokiem  ponętnej aktorki  na tle czerwonego Ferrari.

· Nauka języka obcego. Uczymy się języków używając aplikacji,  w której gromadzimy punkty i awansujemy do lepszych  lig. Chęć bycia wyżej w rankingu skłania nas do wykonywania zadań, które gwarantują więcej punktów w krótszym czasie i mniejsze ryzyko niepowodzenia. Kompletnie zapominamy przy tym, że nie chodzi o  to by gromadzić diamenty i być liderem w lidze ametystowej,  tylko o to by nauczyć się języka.

· Praca policji. Kiedy poszedłem zgłosić kradzież roweru, przez większość czasu miły policjant próbował przekonać mnie bym odstąpił od zgłoszenia, bo oni i tak go nie znajdą  a formalne zgłoszenie pogorszy im statystyki wykrywalności.

· Urzędy. Wiele urzędów chętniej rekrutuje  do programów wspierania przedsiębiorczości bezrobotnych,  którzy nawet bez pomocy byliby w stanie znaleźć sobie zatrudnienie.  Powód:  konieczne jest wykazanie się skutecznością w realizacji programu.

Co z tego wynika?

Jeżeli miałbym wybrać jedną rzecz o której warto pamiętać po przeczytaniu tego artykułu to byłoby to stwierdzenie:  jeżeli chcesz się pozbyć szczurów, nie płać za ogony.

Gdybym jednak  w ramach podsumowania miał pokusić się  o coś więcej  napisałbym tak:

• wszelkie zależności statystyczne ulegną załamaniu, gdy zostaną użyte do celów polityki;
• zawsze gdy pojawiają się ratingi i porównania  równolegle powstają metody wpływania na ich wynik, co skutecznie tworzy karykaturę intencji twórców;
• postęp i rozwój często zależą od tych, którzy są zbyt krnąbrni i  niefrasobliwi by wykazywać się tak zwaną mądrością życiową i dostosowywać swoje cele do dominujących miar.  To zwykle ludzie, którzy na pierwszym miejscu stawiają  swoją pasję i zamiłowania;
• systemy oceny muszą istnieć ale ich rola nie może być przeceniona;
• zamiłowanie do tego co robimy powinno wypierać z naszego myślenia ogólnie przyjęte zasady oceny;
• w edukacji: chęć zrozumienia otaczającego świata powinna dominować nad uleganiem presji zdobywania wysokich ocen;
• prawdziwym naukowcem jest ten, kto kieruje się chęcią poszukiwania prawdy i zgłębianiem tajemnic życia, a nie myślą o  publikacji w renomowanym czasopiśmie;
• radość i poczucie spełnienia wynikające z tworzenia pouczających  filmów i zabawnych  postów powinny być stawiane przed umiejętnością wpasowania się w algorytmy przeglądarki.

Prawo Goodharta działa, gdyż próbujemy zmierzyć wydajność czujących istot, które wiedzą, że ich poczynania są mierzone, co z kolei skłania je do tego by wykorzystać metodę pomiaru na  własną korzyść. I ostatecznie tylko te same, czujące i myślące istoty mogą przeciwstawić się temu prawu, robiąc to co słuszne.