Roskatiede paljastaa, miten Valkee Oy yrittää vedättää korvavalon ostajia, käyttäjiä ja mediaa


Vuonna 2011 yrityksen alkutaipalleella Valkee Oy teki sponsorisopimuksen Kärppien kanssa. Yritys maksoi siitä, että Kärppäpelaajat osallistuvat tutkimukseen, jossa mitataan yhtiön valmistaman korvavalon vaikutusta suorituskykyyn huippu-urheilijoilla. Tarkoitus on tietenkin jymäyttää tavallinen punttisalillakäyvä uskomaan, että jos kerran huippu-urheilijat hyötyvät laitteesta, niin kyllä kai silloin tavallinen suorittajakin. Tämä on tietenkin virhepäätelmä: Tutkimus pitäisi tietenki tehdä niillä tavallisilla tallaajilla, jotta sitä voitasiin soveltaa tavallisiin tallaajiin. Tuohon aikaan Valkee Oy ei ostanut mainoksia mediasta, vaan pyrki samaan lehdistötiedotteiden avulla ilmaista mainosta juttujen muodossa. Ja toimittajat eivät tarkistaneet lähteitään. Tässä Ilta-lehden http://www.iltalehti.fi/jaakiekko/2011121214934873_jk.shtml kritiikittömässä jutussa mainostetaan surutta laitteen kykyä parantaa reaktiokykyä. Seuraavana keväänä MOT http://ohjelmat.yle.fi/mot/mot_12_3/kasikirjoitus teki jutun Valkee Oy:n saamasta miljoonalahjasta medialta ja sitten ilmaiset lounaat loppuivat. Kun tutkitaan jonkin lääkkeen tai laitteen vaikutusta ihmiseen, tarvitaan otoskooksi tuhansia ihmisiä. 22 ihmisä riittää tiedotteen laatimiseen, joten lähtökohtaisesti Valkee testi ei ollut tieteellinen tutkimus. Jo etukäteen tiedetään, ettei noin pienestä otoskoosta voi tehdä mitään luotettavia päätelmiä kliinisestä tehokkuudesta. Tästä syystä tutkimusta on ollut turha julkaista. Oikeat vertaisarvioidut tiedelehdet eivät kepuuta tämän tyyppisiä laitetestejä julkaistaviksi.

Kun Valkeen laitteen myynti kaamosmasennuspotilaille on hyytymässä, kun markkinat ovat jo kyllästyneet, niin yhtiö tarvitsee uusia uhreja. Siksi yhtiö yrittää kaupata laitettaan terveille ja siksi tuosta Kärppien laitekokeesta on laadittu tieteelliseltä näyttävä artikkeli http://www.ncbi.nlm.nih.gov/pmc/articles/PMC4026757/?report=classic. Tutkimus on julkaistu niin santussa Open Access lehdessä. Nämä lehdet julkaisevat mitä vain, sillä tutkimuksen tekijä – ei lukijat – maksavat julkaisemisesta. Kyse on siis uudesta mainosfoorumista. On olemassa myös sellaisia Open Acces julkaisuja, joita oikeat tiedemiehet käyttävät ja jotka ovat laadultaan hyviä. Valkeen käyttämä lehti ei kuulu niihin.

Näin tutkimus tehtiin

22 Kärppäpelaajaa jaettiin kahteen ryhmään korvaloa saaviin ja lumeryhmään. Valkee väittää, että ryhmät satunnaistettiin, mutta koska tämän tason pelaajien ei ole pakko osallistua lääketieteelliseen tutkimukseen, on todenäköisempää, että toimivan laitteen sai vapaaehtoiset ja toimimattoman laitteen sai laiteeseen nihkeästi suhtautuneet. Tätä ”sattunnaista” jakoa Valkee on noudattanut muissa tutkimuksissaan eli tutkimukseen tai markkinatutkimukseen osallistuneet valitaan tiukan seulan avulla, jotta tulokset olisivat parempia. Mene ja tiedä. Lehden vertaisarviointi ei puuttuunut tähän ilmeiseen kohtaan.

Yhtiö kertoo, että tutkimusprotokolla oli plasebokontrolloitu, satunnaistettu ja kaksoissokkoutettu. Näin on tietenkin siinä tapauksessa, että koehenkilöt ja koetta tekevät mittaajat ovat sokeita. Ensimmäisissä tutkimuksissa Valkee käytti lumekontrollina toimivaa, mutta heikkotehoista valoa. Tämä malli oli tietenkin otettu oikeista kirkasvalotutkimuksista, joissa lumevalona käytetään sellaista valotehoa, jonka tiedetään olevan vailla biologista vaikutusta. Valkeelle kävi vain nolosti. Valkeen käyttämä hyvin pienitehoinen ledtuikku osottautui yhtä tehokkaaksi biologisilta vaikutuksiltaan kuin Valkeen laitteessa oikeasti käyttämä lamppu ja ihan yhtä tehokkaaksi kuin kaksi kertaa tehokkaampikin lamppu. Siksi heikkotehoinen led ei sovi lumelampuksi. Seuraavaksi Valkee käytti lamppuja, jotka ovat mustatut. Niin tässä kärppäkokeessakin. On tietysti hankalaa selittää kärppäpelaajille uskottavasti, että kokeessa käyettävä valo ei välttämättä ole näkyvää, mutta niin kuitenkin tehtiin ja tähän meidän on nyt sitten uskomnen, jos haluamme uskoa, että koe oli plasebokontrolloitu. Meidän on myös uskotava, etteivät Kärppäpelaajat keskusteelleet koskaan kokeen aikana pukuhuoneessa kokeesta, käytettävistä laitteista ja tuloksista. Yhtiö ei tieteellisessä artikkelissaan kerro, miten sitten koetta suorittavat tiedemiehet saatiin uskomaan, että mustatut lamput ovat ihan samallalailla toimivia kuin oikeat valaisevat ledlamputkin. Tämän seikka on välttämätöntä tiettää, koska kyseessä oli muka KAKSOISsokkokoe. Lehden vertaisarvointi ei puutu tähän seikkaan, vaikka asia on yhtä tärkeä kuin koehenkilöidenkin sokkouttaminen.

Sitten tapahtui jotain kummallista. Pelaajat saivat viedä laitteen kotiin ja laitteen käytöä tai käyttämättömyyttä ei valvonut kukaan. Moni nuori mies halusi varmaan ilahduttaa laitteella mielummin tyttöystäväänsä. Se tiedetään, että yhtiö antaa laitteet aina lahjaksi koehenkilöilleen. Niitä ei siis tarvitse tyttöystävänkään palauttaa. Tutkimuksessa käytetty protokolla sopii huonosti ”satunnaistettuun, plasebokontrolloituun kaksoissokkokokeeseen.” Lehden vertaisarviointi ei puuttunut asiaan. 11 hoitoa saavaa olivat iältää välillä 25 vuotta – 31 vuotta. Hoitoa saavien kuuden vuoden ikäero on tässä erittäin tärkeä seikka. Kortrolliryhmän ikä ero oli oli vain 4 vuotta, siis 2 vuotta pienempi kuin hoitoa saavien.

Tämä tutkimus tehtiin lokakuussa 2011. Ajankohta on tärkeä huomata, sillä aikaisemmin kaamosmasunnusta koskevia tutkimuksia on tehty keväällä. Tällöin lisääntyvä luonnollinen auringonvalo hoitaa kokehenkilöt kätevästi terveeksi Valkeen lampuista huolimatta. Tässä tämä triviaalijuttu on nyt poissuljettu.

Mittaukset tehtiin Vienna test system laitteella

Kun puhutaan jääkiekkoilijan suorituskyvyn paranemisesta mieleen tulee, että pelaaja ampuu kiekon nopeammin ja tulisemmin. Sitä Valkee ei tutkinut. Valkee tutki kuinka nopeasti Kärppäpelaajan sormi menee nappulalle ja pois nappulalta, kun pelaaja kuulee äänen tai näkee kuvaruudulla valon. Yleensä tällä tutkimuslaitteella tutkitaan istumatyötä tekevien veturinkuljettajien reagointia junien opasteihin. Sen ymmärtää, että yhteys laitteen ja junankuljettajan todellisen työn välillä on selvä. Mutta mitä ihmettä tuolla laitteella oikein mitataan, kun kysessä on jääkiekkopelaaja? Mitä laitteella olevat tulokset kertovat pelisuorituksesta? Sitä Valkee ei kerro, mutta toivoo, että tyhmät tekevät virheellisiä johtopäätöksiä.

Muistattehan joskus kauan aikaa sitten Speden speleissä olleen laitteen, jossa oli neljä eriväristä ympyränmuotoista nappulla, joihin syttyi vuorotellen valo, ja pelaajan piti painaa valoja samassa järjestyksessä. Kärppäpelaajat laitettiin pelaamaan tällaista Speden speliä, jolla testattiin heidän muistamiskykyään. Oli siinä jätkillä hauskaa! http://www.cambridgecognition.com/tests/spatial-span-ssp Testillä tutkitaan työmuistia.

Visual analog scale. Esimerkki menetelmästä, jolla Valkee tutki unen laatua. Koehenkilöt merkitsivät joka aamu unen laadun käyttäen asteikkoa 0-10

Pelaajilta tutkittiin myös unenlaatua asteikolla 0-10. Oheisesta esimerkkikuvasta selviää, minkä tyyppistä huipputieteellistä menetelmää käytettiin.

Tuloksien tilastollisessa käsittelyyssä käytettiin varianssianalyysiä ja kovarianssianalyysiä. Varianssianalyysia  käytetään tutkittaessa eroavatko ryhmien keskiarvot tilastollisesti merkitsevästi toisistaan. Kovarianssianalyysissä lisätään varianssianalyysiin yksi selittävä muuttuja, tässä tapauksessa ikä. Jos ryhmät eroavat toisistaan iän perusteella, niin tämä saattaa näkyä kovarianssianalyysissä. Valkee oy perustelee iän käyttöä vain toteamalla, että ikä vaikuttaa asiaan, mutta ei anna lähdeviitettä. Näin ollen tieteellisen artikkelin lukija ei voi varmistaa, kuinka paljon ikä vaikuttaa ja kuinka suuri ikäero yleensä voi olla merkitsevää. Hoitoasaaneiden ikäero oli 6 vuotta ja lumeryhmän ikäero oli 4 vuotta. Valkee Oy:n mielestä ikäero ryhmien välillä on niin merkittävää, että se täytyy ottaa tilastollisessa analyysissä huomioon. Vertaisarvioija ei ole huomannut viitteen puuttumista. Valkee käytti tilastollisessa analyysissään siis Post-hoc analyysiä. Analyysiä käytetään tutkimaan dataa sen jälkeen, kun koe on jo suoritettu sellaiseen seikkaan jota ei oltu otettu huomioon etukäteen. Post-hoc analyysin tulokset pitää huolelillisesti nimenomaisesti merkitä, jotta vältytään lukijoiden harhaanjohtamiselta. Kun jälkikäteen valitaan uusia muuttujia kuten ikä, korvakäytävän halkaisija, kallon paksuus, veren hehemoglobiini ja niin edelleen, lisääntyy väärien postitiivisten mahdollisuus. Tämäntyyppistä tilastokikkailua käytetään siihen, että kokeet voitaisiin suunnitella seuraavalla kerralla paremmin.

Tulokset

Kaikki tulokset olivat sellaisia, että hoitoa saanut ryhmä ei eronnut lumeryhmästä.

Reaktioaika näköärsykkeeseen ennen ja jälkeen hoidon: Ei eroa lumeryhmään verrattuna

Motorinen aika näköärsytykseen ennen ja jälkeen hoidon: Ei eroa lumeryhmän kanssa

Kokonaisaika näköärsytykseen ennen ja jälkeen hoidon: Ei eroa lumeryhmän kanssa

Reaktioaika ääniärsytykseen ennen ja jälkeen hoidon: Ei eroa lumeryhmän kanssa

Motorinen aika ääniärsytykseen ennen ja jälkeen hoidon: Ei eroa lumeryhmän kanssa

Kokonaisaika ääniärsytykseen ennen ja jälkeen hoidon: Ei eroa lumeryhmän kanssa

Muistitesti ennen ja jälkeen hoidon: Ei eroa lumeryhmän kanssa

Unen laatu ennen ja jälkeen hoidon: Ei eroa lumeryhmän kanssa

Tulokset ovat siis täydellisesti sopusoinnussa aikaisempien tutkimusten kanssa, joissa ei ole saatu esiin mitään vaikutusta.

Valkee tekee kuitenkin näistä mittaustuloksista kaksi johtopäätöstä. Tiivistelmässä sanotaan:

Psychomotor speed, particularly motor time with a visual warning signal, improves after transcranial bright light treatment in professional ice-hockey players during the competition season in the dark time of the year.

Psykomotorinen nopeus, etenkin motorinen aika näköärsykkeeseen, paranee kallonlävitse annettavan kirkasvalohoidon jälkeen ammattilasjääkiekkoilijoilla kilpailukaudella vuoden pimeänä aikana.

Itse artikkelissa on seuraava johtopäätös:

Transcranial bright light treatment via the ear canals may improves motor time with a visual warning signal in elite athletes, suggesting that brain tissue is responsive to direct light exposure.

Kallonlävitse korvakäytävää pitkin annettava kirkasvalohoito saattaa parantaa motorista aikaa näköärsykkeeseen viitaten siihen, että aivokudos reagoi suoraan valoon.

Yleensä tiivistelmän johtopäätökset ovat lyhennelmä varsinaisen tutkimuksen johtopäätöksistä. Tässä tapauksessa johtopäätökset ovat aivan erisisältöisiä. Koska itse artikkeli ei sisällä tiivistelmässä olevaa johtopäätöstä, on mahdonta sanoa, miten tiivistelmän johtopäätökseen oikein päädytään.

Katsotaan Valkeen alkuperäiset mittaustulokset motoorisen ajan osalta:

 NäköarsykeMotor time, ms kirkasvaloryhmäennen128 ± 43 jälkeen94 ± 26 Lumeryhmäennen121 ± 23 jälkeen110 ± 32 p=0.055p = 0.024

 

Kuten huomaamme, siinä ajassa missä pelaaja ottaa sormen pois nappulalta, niin kirkasvaloryhmän ja lumeryhmän välillä ei ole tilastollista eroa (p=0,055). Tuloksissa esiintyvä toinen p arvo 0,024 on saatu kovarianssianalyysillä lisäämällä jälkikäteen yhdeksi muuttujaksi pelaajan ikä. Mielestäni pelaajien iät eroavat niin vähän toisistaan, että tällä seikalla ei ole oikeasti merkitystä ja kovarianssianalyysi antaa väärän positiivisen tuloksen.

Tiivistelmässä sanotaan virheellisesti, että psykomotorinen nopeus olisi lisääntynyt. Psykomotorinen nopeus koostuu kahdesta osasta motorisesta nopeudesta ja reaktionopeudesta eli kyse on kokonaisnopeudesta (total time). Valkee on esittänyt tuloksissa kokonaisnopeuden ja tehnyt tilastollisen testin, jonka mukaan kokonaisnopeuden muutos ei eroa luneryhmästä tilastollisesti merkitsevällä tavalla. Valkee yrittää hämätä uskomaan, että koska motorinen nopeus on osa psykomotorista nopeutta, niin silloin voidaan väittää, että myös psykomotorinen nopeus olisi muuttunut. Loogisesti ajatellen näin pitäisikin olla, mutta mittaustulos kertoo muuta. Asia on looginen, kun ajatellaan että muutos ikähuomioidussa motorisessa nopeudessa ei riitä kääntämään kokonaisaikaa tilastollisesti merkitseväksi.

Varnaisessa tekstissä ei tehdä mitään johtopäätöksiä pelaajien suorituskysystä vaan johtopäätös on luonteeltaan aivan toinen. Johtopäätöksessä arvellaan vain, että saattaapi olla että valo vaikuttaa korvien kautta aivoihin ( ja saattaapi olla että ei vaikutakaan). Tästä voidaan vetää sellainen johtopäätös, että tiivistelmä ei ole mennyt vertaisarvioinnin kautta. Missään Valkee ei kehtaa kertoa löydösten kiinisestä merkittävyydestä.

Kun tutkitaan jonkun lääkeaineen tehoa, tarvitaan tuhansia koehenkilöitä. Kun koehenkilöitä on vain 11 + 11, niin etukäteen jo tiedetään, ettei tuollaisella otoskoolla saada näkyviin tehoa tai sen suuruutta. Valkee kirjoittaa kuitenkin epätieteellisesti väärin päin asiasta. Eli että kun otoskoko oli niin pieni, niin siksi tilastolliset testit eivät toimi, laite kyllä toimii. Yhtiö kehtaa väittää, että ilmeinen suunta oli nähtävissä ilman ikämanipulointia. Minä en havainnut muuta suuntaa kuin sen mikä selittyy sillä, että kun pelaajat tekevät saman testin toiseen kertaan, he suoriutuvat siitä hieman näppärämmin. Vaikka mitään parannusta ei nähty, niin siitä huolimatta Valkee selittää, että osa parannuksesta voi johtua plasebosta tai oppimisesta. Yhtiö tunnustaa, että pelaajat ja tutkijat tiesivät, että kyse on kirkasvalotutkimuksesta ja siksi saattoivat tietää, kumpaan ryhmään kuuluivat eli suomeksi sokkoutus ei onnistunut eikä siis myöskään plasebokontrollointi, mutta tämähän ei eroa yhtiön linjasta mitenkään.

Suosittelen tutkimukseen osallistuneita tiedemiehiä irtisanoutumaan tutkimuksen johtopäätöksistä tieteellisen uskottavuuden palauttamiseksi.

Tässä yhteydessä on muistutettava, että tieteelliset väärinkäytökset ja väärät johtopäätökset, vaikka ne tehtäisiin tahallaan, eivät ole rikoksia.

Advertisements

One thought on “Roskatiede paljastaa, miten Valkee Oy yrittää vedättää korvavalon ostajia, käyttäjiä ja mediaa

  1. Päivitysilmoitus: Markkinoiko Valkee korvavaloaan suorituskyvyn parantajana? | Roskatiede

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out / Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out / Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out / Muuta )

Google+ photo

Olet kommentoimassa Google+ -tilin nimissä. Log Out / Muuta )

Muodostetaan yhteyttä palveluun %s