Kto chce oprzeć coś poważnego na badaniach mikrobiomu jelitowego, musi najpierw odpowiedzieć na jedno oczywiste pytanie. Jeśli dwie duże kohorty opisują związek tego samego czynnika w diecie z tym samym rodzajem bakterii, to czy ich wyniki są w ogóle zgodne?
To nie jest tylko akademicka pedanteria. Inwestorzy, partnerzy i czytelnicy z technicznym zacięciem powinni podchodzić sceptycznie do każdej firmy, która obiecuje zamienić publikacje o mikrobiomie w praktyczne wskazówki. Chyba że pokaże, że dowody, na których się opiera, przynajmniej co do kierunku utrzymują się w niezależnych kohortach.
Ten wpis podsumowuje pierwszy krok walidacji w naszym publicznym programie badawczym, który prowadzimy przy Gut Twin (trzewnym bliźniaku). Nie chodziło nam o chwytliwy nagłówek ani o kolejną opowieść o „zdrowych jelitach”. Cel był węższy i ważniejszy: sprawdzić, czy opublikowane tabele współczynników z porównywalnych badań diety i mikrobiomu są na tyle spójne, żeby można było je dalej rzetelnie wykorzystywać.
Ten pierwszy krok celowo zawęziliśmy. Zanim zapytamy, czy nowsze kohorty oparte na sekwencjonowaniu shotgun i transformacji CLR da się włączyć do tej samej warstwy dowodów, chcieliśmy ustalić, czy ponowne wykorzystanie danych w ogóle ma sens w najbardziej porównywalnej grupie publikacji.
Problem z fundamentami produktów mikrobiomowych
Literatura o diecie i mikrobiomie jest dziś tak obszerna, że niemal każdy może z niej ułożyć dowolną historię. I właśnie w tym tkwi problem. Większość badań korzysta z innych kwestionariuszy, innych metod sekwencjonowania, innych ram statystycznych i innego kodowania zmiennych. Dwie prace mogą pozornie opisywać „ten sam” związek, a w rzeczywistości mierzyć różne rzeczy w różnych jednostkach.
Opublikowanych wyników nie brakuje. Prawdziwym wąskim gardłem jest przenośność współczynników. Czy da się porównać, przesiać i połączyć opublikowane wyniki tak, żeby nie zamieniły się w stertę sygnałów, które z nazwy wyglądają podobnie, a metodologicznie do siebie nie pasują?
Nasze podejście jest proste: jeśli nie potrafisz pokazać, że porównywalne badania zgadzają się w podstawach, nie buduj na nich wspólnej warstwy dowodów.
Co sprawdziliśmy
Nie próbowaliśmy porównać całej literatury o mikrobiomie. Z metodologicznego punktu widzenia byłoby to niepoważne. Zamiast tego ustaliliśmy wąski warunek zgodności: sekwencjonowanie 16S, regresja z rodziny MaAsLin i kodowanie czynników na tyle podobne, żeby porównywanie na poziomie współczynników miało sens.
Z jedenastu kohort, które braliśmy pod uwagę, przez ten filtr przeszły tylko trzy.
- Opublikowane badaniaJedenaście kohort branych pod uwagę
- Filtr zgodnościZostały tylko kohorty analizowane tak samo (sekwencjonowanie 16S, MaAsLin)3 z jedenastu
- HarmonizacjaPrzyporządkowaliśmy 59 czynników diety i stylu życia i oznaczyliśmy 9, które w różnych kohortach znaczą co innego
- WalidacjaSprawdziliśmy, czy wspólne pary wskazują ten sam kierunek89% zgodności przy silnych sygnałach
- Warstwa odniesienia 16SZweryfikowana baza, na której opierają się kolejne prace
Oto one:
- LifeLines-DEEP: 1135 dorosłych z Holandii, wyniki opublikowane w Science (2016)
- Flemish Gut Flora Project: 1106 dorosłych z Belgii, również w Science (2016)
- American Gut Project: 4376 dorosłych, głównie z USA. Te dane przeanalizowaliśmy sami od nowa, na podstawie publicznie dostępnych danych, żeby dało się je porównać z badaniami europejskimi
W trzech kohortach przyporządkowaliśmy do siebie 59 czynników związanych z dietą i stylem życia. Osobno oznaczyliśmy dziewięć przypadków, w których zmienne nazywały się podobnie, ale różniły się znaczeniem albo skalą. Ten katalog niedopasowań to ważna część całej pracy. Żeby rzetelnie wykorzystać cudze dane, trzeba wychwycić miejsca, w których naiwne dopasowanie po słowach kluczowych stworzyłoby fałszywą rozbieżność albo fałszywą zgodność.
Potem zadaliśmy najprostsze możliwe pytanie walidacyjne: jeśli dwie kohorty podają współczynnik dla tego samego czynnika i tego samego rodzaju bakterii, to czy zgadzają się co do kierunku?
Co wyszło
Odpowiedź brzmi: tak, w obrębie tej zgodnej metodologicznie grupy i w ograniczonym zakresie, w jakim te badania się dziś pokrywają.
Wśród najsilniejszych wspólnych sygnałów, czyli związków istotnych statystycznie w obu kohortach, w największym porównaniu 89% wskazywało ten sam kierunek.
| Wszystkie porównywalne pary | Tylko silne sygnały | |
|---|---|---|
| Holenderska a amerykańska | 67,3%, 37 z 55 | 88,9%, 16 z 18 |
| Belgijska a amerykańska | 75%, 9 z 12 | 60%, 3 z 5 |
| Holenderska a belgijska | 75%, 3 z 4 | 75%, 3 z 4 |
Dokładnie: 16 z 18 wspólnych istotnych par zgadzało się między holenderską kohortą LifeLines-DEEP a przeliczoną od nowa kohortą American Gut. Wielkości współczynników również były ze sobą dodatnio skorelowane, co sugeruje, że zgodność nie dotyczyła wyłącznie kierunku efektu.
Kiedy poszerzyliśmy porównanie o wszystkie porównywalne pary, niezależnie od siły statystycznej, zgodność spadła do 67%. To nie dziwi. Słabe sygnały są bardziej zaszumione, a każda poważna metoda łączenia danych powinna odróżniać szerokie pokrywanie się wyników od pokrywania się z wysoką pewnością.
Tylko dwa związki dało się sprawdzić we wszystkich trzech kohortach. Oba dotyczyły typu stolca w skali bristolskiej:
- Luźniejsza kupa, mniej Bacteroides: zgodność we wszystkich trzech kohortach
- Luźniejsza kupa, więcej Roseburia: zgodność we wszystkich trzech kohortach
To nie są efektowne odkrycia, ale są przydatne. Pasują do tego, co wiadomo o fizjologii czasu pasażu jelitowego, i służą jako czyste biologiczne punkty odniesienia w niewielkim zbiorze wspólnych wyników.
Co to oznacza
Ten wynik nie oznacza, że nauka o mikrobiomie powiedziała już ostatnie słowo. Nie oznacza też, że opublikowane tabele współczynników można stosować zamiennie w surowej postaci. Wspólna część jest tu ograniczona. Trzy zachodnie kohorty to wąski wycinek tego, jak różnie odżywiają się ludzie na świecie, a tylko 17 z 59 zharmonizowanych czynników dało się porównać w co najmniej dwóch badaniach.
Oznacza za to, że jeśli starannie sprawdzić zgodność, ujednolicić pojęcia i jawnie opisać niedopasowania, da się odtworzyć wspólną przestrzeń porównań. A zgodność w tej przestrzeni jest na tyle duża, że warto iść dalej.
Dla badaczy to przydatny wynik metodologiczny. Dla partnerów i inwestorów to dowód, że nie traktujemy „literatury” jak jednolitej masy. Budujemy warstwę dowodów etapami, zaczynając od tych publicznych wyników, którym walidacja pozwala zaufać najwcześniej.
W naszym przypadku oznacza to, że zanim zabierzemy się do trudniejszych problemy z łączeniem metod, ustalamy warstwę odniesienia. Kolejne pytanie metodologiczne brzmi więc: czy kohorty powstałe przy użyciu innych metod sekwencjonowania i transformacji danych można dodać bez utraty porównywalności?
Dlaczego to ważne dla Gut Twin
Gut Twin to powstające narzędzie, które daje wskazówki żywieniowe oparte na publicznych i uporządkowanych dowodach o tym, jak sposób jedzenia wiąże się ze składem mikrobiomu jelitowego. Da się go obronić tylko wtedy, gdy proces zbierania dowodów jest bardziej rygorystyczny niż „zbierz dużo publikacji i uśrednij wyniki”.
Ta walidacja to pierwsza warstwa tego procesu. Zanim włączymy kohorty do dalszych modeli, chcemy wiedzieć:
- które badania w ogóle da się porównać
- gdzie zgodność jest prawdziwa
- gdzie rozbieżność wynika najpewniej z metodologii
- i gdzie wspólna część jest wciąż zbyt mała, żeby uzasadnić mocne twierdzenia
Uważamy, że tej dziedzinie przydałoby się więcej takiego podejścia.
Co udostępniamy
Udostępniamy logikę walidacji, metadane harmonizacji i zbiorcze statystyki zgodności, dzięki którym inni mogą prześledzić nasze rozumowanie.
Nie udostępniamy zintegrowanych wag gotowych do użycia w modelu ani całego systemu modeli, który na nich działa. To część naszej zastrzeżonej infrastruktury, którą budujemy na zweryfikowanej bazie publicznych dowodów.
Co dalej
To pierwsza praca z serii, którą publikujemy etapami. Ustala wąską warstwę odniesienia 16S/MaAsLin, z którą muszą się połączyć kolejne rozszerzenia. Nowe kohorty mogą wejść do tych ram dopiero wtedy, gdy przejdą ten sam podstawowy test: najpierw zgodność metodologiczna, potem harmonizacja, a przed włączeniem do modelu walidacja.
To wolniejsze niż wrzucenie do jednego worka wszystkiego, co wygląda na przydatne. Uważamy jednak, że to jedyny wiarygodny sposób, żeby opierać się na publicznych dowodach o mikrobiomie i nie obiecywać więcej, niż literatura jest w stanie udźwignąć.
Kolejny krok w serii bierze na warsztat właśnie ten trudniejszy przypadek. Sprawdzamy w nim, czy wybrane nowsze kohorty shotgun/CLR da się połączyć z tą warstwą odniesienia dzięki empirycznej kalibracji na punktach zakotwiczenia. Tak poszerzamy zasięg danych, nie udając, że wszystkie przestrzenie współczynników są ze sobą z natury wymienne.
Marvin Uhlmann i Maria Otworowska Gut Twin Research, Bliss Labs OÜ
Pełna praca techniczna, po angielsku: „Building a harmonized public evidence base for diet-microbiome modelling: initial validation across three 16S cohorts.”