Всякакво научно изследване разчита на метода на репликацията, или възпроизвеждането, за да бъдe потвърденo, а впоследствие и разпространенo в по-широк мащаб. Това е и единственият начин да се докаже, че резултатите от едно изследване не са случайност. В областта на изкуствения интелект (ИИ) обаче повечето изследователи и учени не публикуват точния изходен програмен код, на който са базирали алгоритмите си, нито данните, с които ги „обучават“. Поради това най-различни интересни и обещаващи изследвания с ИИ е невъзможно да бъдат репликирани и потвърдени от други организации.
Според списание Science на среща на Асоциацията за напредък на изкуствения интелект (AAAI), Одд Ерик Гундерсен компютърен учен в Норвежкия университет за наука и технологии в Тронхейм, е споделил доклад, според който само 6% от близо 400 алгоритъма, представени на две ИИ конференции през последните две години, са предоставили на публиката изходния код. Само една от три организации пък е представила данните, с които обучава и тества програмата си, а едва половината дават достъп до обобщено резюме, описващо алгоритъма, но с ограничени детайли – нещо, наречено „псевдокод“. Гундерсен казва, че тази тенденция на прикритост, завоалираност и потайност трябва да се прекрати, ако искаме ИИ да напредне така, както има потенциала да го направи – и ако искаме употребата му в различни аспекти от живота да стане по-широкоразпространена.
Проблемът е обострен най-вече при изследванията с алгоритми с машинно обучение, които придобиват знания чрез практика и опит. Използването на различни данни за обучение на машината би довело до тотално различни резултати накрая, а начинът на реагиране на ИИ да варира неимоверно в различни изследвания, проведени, без да е споделен изходният код. Разбира се, има много причини той да не се споделя толкова свободно – може би още е в разработка или е защитена собственост. Учените обаче смятат, че бъдещето на индустрията зависи от способността да се погледне отвъд конкуренцията, а за да се доверим на ИИ, трябва да можем да копираме и потвърдим резултатите от всяко едно изследване, проведено до момента.
