Для объяснения модели можно использовать инструмент What-If Tool (https://ai.googleblog.com/2018/09/the-what-if-tool-code-free-probing-of.html) или пакет объяснения моделей, такой как LIME (https://www.oreilly.com/learning/introduction-to-local-interpretable-model-agnostic-explanations-lime).