ФАКТ[1][2] в прошлом, и собеседник знает КОГДА.

То есть должно ОБЯЗАТЕЛЬНО выполниться ДВА условия: ФАКТ и КОГДА. Если вы не указываете, КОГДА был ФАКТ, и собеседник не может догадаться, КОГДА произошло действие, то нельзя использовать Past Simple.