Persuadés qu'ils se porteraient beaucoup mieux en élevant eux-mêmes leur fratrie, les enfants Willoughby concoctent un plan sournois pour envoyer leurs parents égoïstes en vacances perpétuelles. Accompagnés d'une nounou excentrique, les quatre enfants se lancent alors dans leur propre aventure familiale à travers le monde moderne. Mais le monde extérieur se révèle bien plus complexe que leur vieux manoir poussiéreux. Ils vont devoir redéfinir ensemble ce que signifie réellement faire partie d'une famille.