Le jour même, il est arrêté et interné à la maison commune de Saint-Vivien de Rouen, en fait l'ancien grand-séminaire devenu prison, où se trouvent déjà une soixantaine de prêtres.

Pendant plusieurs mois, ordres et contre-ordres arrivent, projets et contre-projets de déportation se suivent, prévoyant les uns un départ rapide vers la Guyane, d'autres vers l'Afrique occidentale ou Madagascar, où on aurait débarqué les prêtres en les abandonnant à leur sort.

Enfin, le ministre Paré envoie l'ordre de départ vers Bordeaux ou Rochefort, au plus voisin... Dom Lebrun essaie de se faire déclarer inapte en demandant une visite médicale, laquelle a lieu le 29 ventôse avec un résultat négatif.

Le départ de Rouen a lieu le 1er germinal an II (21 mars 94). Un témoin des départs, M. de Horcholle, ancien avocat et procureur à la Chambre des comptes de Normandie, a noté en date du 6 mars : On a enlevé ce matin, du Séminaire St Vivien, actuellement maison de détention et de réclusion, quatorze bons prêtres, la plupart non fonctionnaires publics, par conséquent non compris dans le décret rigoureux du 24 avril 1793. On les a liés et garotés dans une charrette, comme des scélérats, et conduits à Rochefort pour y être embarqués et déportés à la Guyane française, dans l'Amérique méridionale. On a continué ces départs jusques et compris le 21 de ce mois (Arch. Départ., Rouen, Y.128*, fol. 97 et 98).

Nous retrouvons dom Lebrun le 20 germinal à Rochefort, sur le Borée, soit un voyage de 503 kilomètres, ou 129 lieues, via Chartres, Tours et Poitiers, avec étapes dans des églises profanées ou des prisons.