Ψιλοκόβουμε τα κάστανα και τα βάζουμε σε ένα μπολ μαζί με το κονιάκ.
Στον κάδο του μίξερ, με το φτερό, χτυπάμε σε μέτρια προς δυνατή ταχύτητα το βούτυρο με τη ζάχαρη, μέχρι να αφρατέψουν καλά.
Στη συνέχεια, προσθέτουμε σιγά σιγά τα αυγά χτυπημένα, αμέσως μετά το κακάο με το αλεύρι κοσκινισμένα και τέλος το γάλα, συνεχίζοντας το ανακάτεμα στην ίδια ταχύτητα για 1 λεπτό ακόμα.
Σουρώνουμε τα κάστανα από το κονιάκ(κρατάμε το κονιάκ) και τα αλευρώνουμε με μια κουταλιά της σούπας αλεύρι.
Αφαιρούμε τον κάδο από το μίξερ και προσθέτουμε τα κάστανα στο μείγμα μαζί με το κονιάκ, ανακατεύοντας απαλά με μια μαρίζ, έτσι ώστε να ενσωματωθούν στο μείγμα.
Αδειάζουμε το μείγμα σε μια μακρόστενη φόρμα κέικ, την οποία πριν έχουμε βουτυρώσει και αλευρώσει.
Ψήνουμε σε προθερμασμένο φούρνο, στη μεσαία σχάρα, στους 170 βαθμούς, στον αέρα, για 45 λεπτά περίπου.
Όταν κρυώσει το κέικ, το γαρνίρουμε με τριμμένη κουβερτούρα.
