Non temere, è gente che ama farsi delle gran pippe. compilare il Kernel è una roba da veri uomini, e quindi lo fanno spesso.
Per il resto, compilarlo al giorno d'oggi è completamente inutile, nella stragrandissima maggioranza di casi, e anche nei casi in cui è utile, comunque non è indispensabile.
Era vero ai tempi del kernel 2.2 e 2.4, quando per inserire un driver bisognava buttarlo per forza staticamente nel kernel, e quindi si doveva ricompilare, oppure perchè il kernel era abbastanza scarno, ed erano disponibili molte patch.
Oggi il muovo modello di sviluppo del kernel è tutto modulare: se ti capita (caso già molto strano) di dover aggiungere un driver, basta compilare il modulo.
Inoltre le maggiori distribuzioni forniscono sia kernel estremamente completi, sia pacchetti precompilati aggiuntivi per il proprio kernel (tipicamente per i driver ati o nvidia, o i driver/firmware di alcune schede wireless, che in molte distribuzioni basta installare dal package manager di turno).
Se poi si considera che ormai ci sono complessi sistemi di caricamento moduli come udev/hal/dbus, o hotplug, che rilevano l'hardware all'avvio e caricano pezzi di kernel in modo assolutamente selettivo, e che ormai molte periferiche (come i modem interni dei portatili centrino) hanno piccolissimi moduli nel kernel e tutto il software essenziale gira in userspace, si capisce che ormai compilare il kernel non serve nemmeno più per aumentare le prestazioni.