Op i gennem ’20’erne stod det dog klart, at forholdene på Færgebakken ikke modsvarede de krav, den stadigt mere populære idrætsforening havde. Efter korte afstikkere til både Sandgraven og Søholt, købte man derfor et stort areal på Sølystvej, og det var på denne adresse, at KFUM-parken i 1930 blev indviet. KFUM-parken skulle de kommende tiår udgøre rammen om klubbens sportslige aktiviteter og sociale liv.
Sportsligt deltog man i disse år i KFUM’s landsturnering, hvor man dystede imod andre KFUM-mandskaber. Det var en periode, som bød på flere fine resultater. I 1927 vandt man det nordjyske mesterskab, men i kampen om det jyske mesterskab måtte man give fortabt mod Esbjerg, som vandt finalen 4-2. Samme resultat opnåede man året efter, hvor Kolding stod i vejen. Endelig i 1932 lykkedes det at fejre et jysk mesterskab, da Esbjerg blev slået 4-3 på Silkeborg Stadion. Det var en stor triumf, som blev gentaget året efter, da man genvandt mesterskabet for KFUM-hold.

1933 var også året, hvor man valgte at følge naboklubbernes eksempel ved at tilmelde sig JBU’s turneringer. Det blev en øjeblikkelig succes, da man allerede i første sæson vandt kredsmesterskabet i B-rækken. Sejren gav oprykning til A-rækken, hvor man hurtigt etablerede sig som solidt midterhold. Efter i en håndfuld år at have konsolideret denne position lykkedes det i 1940 for KFUM’s førstehold at vinde kredsmesterskabet i A-rækken efter en eftertrykkelig 5-1-sejr over Alheden i finalen. Holdet, der stod bag triumfen, regnes for et af de stærkeste hold, klubben har rådet over, og det bestod af følgende spillere stillet op i 2-3-5-formation: Wagner Petersen – Henry Nielsen, Estrup Nielsen – Hans Fr. Christensen, Axel Søeborg, Hjalmar Hansen – Sv. Holm, Harald Lohse, Henning Bølcho, Lorentz Sørensen og Poul Madsen.

Da krigen sluttede i 1945, lå idrætspladsen brak efter at være blevet brugt som øvelsesterræn af besættelsesmagten. På baggrund af en pengeindsamling begyndte man straks herefter at restaurere anlægget. Man anlagde nye fodbold-, håndbold og tennisbaner, opførte en strålende indgangsportal og byggede et tidssvarende klubhus. I 1951 kunne man så genindvie den restaurerede KFUM-park, der atter blev et vibrerende samlingssted for medlemmerne af idrætsforeningen.

Sportsligt formåede klubbens bedste herrehold ikke for alvor at hævde sig i denne periode. I 1953 var man tæt på at blive kredsmester i A-rækken, og dermed gentage triumfen fra 1940, men Brædstrup stod i vejen. Da Serie-systemet blev indført tilbragte klubbens bedste seniorer de fleste år i henholdsvis serie 3 og serie 4.

Hvis man vil kan tale om et tidspunkt for etableringen af en særlig klubfølelse, en KFUM-ånd, må det næsten være disse år. Flere af de mænd, som spillede eller havde spillet i KFUM, var enormt aktive i og omkring klubben og ydede en enorm indsats som eksempelvis trænere for klubbens ungdomshold eller medlemmer af bestyrelsen. En af disse ægte KFUM’ere var Vagn Ove Jorn, der forklarede sit store engagement på følgende måde: ”Det ’lille nap’, jeg ville give sammen med mange andre ledere, blev for mit vedkommende længere, end jeg havde tænkt mig. Og hvorfor? Fordi jeg aldrig har mødt så strålende kammerater som dem, jeg mødte i KFUM’s fodboldafdeling. Der var en atmosfære på det gamle anlæg, en intimitet, noget udefinerligt.” Det vil ikke være forkert at sige, at mange dengang som nu har haft det på samme måde som Jorn.

Omkring 1970 flyttede klubben fra sin bopæl på Langelinje til det nye kommunale anlæg på Søholt, hvor man blev tildelt en række baner. Man solgte KFUM-Parken på Sølystvej for 300.000 kr og brugte en stor del af disse penge til opførelsen af ’Idrætshuset’, der med blandt andet omklædningsrum, klubhus og bestyrelseslokaler udgjorde – og fortsat udgør – en solid ramme om foreningens liv og aktiviteter. Idrætshuset blev officielt indviet den 22. august 1971.

Sportsligt bød perioden på fine resultater. Blandt andet på kvindesiden, hvor det under ledelse af den nuværende bestyrelsesformand Ernst Beck lykkedes for førsteholdet to i træk at rykke op. Først i 1976 fra serie 2 til serie 1 og derefter fra serie 1 til Jyllandserien i 1977, efter at holdet var blevet forstærket meget kraftigt af spillere fra Grauballe og Silkeborg IF, hvis kvindeafdelinger begge lukkede. Juniorpigeholdet, der ligeledes blev træner af Ernst Beck, nød også stor succes i disse år, hvilket kulminerede med et Jysk mesterskab i 1979. Dette hold talte blandt andre talentfulde spillere Annie Gam, der senere blev landsholdsspiller.

Det var dog ikke kun på kvindesiden, at klubben oplevede succes i disse år. For ungdomsafdelingen var især anden halvdel af 1970’erne en slags guldalder. Ikke nok med at ungdomsafdelingen voksede meget markant i bredden, man havde nu også hold, der formåede at hævde sig i de bedste regionale rækker. I 1974 vandt klubben for første gang et jysk mesterskab i ungdomsrækkerne. Det skete i Drenge A-rækken (12-14 år). 1976 vandt man på ny et jysk mesterskab i drenge A-rækken. Succesen afstedkom, at Silkeborg KFUM de følgende år var repræsenteret i mesterrækkerne for såvel juniorer (14-16 år) som ynglinge (16-18 år). Den særdeles positive udvikling kunne forklares med de fine forhold på Søholt, som gav klubben gode forhold at virke under, og en stor gruppe af trænere og ledere, som ikke blot besad et højt fagligt niveau – klubben sørgede for at alle dens trænere tog trænerkurser – men som også var flasket op med Silkeborg KFUM. Dette var med til at skabe en stærk følelse af sammenhold i klubben.

Som en naturlig konsekvens af denne sammenhængskraft samt det høje niveau i ungdomsafdelingen i anden halvdel af 70’erne begyndte seniorholdet at hævde sig i 80’erne efter nogle relativt magre år. I 1981 lykkedes det klubbens første hold at rykke op fra serie 4 til serie 3. Det skete under ledelse af Per Baltzer, der som spiller var et af de største talenter, klubben har forstret. Per havde påbegyndt trænergerningen i en tidlig alder, hvor han havde haft ansvaret for flere af klubbens ungdomshold, og i 1981 blev han altså forfremmet til cheftræner for førsteholdet i en alder af blot 25 år. Året efter, i 1982, vandt førsteholdet ubesværet serie 3, hvormed man sikrede sig sin første oprykning til serie 2 i nyere tid. Efter en nedrykning fra Serie 2 i 1987, vendte man stærkt tilbage året efter, hvor det ikke blot blev til oprykning fra Serie 3, men også et Jysk Mesterskab i rækken. De kommende år gik med at konsolideres pladsen i Serie 2 under ledelse af en anden ’ung veteran’ Lars Rasmussen.

En af holdets store profiler i denne periode var den dygtige Kim Bejder, der kom til fra Ikast, hvor han havde spillet på højt niveau. Ellers bestod holdet i denne periode navnlig af spillere, som var opflasket med KFUM. Spillere som brødrene Poul og Jens Trier, Ole og Michael Vestergaard, Carsten Røjkjær og Per Sønderbæk havde således alle trådt deres børnefodboldstøvler i KFUM. Den indbyrdes forståelse og følelse af sammenhold, som dette uvægerligt førte med sig, tilsat ekstra talent fra Silkeborg IF i form af navne som Per og Flemming Møldrup, der havde spillet i KFUM i store dele af deres ungdom, var en særdeles effektfuld cocktail for førsteholdet i disse år. At sammenholdet og klubfølelsen var stærk blandt denne generation giver sig også udslag i, at mange af disse koryfæer er at finde i klubben i dag såvel på banerne som i og omkring Idrætshuset.

Efter fire år som seniorspiller og endnu flere som ungdomsspiller i
Silkeborg KFUM blev den 24-årige Thomas Olsen i 2003 hentet til Silkeborg IF. Med Viggo Jensen som træner befandt Silkeborg IF sig på daværende tidspunkt i den bedste danske række. Thomas Olsen etablerede sig hurtigt som en af træneres foretrukne elleve, o
g da han stoppede i 2009, havde han opnået imponerede 126 kampe for klubben. Thomas Olsen vendte hurtigt tilbage til rødderne, og siden afskeden med Silkeborg IF har han repræsenteret Silkeborg KFUM som et pålideligt omdrejningspunkt både på og uden for banen. Inden efterårssæsonen 2015 havde T.O. præsteret imponerende 243 kampe for KFUM’s førstehold.

Efter flere gode år med Jyllandsserie-fodbold i første halvdel af 00’erne har klubbens bedste seniorhold ikke siden været at finde i en højere række end Serie 1. Med den nuværende samling af unge og talentfulde spillere, som for en stor dels vedkommende er vokset op i og omkring KFUM, er det klubbens klare ambition, at der laves om på denne udvikling allerede i efteråret ’15, hvor det erklærede mål er oprykning fra serie 1 til Jyllandsserien.