In het jaar 1906 telde drie Haagse voetbalverenigingen Victoria, Hercules en H.D.S. nog slechts een beperkt aantal leden en waren de bestaansmogelijkheden voor deze drie clubs zeer kwetsbaar.

Na diverse gesprekken onderling besloten de leden van Victoria, Hercules en H.D.S. op 9 mei 1907 als één club verder te gaan en fuseerde hiermee tot de nieuwe voetbalvereniging Hsv Celeritas.

De oprichtingsdatum van Hsv Celeritas werd dus 9 mei 1907. Voor het clubkostuum koos men voor een geel-rood verticaal gestreept shirt en een zwarte broek. Over de kleur van de kousen werd nog niet gepraat. Een ieder speelde waarschijnlijk in de kousen die hij bezat. In 2018 verhuisde Hsv (Haagse sport vereniging) Celeritas naar Rijswijk en wijzigde de naam in RVC (Rijswijkse Voetbal Club) Celeritas. "Alle leden, oudleden en vrienden van RVC CELERITAS van harte gefeliciteerd", aldus het bestuur. "We gaan er aan het einde van het seizoen samen een mooi feestje van make.