Zakladaciu listinu písal jeho kastelán, ktorého meno sa v texte originálu začínalo na B, no ďalšie písmená chýbajú. Do novozaloženej osady pod majestátnou skalou červenej farby postupne prichádzali kolonisti, pričom Milota, ktorého úlohou bolo týchto ľudí zohnať, bol spolu s Martinom odmenený kúriou a večným richtárstvom. Podľa autora monografie 600-ročného Červeného Kameňa kňaza Štefana Herodeka, bolo obyvateľstvo rôznorodé. Obyvatelia Hornej Vsi – Mišúnovci prišli z Moravy, Dohňanskovci z Dolnej Vsi pochádzajú z Považia. Osrmanovci a Kolmanovci prišli z rakúskeho Aulendorfu okolo roku 1800, Mikulovci sú pôvodom chorvátskeho, Gáborovci maďarského, no potomkov tu majú zrejme aj srbskí prisťahovalci. V 19. storočí sa do obce prisťahoval prví Žid Marmorstein, ktorý začal s obchodom ale aj s moderným obrábaním pôdy. Postupne prichádzali ďalšie židovské rodiny, ktoré mali v rukách obchod, ale podnikali aj v drevárskom priemysle. Vznikajú mlyny, parná píla, továreň na výrobu salajky, pálenica borovičky a slivovice, ktorá zanikla v roku 1917. V roku 1886 bol zriadený poštový úrad, ktorý fungoval iba 15 rokov. Poštovňa existovala od roku 1909. Dva roky pred tým vzniká notársky úrad, ktorý viedol notár Schmer. Začiatkom tridsiatych rokov prenikla do obce automobilová doprava, deň pred Vianocami v roku 1937 dotiahli do obce telefón a v roku 1939 bolo založené lesné spoločenstvo Brezová a Kaňúr.
Po vojne bola postavená škola, nová budova požiarnej zbrojnice, neskôr vyrastá futbalové ihrisko, dom športu. V posledných rokoch obec viedli Ján Hajdúch, Valent Dlobík, Bohumil Majerech. Súčasná starostka Ľudmila Jakúbková je vo funkcii štvrté volebné obdobie.