Niestety, kobiety miały się stać też jednym z poważnych kłopotów zakonu i to nie ze względu na ich atrakcyjności seksualną, lecz charyzmę, która zagrażała pozycji przywódców zakonu. Póki co jednak zakon przeżywał okres wielkiego rozkwitu, szczególnie po przejęciu przez Mathersa spraw organizacyjnych. W 1891 roku umarł Woodman, w rok później Mathers przeniósł się do Paryża, pozostawiając Westcotta jako swojego przedstawiciela w Londynie. Prestiż Mathersa wzrósł znacznie, kiedy w 1892 roku napisał rytuał inicjacyjny na stopień Adeptus Minor i przekształcił krąg wewnętrzny w Zakon Rubinowej Róży i Złotego Krzyża (Ordo Rosae Rubeae et Aureae Crucis). Stał się on wtedy jego jedynym przywódcą. Jak grzyby po deszczu powstawały nowe świątynie w Weston nad Marą, Bradford i Edynburgu, a w latach 1892-96 zakon osiągnął rekordową ilość 200 członków. Można było śmiało powiedzieć, że jest to największe stowarzyszenie okultystyczne epoki.
I wtedy zaczęły się kłopoty. Okazało się bowiem, że niektóre spośród pań są nie tylko wybitnymi okultystkami, lecz i świetnymi organizatorkami. Dotyczyło to przede wszystkim Florence Farr i Annie Horniman, które z niezwykłym zapałem zaangażowały się w prace londyńskiej świątyni Izydy-Uranii. Pozornie, mogło świadczy to na ich korzyść, ale Mathers był autokratą i nie znosił, jak ktoś zagrażał jego władzy. Tymczasem, po jego wyjeździe do Paryża pani Horniman wielokrotnie publicznie wyrażała swoją dezaprobatę wobec jego nikłego zainteresowania sprawami zakonnymi. Dopóki Horniman nie szczędziła pieniędzy dla niego i jego małżonki wszystko było w porządku. Lecz gdy okazało się, że jej pomoc nie jest bezinteresowna i pragnie odebrać mu żonę, Mathers poczuł w sobie zarzewie gniewu. Na domiar złego dotarły do niego plotki, że Horniman oskarża go o angażowanie się w politykę. (W tym czasie Mathers rzeczywiście marzył o karierze wojskowej i o restauracji dynastii Stuartów). Jego reakcja była natychmiastowa. W 1896 roku zażądał od członków zakonu wewnętrznego natychmiastowego złożeniu mu ślubów lojalności. Jego woli ulegli wszyscy poza Annie Horniman, która jeszcze w tym samym roku została wyrzucona z zakonu.
Wieść o wyrzuceniu Annie Horniman wstrząsnęła członkami Złotego Brzasku. Horniman uchodziła bowiem za jedną z najwybitniejszych przedstawicielek Zakonu. Na dodatek władze angielskie dowiedziały się o związkach Westcotta z okultyzmem, co zmusiło go do wycofania się z zakonu. Widmo upadku zaczęło krążyć nad Hermetycznym Zakonem Złotego Brzasku, widmo, które już wkrótce miało się zmaterializować za sprawą młodego acz już wybitnego adepta magiji – Aleistera Crowleya.
Dariusz Misiuna