Caridia nahm ab 1895 an Tennisturnieren teil. Er galt als Spezialist für Holzbeläge. Sein Paradeschlag war der Halbvolley, der zu Beginn des 20. Jahrhunderts noch sehr innovativ war. 1898 spielt er erstmals bei den Wimbledon Championships. In diesem Jahr sowie im darauffolgenden stand er mit George Miéville Simond jeweils im Halbfinale – dieses Resultat toppte er nur 1904, als er das Finale erreichte. Auch im Einzel erreichte er 1903 das Halbfinale, wo er gegen Josiah Ritchie verlor. Er erreichte 1904 und 1909 jeweils im Einzel das Viertelfinale. Bei den Welsh Covered Court Championships nahm er mehr als 20 Mal teil und gewann zwischen 1899 und 1909 insgesamt neunmal. Er nahm noch bis in die 20er Jahre an diesem Turnier teil. Im Jahr 1900 gewann er die French Covered Court Championship, sein wahrscheinlich bedeutendster gewonnener Titel. Bei den British Covered Court Championship wurde er 1905 von Ritchie und 1907 von Anthony Wilding erst im Finale besiegt.
Bei den Olympischen Sommerspielen 1908 in London gewann er in der Halle sowohl im Einzel (glatte Finalniederlage gegen Arthur Gore) als auch im Doppel, an der Seite von George Simond, die Silbermedaille (Finalniederlage in vier Sätzen gegen Gore und Herbert Roper Barrett). Im Einzel auf Rasen verlor er im Viertelfinale. Vier Jahre später bei den Spielen 1912 in Stockholm ging er abermals an den Start. Hier schied er in der Halle im Viertelfinale gegen Anthony Wilding aus. 1914 beendete er seine professionelle Tenniskarriere.
Nach seiner Tenniskarriere wurde Caridia Ratsmitglied der Lawn Tennis Association und später Ehrenschatzmeister des All England Lawn Tennis and Croquet Club. Beruflich war er ansonsten Börsenmakler. Er starb 1937 im Alter von 68 Jahren in London.