Die Bucht wurde in den späten 1820er Jahren von Kapitän James Wishart entdeckt, einem Robbenfänger, der dort Schutz vor dem Sturm suchte. Er nannte die Bucht nach seinem kleinen Boot „Fairy“. In den frühen 1830er Jahren kamen regelmäßig die Robben- und Walfänger von Tasmanien an die Südküste Australiens herüber. Der Schiffbauer und Unternehmer John Griffiths aus Launceston (Tasmanien) baute hier 1835 die Walfangstation auf Griffiths Island auf der vorgelagerten Insel („Griffiths Island“), die heute Tausenden von Vögeln als Brutstätte dient. Allmählich wurde auch das Festland besiedelt. John Cox aus Clarendon (Tasmanien) baute 1839 den ersten Laden am Ufer des Moyne Rivers.
Im Jahr 1843 erhielt der Anwalt James Atkinson aus Sydney 5120 Acres Land (2072 Hektar) westlich des Moyne Rivers; der Preis war 1 Pfund pro acre. Damit wollte die Regierung von New South Wales Farmer zur Ansiedlung ermutigen. Atkinson nannte den Ort nach seiner irischen Geburtsstadt in Belfast um. Er warb mutige Geschäftsleute und Auswanderer aus England, Irland und Schottland an, sich hier anzusiedeln. Manche Einwanderer kamen auf dem direkten Weg, andere über die Portland Bay, Geelong oder Port Philipp.
Mitte und am Ende des 19. Jahrhunderts war Port Fairy einer der größten Häfen Australiens.
Heute wie damals ist noch immer der Fischfang die größte Industrie am Ort, weshalb auch eine moderne Fischfangflotte im Hafen stationiert ist. Daneben ist der Tourismus ein wichtiger Wirtschaftszweig für diesen kleinen historischen Ort. Mehr als 50 historische Gebäude stehen unter Denkmalschutz (National Trust of Australia).
.svg){kind=small}
