Nascut en el si d'una família de tradició artística i molt relacionada amb els Dalí (és a través del seu oncle, Ramon Pitxot, que Dalí descobreix l'impressionisme i determina la seva vocació de pintor), del 1946 al 1964 viu amb la seva família a Sant Sebastià. Allà té com a professor de dibuix Juan Núñez Fernández, que també ho havia estat anys abans de Dalí a Figueres. Els anys cinquanta, mentre practica un realisme d'arrel expressionista es dóna a conèixer amb diverses exposicions a Sant Sebastià, Barcelona, Madrid, Bilbao o Lisboa. El 1964 s'instal·la definitivament a la casa familiar de Cadaqués. En aquest període la seva obra fa un gir decisiu. Dirigeix l'atenció vers l'estudi dels objectes del seu entorn: les pedres de Cadaqués, de les quals fa sorgir visions anamòrfiques, antropomòrfiques i al·legòriques, amb què entronca amb un corrent subterrani de la pintura occidental que va des de certs mestres del manierisme italià fins al surrealisme.
És també durant aquests anys que, refent els vells vincles familiars, inicia la seva relació amb Dalí, que culminarà en una intensa amistat. L'agost de 1972 Dalí el visita al seu taller i li proposa instal·lar una exposició permanent de la seva obra al Teatre-Museu de Figueres, la qual s'inaugura el 28 de setembre de 1974. Es pot dir que el museu és, en bona mesura, el resultat del diàleg entre aquests dos creadors. El 1975, en col·laboració amb Salvador Dalí realitza els quatre "monstres grotescos" del pati interior del Teatre-Museu. Són monstres-fonts a la manera dels manieristes italians, realitzats amb acumulacions de pedres, calaixos, troncs d'arbre, un esquelet de balena, cargols i curculles. Antoni Pitxot serà, des de la inauguració, el director del Teatre-Museu, tasca que combinarà amb el seu treball de pintor.
Entre Pitxot i Dalí s'estableix una gran comunicació i una complicitat estètica. Així, per exemple, el 1985 Pitxot treballa en l'exposició "La batalla de Constantí", que presenta a Barcelona. El tema de la batalla li ve inspirat per una conversa amb Dalí, que li explica que les pedres de la platja de Sa Conca a Cadaqués ja configuren per si soles múltiples batalles. Dalí fa el text de presentació per al catàleg i en dicta a Antoni Pitxot el contingut, frase per frase: "Quan les pedres es desperten de quatre mil anys de somniar, les ensordeix l'estrèpit d'una batalla a cada mà".
En els darrers anys de Dalí, Pitxot l'acompanya en tot moment. Tots dos artistes mantenen un intercanvi permanent de comentaris i opinions sobre temes ben diversos, especialment sobre l'art i el món de la pintura; així, parlen sobre Watteau, Rembrandt, Velázquez, Gustave Moreau, els prerafaelites o el futurisme italià.
Antoni Pitxot ha estat director del Teatre-Museu Dalí, a més de patró vitalici i vicepresident segon de la Fundació Gala-Salvador Dalí fins el dia de la seva mort. El 16 de setembre de 2004 va rebre de mans de S.M. el Rei Joan Carles la Medalla d'Or al Mèrit de les Belles Arts i el 19 d'octubre de 2014 l'Ajuntament de Figueres li va lliurar la Fulla de Figuera de Plata. El 10 de març de 2015 el ple de l'Ajuntament de Cadaqués va aprovar nomenar Antoni Pitxot i Soler Fill Predilecte de la vila per la forta implicació seva i de la família al municipi, on hi tenen la residència.
L'exposició temporal del Castell de Púbol de 2014, Dalí - Pitxot. L'al·legoria de la memòria, s'ha dedicat a la trajectòria d'Antoni Pitxot. El catàleg publicat amb motiu d'aquesta exposició conté un documental que ha ha estat guardonat amb el "Golden Prize" que atorga AVICOM (Comitè Internacional per l'audiovisual i les tecnologies de la imatge, secció audiovisual de l'ICOM). Aquí podeu veure un tràiler de l'audiovisual.
Antoni Pitxot i Soler ha mort el 12 de juny de 2015, dia en que s'ha inaugurat al Museu de Cadaqués l'exposició "Dalí. Pitxot. Cadaqués. Entorn a la pintura", organitzada per l'Ajuntament de Cadaqués i la Fundació Gala-Salvador Dalí. La mostra vol ser un homenatge a la llarga amistat i col·laboració de Salvador Dalí i Antoni Pitxot. És també un tribut a l'art i la pintura, i a un paisatge mineral únic, el de Cadaqués, que inspira i condiciona alhora a ambdós artistes.