Fondée en 2021 par une équipe d’anciens chercheurs d’OpenAI, Anthropic est une entreprise qui s’est positionnée à l’avant-garde de la sécurité de l’IA. Attirant un financement stupéfiant de 7,25 milliards de dollars, elle a grandi pour compter 300 employés. Les investisseurs de l’entreprise comprennent des géants de la technologie tels que Google et Amazon, déclenchant ce que certains ont qualifié de “course aux armements de l’IA”.

Dès sa création, la mission d’Anthropic est d’assurer le développement et le déploiement sûrs et responsables de l’IA. Le PDG Dario Amodei, ancien chercheur de Google Brain, a exprimé son inquiétude quant aux risques potentiels de l’IA depuis 2016. Avec ses co-fondateurs, Amodei a reconnu la nécessité pour les entreprises d’IA d’établir un ensemble de valeurs pour contraindre ces programmes puissants.

La politique de sécurité avant tout d’Anthropic est l’un de ses principaux différenciateurs. L’année dernière, l’entreprise a publié un document de 22 pages détaillant sa “politique d’escalade responsable”, détaillant le plan de l’entreprise pour empêcher sa technologie de précipiter la fin de la race humaine.

Au cœur de l’argumentaire d’Anthropic aux clients d’entreprise se trouve l'”IA constitutionnelle”, un concept qui implique d’imprégner le modèle de langage d’un ensemble de principes conçus pour prévenir l’abus de la technologie. Ce concept est en partie l’idée de deux autres anciens d’OpenAI et co-fondateurs d’Anthropic, Tom Brown et Jared Kaplan, dont j’en parlerais des réalisations dans un autre article.