Ce que vous devez savoir sur l’IA Sakana

Rendez-vous sur notre bibliothèque à la demande pour visualiser les sessions de VB Transform 2023. Inscrivez-vous ici

Le paysage de l'intelligence artificielle générative (gen AI) évolue rapidement ces jours-ci, non seulement avec OpenAI, Meta et Google en concurrence directe sur les modèles de base, mais aussi pendant que certains de leurs plus grands talents internes partent se lancer. leurs propres startups d’IA de génération.

Le mois dernier a vu l'une des plus grandes défections : Llion Jones, l'un des co-auteurs du document de recherche phare de 2017 « Attention Is All You Need », qui a lancé la révolution de l'IA générative en développant l'architecture des transformateurs utilisés dans les principaux langages de grande envergure. models (LLM), a annoncé qu'il avait quitté Google pour fonder une nouvelle startup.

Cette semaine, nous avons appris sur quoi il travaille : Sakana AI, une nouvelle société d'IA basée à Tokyo.

David Ha, ancien responsable de la recherche chez Stability AI et ancien chercheur de Google Brain, le rejoint en tant que co-fondateur de Sakana.

VB Transform 2023 à la demande

Avez-vous manqué une session de VB Transform 2023 ? Inscrivez-vous pour accéder à la bibliothèque à la demande pour toutes nos sessions en vedette.

Ensemble chez Sakana, ils poursuivent un modèle d'IA étonnamment différent : celui du biomimétisme, s'intéressant spécifiquement à l'intelligence collective dans les systèmes présents dans la nature tels que les bancs de poissons et les ruches, pour concevoir des modèles d'IA flexibles, réactifs et économiquement efficaces.

Chez Sakana AI, la vision de Jones est de capitaliser sur cette technologie pour créer un modèle d'IA générative novateur, capable de générer du texte, des images, du code et du contenu multimédia.

Jusqu’à présent, Sakana garde ses bailleurs de fonds proches du gilet, refusant de commenter à Reuters sur qui investit dans l’entreprise.

Sakana AI se distingue par une approche nouvelle qui consiste à développer de nombreux modèles d'IA plus petits qui collaborent, un peu comme un essaim, pour fournir des résultats complexes.

Cette méthodologie remet en question la tendance dominante consistant à construire des systèmes d’IA extensifs.

Sakana AI est convaincue que son approche basée sur les essaims, inspirée de l'intelligence collective, peut fournir des résultats comparables à ceux de systèmes plus vastes tout en étant plus économique et plus flexible.

"Les fourmis se déplacent et forment elles-mêmes un pont de manière dynamique, ce qui n'est peut-être pas le pont le plus solide, mais elles peuvent le faire immédiatement et s'adapter aux environnements", a déclaré Ha à Bloomberg dans une interview. "Je pense que ce type d'adaptation est l'un des concepts très puissants que nous voyons dans les algorithmes naturels."

Le nom Sakana est dérivé d'un mot japonais pour poisson (さかな) destiné à susciter « un banc de poissons se réunissant et formant une entité cohérente à partir de règles simples », ont déclaré les deux fondateurs au Financial Times.

La décision de Sakana AI d'établir sa base à Tokyo est une décision calculée. Avec son infrastructure technique avancée et son vivier de talents hautement qualifiés, Tokyo est prête à favoriser la croissance des startups d’IA et à attirer l’expertise internationale. Sakana prévoit d'exploiter ces avantages pour renforcer ses activités de recherche et développement, même si l'entreprise n'a pas encore aménagé de bureaux pour son nouveau siège social.

La vision de Sakana AI transcende la création de modèles d’IA, car Ha et Jones soulignent les lacunes des systèmes d’IA contemporains qui finissent souvent par manquer de flexibilité. Au lieu de cela, ils proposent des modèles d’IA qui incarnent les principes de l’informatique évolutive, inspirés par l’adaptabilité de la nature. Cette approche pourrait potentiellement résoudre les problèmes liés au coût et à la sécurité des systèmes d’IA.

Les cofondateurs ont déclaré à CNBC qu'ils pensaient que la concentration de Google sur un seul type de technologie d'IA générative, les grands modèles de langage, était une erreur « parce qu'il s'agit d'un cadre assez restrictif », a déclaré Jones.

Les cofondateurs ont déclaré qu'ils étaient en pourparlers sur l'utilisation des LLM, mais qu'ils n'avaient pas pris de décision finale. Cependant, Ha ne les a pas écartés : « Je serais surpris si les modèles linguistiques ne faisaient pas partie de l’avenir », a-t-il déclaré à CNBC.

La transition de Jones et Ha de Google à Sakana AI constitue une évolution remarquable dans le secteur de l’IA, en particulier dans le domaine de l’IA générative.