We built the memory our agents were missing. Hivemind 1.6.3 scores 93.90% on LoCoMo.Nous avons construit la mémoire qui manquait à nos agents. Hivemind 1.6.3 atteint 93,90 % sur LoCoMo.
Guillaume Lesur12 min
Hivemind began with the desire to use the best model and harness for each job, without the hassle of transferring context. It’s a fully open-source, self-hostable memory that people and agents can share across tools.
Version 1.6.3 now scores 93.90% on LoCoMo, a benchmark that asks AI systems to recall facts and reason across long conversations. Here's where our result sits alongside the figures published by three other memory teams.
Other results are known; only those with verifiable evidence are included.
It started with the work we were already doing
About a year ago, my brother Christophe got me hooked on agentic development. I was following his early experiments with Transkryptor, then started building with agents myself, at work and on personal projects.
We now work across several agent harnesses, combining frontier models with open-source ones. We get better work from that mix. Different models bring different strengths, and we want to keep choosing the right one for the task.
The awkward part was carrying the project between them. One agent would work through a problem, make a decision, and leave the reasoning in its own conversation. The next agent needed the story again. With several agents working in parallel, we were spending too much effort keeping everyone up to date.
Christophe had already written Live Memory and Graph Memory for Cloud Temple and released them as open source. Together, we built on those foundations to create Hivemind. Through MCP, agents can read the project's shared memory and contribute what they learn, so the next person or agent has something to build on.
The part we're especially excited about is automatic ontology. Hivemind derives the types of entities and relationships in its graph from the documents it ingests. The memory can take the shape of the work: experiments and hypotheses for a research group, programs and commitments for an NGO. The team doesn't have to design the whole knowledge model first.
That's what we mean by your organization's collective memory. We want teams, businesses, NGOs and communities to carry projects through with coordinated fleets of agents that can draw on what the group already knows. That knowledge stays with the organization when it changes tools or model providers, and the whole system can run on its own infrastructure.
What changed in 1.6.3
For memory to help, the right context has to reach the agent. LoCoMo gives us a practical way to test that: ten long conversations, with questions that require finding old facts, connecting them and getting the timeline right.
In 1.6.3, retrieved passages carry more of their source context, including relevant headings and introductions. Graph relationships also retain their endpoints and direction. The reader gets more of the structure that gives a fact its meaning. The release notes describe the changes.
The fresh-ingestion run answered 1,446 of 1,540 questions correctly, a gain of 7.14 percentage points over our original 1.6.2 run. That is very encouraging. More useful still, the wrong answers show us where to work next in ingestion, graph extraction and context assembly.
The test follows mem0's public evaluator: ingest the conversations, retrieve memory, answer, then grade against the reference with a separate model call. We keep its prompts and scoring rules. Our harness adds tighter execution checks and saves the evidence at each step. Every question gets one answer; there's no search loop or picking the best of several attempts.
Next: a lot more to remember
For Hivemind 1.7.0, we're working on the BEAM harness, which covers histories from 100,000 to 10 million tokens. We want to see how Hivemind holds up as the corpus grows and the information inside it changes.
That means making document ingestion more reliable and increasing its parallelism, while improving the precision of both the graph's content and its automatically generated ontology. We'll track answer quality, latency, context use and cost, and keep the community posted as the results come in.
Hivemind is open source on GitHub. All the evidence behind this evaluation is available on request: configurations, ingestion records, retrieved contexts, prompts, answers, judge outputs, comparisons, usage records and integrity checks. Contact us directly on GitHub and ask for the LoCoMo 1.6.3 evaluation package.
Join our early-adopter community
We’re starting to bring together Hivemind’s early adopters. If you’d like to join, email us at bonjour@lesur.ai or open an issue on GitHub. We welcome your feedback and are listening to what you need from Hivemind.
We’re also happy to help you deploy it in your organization, for a side project, or for personal use.
Open the full test setup and results
We submitted the conversation sessions as 272 documents directly to LONG memory, in fresh, isolated storage. This bypasses SHORT notes and MID consolidation. The document hashes match those of the original documentary run. Ingestion received no questions, reference answers or annotated answer evidence, and generated answers were never written back to memory.
After ingestion, Hivemind retrieves memories for each question and Gemini answers from them. A separate call to the same model then grades the answer against the reference. Each question gets one retrieval, one answer and one judgment. The model cannot search again, and we don't generate several answers and pick the best.
We ran this evaluation internally using the public mem0 memory-benchmarks evaluator, pinned to commit 4b61c5d31b9c668a12b4f5e78064248a02c82d2b. We kept its LoCoMo prompts and scoring rules, including the handling of partial answers and dates, and excluded the 446 adversarial questions. The score is the percentage of answers judged correct; the original LoCoMo research used lexical F1.
The test ran on October 18, 2026, using a frozen 1.6.3 release candidate at commit 11ca440f3f2b76d1af92c79c8dfff7d6f2df316b. Both container image digests are recorded in the evidence package. The public release followed on October 19.
Component
Configuration used in this run
Product
Frozen 1.6.3 candidate, exact commit and both image digests recorded
Extraction
claude-haiku-5-5; temperature and effort omitted
Ontology
Native ontology=auto, built separately for each conversation
10 entities and 8 text chunks per question; native score cutoff retained
Reader and judge
gemini-3.8-flash, reasoning effort medium, separate calls
Memory budget
50,000 tokens, counted with cl100k_base, tiktoken==0.12.0
Actual memory context
Mean 23,825.03 tokens; maximum 50,000
Temporal-occurrence extraction
Disabled throughout ingestion and evaluation
Execution
Ten conversations in parallel; one campaign and one answer per question
We use mem0's evaluator, with tighter controls around how the run is executed and recorded. Before ingestion, we froze source versions and images, datasets, model settings, prompts and retrieval limits. We reconciled every ingestion job with the document and vector indexes, including rejected documents.
Before generating each answer, we checked where its retrieved context came from, its status and the absence of disabled temporal annotations. We saved the rendered context and prompt hashes, along with the answer, raw judge output and any truncation record. Successful operations were never repeated to seek a better score; technical failures followed a retry policy set in advance. Missing cases stayed in the planned question count, with rejected documents, recovered errors and unknown usage recorded separately.
In this run, 271 of the 272 documents were accepted and indexed. One extraction returned invalid model output; we did not resubmit it, and all 1,540 questions stayed in the evaluation. The harness cut 46 retrieved contexts at the 50,000-token ceiling. Token counts include the metadata sent alongside the passages. Retries recovered ten transient Gemini HTTP errors, leaving no answer or judgment missing.
Hivemind's recorded ingestion time was about 24 minutes 22 seconds. Model and embedding usage gives an estimated cost of $1.78, including ontology preparation and corrections. The reader and judge add about $39.09 at uncached rates. These estimates cover recorded usage, excluding infrastructure and taxes.
The three configurations
Condition
Correct / evaluated
Accuracy
Original 1.6.2 documentary run
1,336 / 1,540
86.75%
Existing index with the 1.6.3 legacy-context reading path
1,428 / 1,540
92.73%
Fresh ingestion with the frozen 1.6.3 candidate
1,446 / 1,540
93.90%
Against the original 1.6.2 run, 132 previously failing answers passed and 22 previously passing answers failed. Against 1.6.3 reading the existing index, 39 improved and 21 regressed, for a net gain of 18 correct answers. This comparison covers the ingestion and retrieval changes together.
Results by question type
Category
Correct / evaluated
Accuracy
Single-hop
808 / 841
96.08%
Multi-hop
266 / 282
94.33%
Temporal reasoning
299 / 321
93.15%
Open-domain
73 / 96
76.04%
Overall
1,446 / 1,540
93.90%
All questions received an answer and a verdict: 1,446 passed and 94 failed. Each question counts equally toward the overall score.
These projects explore different approaches to long-term memory. The notes below describe their published LoCoMo evaluations and methodology.
MemOS — 88.83%. MemTensor publishes this result for its cloud service in OmniMemEval: 1,540 questions, requested reader gpt-4.1-mini-2025-04-14, judge gpt-4o-mini-2024-07-18, and 5,400 mean answer-stage context tokens, including the prompt. The result tables, adapters and evaluation code are public. Results and configuration. Only MemOS's own score is used here.
Hivemind — 93.90%. Our internal evaluation of the frozen 1.6.3 candidate uses Haiku extraction and Gemini 3.8 Flash medium for the reader and judge. Mean memory context: 23,825 tokens, capped at 50,000. Full setup above; evidence available through GitHub.
Mem0 — 92.5%. The managed platform reports 1,425/1,540 at top-200, with 6,956 mean context tokens and one retrieval followed by one answer. The harness and per-question results are public; the result includes managed-platform optimizations absent from the OSS SDK. Results, pipeline description.
Hindsight — 92.0%. Vectorize published this result for v0.4.19 in AMB single-query mode on March 23, 2026. The harness, prompts and result explorer are public. Publication, harness.
Zep — 94.7% reported. Zep’s research page describes a LoCoMo evaluation with GPT-5.4 as reader and judge. Its methodology is public; we have not verified the underlying per-question outputs. Research and methodology.
Funding is company-level context. MemTensor's July 2026 financing announcement was reported as bringing cumulative funding to hundreds of millions of RMB; no precise total was disclosed. It followed a near-RMB100m angel round, and a further Pre-A+ round was announced in September without an amount. The table expresses this as tens of millions of US dollars, an approximate conversion rather than a disclosed dollar total. At the October 23, 2026 USD/CNY closing rate of RMB6.6703 per US dollar, RMB100m is about US$15m. Mem0's $24m covers seed and Series A together; Vectorize's $3.6m is its announced seed round. Lesur.AI is self-funded, with no funding round, as confirmed by its founder.
À l’origine d’Hivemind, il y a l’envie d’utiliser le meilleur modèle et le meilleur harnais pour chaque tâche, sans la corvée du transfert de contexte. C’est une mémoire entièrement open source et auto-hébergeable, que les personnes et les agents peuvent partager entre leurs outils.
La version 1.6.3 atteint désormais 93,90 % sur LoCoMo, un benchmark qui demande aux systèmes d’IA de retrouver des faits et de raisonner sur de longues conversations. Voici où se situe notre résultat parmi ceux publiés par trois autres équipes de mémoire pour l’IA.
D’autres résultats sont connus ; seuls ceux avec des preuves vérifiables sont retenus.
Tout est parti du travail que nous faisions déjà
Il y a environ un an, mon frère Christophe m’a fait tomber dans la marmite du développement agentique. Je suivais ses premières expérimentations avec Transkryptor, puis j’ai commencé moi-même à développer avec des agents, au travail et sur des projets personnels.
Aujourd’hui, nous travaillons avec plusieurs harnais d’agents, en combinant modèles de pointe et modèles open source. Ce mélange améliore la qualité de notre travail. Les modèles ont des points forts différents, et nous voulons continuer à choisir celui qui convient à chaque tâche.
Le plus pénible était de transmettre le projet de l’un à l’autre. Un agent explorait un problème, prenait une décision et laissait son raisonnement dans sa propre conversation. Le suivant avait besoin qu’on lui raconte à nouveau toute l’histoire. Avec plusieurs agents en parallèle, nous passions trop de temps à tenir tout le monde au courant.
Christophe avait déjà développé Live Memory et Graph Memory pour Cloud Temple et les avait publiés en open source. Ensemble, nous sommes partis de ces fondations pour créer Hivemind. Via MCP, les agents peuvent lire la mémoire partagée du projet et y ajouter ce qu’ils apprennent, pour que la personne ou l’agent suivant puisse s’appuyer dessus.
Ce qui nous enthousiasme particulièrement, c’est l’ontologie automatique. Hivemind déduit des documents qu’il ingère les types d’entités et de relations de son graphe. La mémoire peut prendre la forme du travail : expériences et hypothèses pour un groupe de recherche, programmes et engagements pour une ONG. L’équipe n’a pas besoin de concevoir tout le modèle de connaissances au préalable.
C’est ce que nous entendons par la mémoire collective de votre organisation. Nous voulons que les équipes, entreprises, ONG et communautés puissent mener leurs projets avec des flottes coordonnées d’agents qui s’appuient sur ce que le groupe sait déjà. Ces connaissances restent au sein de l’organisation lorsqu’elle change d’outils ou de fournisseurs de modèles, et l’ensemble du système peut tourner sur sa propre infrastructure.
Ce qui a changé en 1.6.3
Pour que la mémoire soit utile, le bon contexte doit parvenir à l’agent. LoCoMo nous permet de le tester concrètement : dix longues conversations, avec des questions qui demandent de retrouver des faits anciens, de les relier et de respecter leur chronologie.
En 1.6.3, les passages retrouvés conservent davantage de leur contexte source, notamment les titres et introductions pertinents. Les relations du graphe conservent aussi leurs extrémités et leur direction. Le modèle de réponse reçoit davantage de la structure qui donne son sens à un fait. Les notes de version décrivent ces changements.
L’évaluation avec une nouvelle ingestion a répondu correctement à 1 446 questions sur 1 540, soit un gain de 7,14 points de pourcentage par rapport à notre évaluation initiale en 1.6.2. C’est très encourageant. Les réponses incorrectes sont encore plus utiles : elles nous montrent où travailler ensuite sur l’ingestion, l’extraction du graphe et l’assemblage du contexte.
Le test suit l’évaluateur public de mem0 : ingérer les conversations, retrouver la mémoire, répondre, puis comparer à la référence avec un appel de modèle distinct. Nous conservons ses prompts et ses règles de notation. Notre harnais ajoute des contrôles d’exécution plus stricts et enregistre les preuves à chaque étape. Chaque question reçoit une seule réponse ; il n’y a ni boucle de recherche ni sélection du meilleur résultat parmi plusieurs tentatives.
La suite : beaucoup plus à retenir
Pour Hivemind 1.7.0, nous travaillons sur le harnais BEAM, qui couvre des historiques de 100 000 à 10 millions de tokens. Nous voulons voir comment Hivemind tient à mesure que le corpus grandit et que les informations qu’il contient évoluent.
Cela demande de fiabiliser l’ingestion documentaire et d’augmenter son parallélisme, tout en améliorant la précision du contenu du graphe et de son ontologie générée automatiquement. Nous suivrons la qualité des réponses, la latence, le contexte utilisé et le coût, et tiendrons la communauté au courant des résultats.
Hivemind est open source sur GitHub. Toutes les preuves de cette évaluation sont disponibles sur demande : configurations, traces d’ingestion, contextes retrouvés, prompts, réponses, sorties du juge, comparaisons, relevés de consommation et contrôles d’intégrité. Contactez-nous directement sur GitHub et demandez le dossier d’évaluation LoCoMo 1.6.3.
Rejoignez les premiers utilisateurs d’Hivemind
Nous commençons à rassembler la communauté des early adopters d’Hivemind. Pour nous rejoindre, écrivez-nous à bonjour@lesur.ai ou ouvrez une issue sur GitHub. Nous attendons vos retours et sommes à l’écoute de vos besoins.
Nous sommes aussi prêts à vous aider à déployer Hivemind dans votre organisation, sur vos side projects ou pour un usage personnel.
Consulter la configuration complète et les résultats du test
Pour obtenir ce résultat, nous avons soumis les sessions de conversation sous forme de 272 documents directement à la mémoire LONG, dans un stockage neuf et isolé. Les notes SHORT et la consolidation MID n’interviennent pas. Les empreintes des documents correspondent à celles de l’évaluation documentaire initiale. L’ingestion n’a reçu ni questions, ni réponses de référence, ni annotations de preuves des réponses, et les réponses générées n’ont jamais été réinjectées en mémoire.
Après l’ingestion, Hivemind retrouve les souvenirs associés à chaque question et Gemini répond à partir de ceux-ci. Un appel distinct au même modèle évalue ensuite la réponse par rapport à la référence. Chaque question fait l’objet d’une recherche, d’une réponse et d’un jugement. Le modèle ne peut pas relancer de recherche, et nous ne générons pas plusieurs réponses pour choisir la meilleure.
Nous avons mené cette évaluation en interne avec l’évaluateur public mem0 memory-benchmarks, figé au commit 4b61c5d31b9c668a12b4f5e78064248a02c82d2b. Nous avons conservé ses prompts LoCoMo et règles de notation, y compris le traitement des réponses partielles et des dates, et exclu les 446 questions adversariales. Le score est le pourcentage de réponses jugées correctes ; la recherche LoCoMo d’origine utilisait le F1 lexical.
Le test a eu lieu le 18 octobre 2026 sur une version candidate 1.6.3 figée au commit 11ca440f3f2b76d1af92c79c8dfff7d6f2df316b. Les empreintes des deux images de conteneur sont consignées dans le dossier de preuves. La version publique est sortie le 19 octobre.
Composant
Configuration utilisée pour cette évaluation
Produit
Version candidate 1.6.3 figée, commit exact et empreintes des deux images consignés
Extraction
claude-haiku-5-5 ; température et effort non spécifiés
Ontologie
ontology=auto natif, construit séparément pour chaque conversation
Embeddings
OpenAI text-embedding-3-large, 3 072 dimensions
Traitement natif
Tranches d’extraction limitées à 25 000 caractères ; taille des segments de 500, chevauchement de 50
Recherche
10 entités et 8 segments de texte par question ; seuil de score natif conservé
Modèle de réponse et juge
gemini-3.8-flash, effort de raisonnement medium, appels distincts
Budget mémoire
50 000 tokens, comptés avec cl100k_base, tiktoken==0.12.0
Contexte mémoire réel
Moyenne de 23 825,03 tokens ; maximum de 50 000
Extraction des occurrences temporelles
Désactivée pendant toute l’ingestion et l’évaluation
Exécution
Dix conversations en parallèle ; une campagne et une réponse par question
Autour de l’évaluateur mem0, nous avons ajouté des contrôles plus stricts sur l’exécution et la conservation des traces. Avant l’ingestion, nous avons figé les versions des sources et les images, les jeux de données, les paramètres des modèles, les prompts et les limites de recherche. Nous avons rapproché chaque tâche d’ingestion des index documentaires et vectoriels, y compris les documents rejetés.
Avant de générer chaque réponse, nous avons vérifié la provenance du contexte retrouvé, son statut et l’absence des annotations temporelles désactivées. Nous avons conservé le contexte rendu et les empreintes des prompts, ainsi que la réponse, la sortie brute du juge et les éventuelles traces de troncature. Les opérations réussies n’ont jamais été répétées pour chercher un meilleur score ; les échecs techniques ont suivi une politique de nouvelle tentative fixée à l’avance. Les cas manquants sont restés dans le nombre de questions prévu, avec un suivi distinct des documents rejetés, des erreurs récupérées et des consommations inconnues.
Lors de cette évaluation, 271 des 272 documents ont été acceptés et indexés. Une extraction a renvoyé une sortie de modèle invalide ; nous ne l’avons pas resoumise, et les 1 540 questions sont restées dans l’évaluation. Le harnais a tronqué 46 contextes retrouvés au plafond de 50 000 tokens. Le décompte des tokens inclut les métadonnées envoyées avec les passages. Les nouvelles tentatives ont permis de récupérer dix erreurs HTTP transitoires de Gemini, sans laisser de réponse ni de jugement manquant.
Le temps d’ingestion enregistré par Hivemind était d’environ 24 minutes et 22 secondes. La consommation des modèles et des embeddings donne un coût estimé de 1,78 $, préparation et corrections de l’ontologie comprises. Le modèle de réponse et le juge ajoutent environ 39,09 $ aux tarifs sans cache. Ces estimations couvrent la consommation enregistrée, hors infrastructure et taxes.
Les trois configurations
Condition
Réponses correctes / évaluées
Précision
Évaluation documentaire initiale en 1.6.2
1 336 / 1 540
86,75 %
Index existant lu en 1.6.3 avec le mécanisme de contexte pour les anciens documents
1 428 / 1 540
92,73 %
Nouvelle ingestion avec la version candidate 1.6.3 figée
1 446 / 1 540
93,90 %
L’évaluation avec une nouvelle ingestion gagne 7,14 points de pourcentage par rapport à l’évaluation initiale en 1.6.2 : 132 réponses auparavant incorrectes sont devenues correctes et 22 ont suivi le chemin inverse. Par rapport à la lecture de l’index existant en 1.6.3, 39 réponses se sont améliorées et 21 ont régressé, soit un gain net de 18 réponses correctes. Cette comparaison porte sur les changements d’ingestion et de recherche pris ensemble.
Résultats par type de question
Catégorie
Réponses correctes / évaluées
Précision
Raisonnement en une étape
808 / 841
96,08 %
Raisonnement en plusieurs étapes
266 / 282
94,33 %
Raisonnement temporel
299 / 321
93,15 %
Domaine ouvert
73 / 96
76,04 %
Total
1 446 / 1 540
93,90 %
Toutes les questions ont reçu une réponse et un verdict : 1 446 réussites et 94 échecs.
Chaque question a le même poids dans le score global.
Comparaison avec d’autres projets de mémoire à long terme
Ces projets explorent différentes approches de la mémoire à long terme. Les notes ci-dessous présentent leurs évaluations LoCoMo publiées et leur méthodologie.
MemOS — 88,83 %. MemTensor publie ce résultat pour son service cloud dans OmniMemEval : 1 540 questions, modèle de réponse demandé gpt-4.1-mini-2025-04-14, juge gpt-4o-mini-2024-07-18, et contexte moyen à l’étape de réponse de 5 400 tokens, prompt compris. Les tableaux de résultats, adaptateurs et code d’évaluation sont publics. Résultats et configuration. Seul le score propre à MemOS est utilisé ici.
Hivemind — 93,90 %. Notre évaluation interne de la version candidate 1.6.3 figée utilise Haiku pour l’extraction et Gemini 3.8 Flash medium comme modèle de réponse et juge. Contexte mémoire moyen : 23 825 tokens, plafonné à 50 000. Configuration complète ci-dessus ; preuves disponibles via GitHub.
Mem0 — 92,5 %. La plateforme managée annonce 1 425/1 540 avec un top-200, un contexte moyen de 6 956 tokens et une recherche suivie d’une réponse. Le harnais et les résultats par question sont publics ; le résultat comprend des optimisations de la plateforme managée absentes du SDK open source. Résultats, description du pipeline.
Hindsight — 92,0 %. Vectorize a publié ce résultat pour la v0.4.19 en mode AMB à requête unique le 23 mars 2026. Le harnais, les prompts et l’explorateur de résultats sont publics. Publication, harnais.
Zep — 94,7 % publiés. La page de recherche de Zep décrit une évaluation LoCoMo utilisant GPT-5.4 comme modèle de réponse et comme juge. Sa méthodologie est publique ; nous n’avons pas vérifié les résultats sous-jacents question par question. Recherche et méthodologie.
Le financement concerne les entreprises. L’annonce de financement de MemTensor en juillet 2026 a été rapportée comme portant le cumul à des centaines de millions de yuans ; aucun total précis n’a été communiqué. Elle faisait suite à un tour d’amorçage proche de 100 millions de yuans, et un nouveau tour pré-A+ a été annoncé en septembre sans montant. Le tableau l’exprime en dizaines de millions de dollars US : une conversion approximative, pas un total en dollars communiqué par l’entreprise. Au taux de clôture USD/CNY du 23 octobre 2026 de 6,6703 yuans par dollar, 100 millions de yuans représentent environ 15 M$. Les 24 M$ de Mem0 couvrent l’amorçage et la série A ; les 3,6 M$ de Vectorize correspondent à son tour d’amorçage annoncé. Lesur.AI est autofinancé, sans levée de fonds, comme l’a confirmé son fondateur.
