Система AI-пам’яті MemPalace, розробкою якої за участю Міли Джовович Вікі займаються, заявляє, що тести показали 100% результату і через це швидко стала вірусною, однак спільнота розкритикувала проєкт: стверджують, що в тестуванні є ознаки шахрайства та що дані вводять в оману. Практична перевірка виявила, що ефект перебільшений і що є велика кількість помилок; команда визнала недоліки та вже займається їх виправленням.
Міла Джовович Вікі створила AI-палац пам’яті, що привернув увагу ззовні
Учора (4/7) у середовищі AI була одна з великих новин: голлівудська акторка Міла Джовович Вікі (Milla Jovovich), відома за фільмами «Оселя зла» та «П’ятий елемент», разом із розробником Ben Sigman, використовуючи Claude Code, допомогла створити відкриту «MemPalace» — систему AI-пам’яті з відкритим кодом.
Водночас широко поширився меседж «голлівудська зірка вийшла на кросовер і зробила проєкт на максимум», і до цього часу MemPalace на GitHub отримала понад 20 тис. зірок, але дуже швидко це викликало сумніви в середовищі розробників: це справді щось вартісне чи просто розкрутка?
Почнемо з мотивації появи MemPalace. В офіційних документах зазначено, що проєкт покликаний вирішити проблему, яка полягає в тому, що в більшості AI-систем розмови користувача з AI, процес прийняття рішень та обговорення архітектури зазвичай зникають після завершення робочої сесії, через що кілька місяців роботи обертаються нулем.
Щоб розв’язати цю проблему, MemPalace використовує просторову архітектуру для зберігання пам’яті: інформацію чітко класифікують у крилі, що представляє людей або проєкти, а також у структурах різних рівнів — коридорах, кімнатах і шухлядах — зберігаючи оригінали діалогів для подальшого пошуку за семантикою.
Розробницька команда стверджує, що MemPalace отримала 100% ідеальний результат у довгостроковому бенчмарку пам’яті LongMemEval і водночас досягла 96,6% точності без виклику будь-яких зовнішніх API, а також що вона може працювати повністю локально без необхідності підписки на хмарні сервіси й укомплектована діалектною системою AAAK, яка нібито здатна забезпечити 30-кратне безпотратне стиснення.
Джерело зображення: GitHub Голлівудська зірка Міла Джовович Вікі створила AI-палац пам’яті, що привернув увагу ззовні
Розробники й спільнота разом піддали сумніву проєкт: тестування та промо мають недоліки
Однак заявлений MemPalace стовідсотковий результат у LongMemEval дуже швидко викликав заперечення в середовищі колег.
PenfieldLabs — компанія, яка теж займається створенням AI-систем пам’яті, — вказала, що твердження MemPalace про 100% у датасеті LoCoMo є математично неможливим, оскільки стандартні «правильні відповіді» цього датасету самі містять 99 помилок.
Аналіз PenfieldLabs показав, що 100% результат MemPalace походить від налаштування кількості витягувань (retrieval) на 50 разів, але в тестових даних максимальна кількість діалогових етапів становить лише 32. Це означає, що система напряму обходить етап retrieval і передає всі дані AI-моделі для читання.
Щодо 100% результату в LongMemEval команду розробників викрили: виявилося, що вона орієнтувалася на 3 конкретні проблеми, де помилки накопичувалися найбільше; під них було написано спеціальні коди виправлення, що створює підозри щодо шахрайства на тестовому наборі.
Джерело зображення: Reddit Колега PenfieldLabs зазначає, що твердження MemPalace про 100% у датасеті LoCoMo є математично неможливим
Практична перевірка на GitHub: базовий бенчмарк має елементи, що вводять в оману
Користувач GitHub hugooconnor після практичної перевірки залишив коментар: MemPalace заявляє точність retrieval аж на 96,6%, однак насправді вона взагалі не використовує архітектуру «палацу пам’яті», яку рекламували. hugooconnor стверджує, що їхнє тестування просто викликає стандартні функції нижнього рівня бази даних ChromaDB і не має жодного стосунку до логіки класифікації, на якій наполягає проєкт: крил, кімнат або шухляд.
Після тесту hugooconnor з’ясував, що коли система справді вмикає спеціальну логіку класифікації цих «палаців пам’яті», результат пошуку навпаки погіршується. Наприклад, для кімнатного режиму точність падає до 89,4%, а після ввімкнення технології AAAK стиснення вона ще знижується до 84,2% — і в обох випадках показники нижчі за роботу бази даних за замовчуванням.
hugooconnor також розкритикував методику тестування: тестове середовище MemPalace навмисно звужує діапазон retrieval для кожного завдання приблизно до 50 діалогових етапів; шукати відповіді в надто маленькій тестовій базі занадто просто.
Якщо розширити діапазон до понад 19,000 діалогових етапів у реалістичному сценарії, точність традиційного пошуку за ключовими словами падає до 30%, що показує: поточний формат тестування MemPalace приховує справжню складність пошуку.
Джерело зображення: GitHub Практична перевірка користувача GitHub: у базових тестах MemPalace є елементи, що вводять в оману
Водночас, хоча команда розробників уже опублікувала заяву про виправлення, визнавши, що технологію AAAK справді підтверджено як стиснення з втратами, і пообіцяла відкоригувати документацію та дизайн системи відповідно до суворої критики спільноти, головний опис проєкту досі зберігає низку непереглянутих і невиправлених перебільшень. Серед них — твердження про 30-кратне безпотратне стиснення та підвищення retrieval на 34%, а також порівняльні графіки з іншими конкурентами, які повністю не містять посилань на джерела.
Оригінальний код MemPalace стикається з багатьма Bug
Оскільки все більше розробників завантажує й тестує, на платформі GitHub з’явилася велика кількість повідомлень про Bug у вихідному коді MemPalace.
Користувач cktang88 навів низку серйозних недоліків: зокрема, що стискання-команда не працює та спричиняє аварійне завершення системи, що логіка підрахунку кількості слів у підсумку помилкова, що статистика під час «викопування» кімнат неточна, а також що сервер при кожному виклику завантажує в пам’ять усі проінтерпретовані дані, через що виникають проблеми з критичною витратою ресурсів.
Серед інших проблем, на які також вказували, — те, що система жорстко прописує імена членів сім’ї розробника в налаштуваннях за замовчуванням, а також те, що під час запиту стану існує примусове обмеження на відображення 10,000 записів даних.
Щодо цих проблем відкрита спільнота вже почала активно виправляти. Користувач adv3nt3 подав кільказапитів на виправлення, зокрема на коригування статистики під час «викопування», на видалення імені члена сім’ї за замовчуванням, а також на відтермінування часу ініціалізації knowledge graph (графа знань). Згодом команда розробників також визнала ці помилки й зараз шляхом співпраці з спільнотою поступово усуває проблеми в коді.
У Міли Джовович Вікі Vibe Coding — круто, а ось маркетинг — ні
Щодо проєкту MemPalace користувач Hacker News darkhanakh підбив підсумок: MemPalace створює враження, ніби це OpenClaw — тобто штучне керування результатами бенчмарків, щоб вони виглядали ідеальними, а потім усе це упаковують як якусь велику проривну сенсацію для просування.
На його думку, базові технології MemPalace можуть справді бути цікавими, але за наявності таких вад у методиці тестування ще й робити акцент на «найвищому публічному результаті за всю історію» для промо — це просто недоречно. «Але, якщо вже казати, Міло Джовович Вікі грається у Vibe Coding — думаю, що це все ж досить круто.»
Додаткове читання:
AI пише код і вийшло боком! Проблема з кібербезпекою в застосунку «Охоронець турботи про прострочене», на базі додатка для магазинів; GPS вдома — і дані про геолокацію фактично опиняються у відкритому доступі
