با توجه به سرمایه‌گذاری‌های عظیم در زیرساخت‌های هوش مصنوعی، فشار زیادی برای استخراج حداکثر توانایی استنتاج از پردازنده‌های گرافیکی (GPU) موجود وجود دارد. این شرایط، فرصت مناسبی برای محققان متخصص در تکنیک‌های خاص فراهم آورده تا بودجه لازم را جذب کنند.
همین انگیزه، نیروی محرکه‌ی اصلی شرکت تنسورمِش (Tensormesh) است که این هفته با جذب 4.5 میلیون دلار سرمایه‌ی اولیه، فعالیت خود را به طور رسمی آغاز کرد. این سرمایه‌گذاری به رهبری شرکت لاد ونچرز (Laude Ventures) و با مشارکت سرمایه‌گذار فرشته، مایکل فرانکلین، پیشگام در زمینه‌ی پایگاه‌های داده، انجام شده است.
تنسورمِش قصد دارد از این سرمایه برای توسعه‌ی نسخه‌ی تجاری ابزار متن‌باز اِل‌اِم‌کَش (LMCache) استفاده کند. این ابزار توسط یی‌هوا چنگ، یکی از بنیان‌گذاران تنسورمِش، ایجاد و پشتیبانی می‌شود. در صورت استفاده‌ی صحیح، اِل‌اِم‌کَش می‌تواند هزینه‌های استنتاج را تا ده برابر کاهش دهد. این قابلیت، اِل‌اِم‌کَش را به یک ابزار اصلی در پروژه‌های متن‌باز تبدیل کرده و توجه شرکت‌های بزرگی مانند گوگل و انویدیا را به خود جلب کرده است. اکنون، تنسورمِش قصد دارد با تکیه بر این شهرت علمی، یک کسب‌وکار سودآور ایجاد کند.
قلب تپنده‌ی این سیستم، کِی-وِلیو کَش (Key-Value Cache) یا حافظه‌ی KV است؛ سیستمی که برای پردازش کارآمدتر ورودی‌های پیچیده، آن‌ها را به مقادیر اصلی خود خلاصه می‌کند. در معماری‌های سنتی، حافظه‌ی KV در پایان هر پرس‌وجو حذف می‌شود؛ اما جونچن جیانگ، مدیرعامل تنسورمِش، معتقد است که این کار، منبع بزرگی از ناکارآمدی است.
جونچن جیانگ، یکی از بنیان‌گذاران تنسورمِش، می‌گوید: «این کار مثل این است که یک تحلیلگر بسیار باهوش تمام داده‌ها را بخواند، اما بعد از هر سوال، تمام آموخته‌هایش را فراموش کند.»
سیستم‌های تنسورمِش به جای دور انداختن حافظه‌ی کَش، آن را نگه می‌دارند و به مدل اجازه می‌دهند تا در پرس‌وجوهای بعدی، از آن استفاده کند. از آن‌جا که حافظه‌ی پردازنده‌های گرافیکی بسیار ارزشمند است، این کار می‌تواند به معنای پخش کردن داده‌ها در چندین لایه‌ی ذخیره‌سازی مختلف باشد؛ اما در عوض، توانایی استنتاج بسیار بیشتری را با همان بار سرور به ارمغان می‌آورد.
این تغییر، به‌ویژه برای رابط‌های کاربری چت بسیار مفید است؛ زیرا مدل‌ها باید به‌طور مداوم به تاریخچه‌ی چتِ در حال رشد مراجعه کنند. سیستم‌های اِیجنتیک (Agentic) نیز با مشکل مشابهی روبرو هستند و باید مجموعه‌ی بزرگی از اقدامات و اهداف را به خاطر بسپارند.
از لحاظ نظری، شرکت‌های هوش مصنوعی می‌توانند خودشان این تغییرات را اعمال کنند؛ اما پیچیدگی‌های فنی، این کار را به یک چالش بزرگ تبدیل می‌کند. با توجه به تحقیقات تیم تنسورمِش در این زمینه و پیچیدگی‌های موجود، این شرکت شرط می‌بندد که تقاضای زیادی برای یک محصول آماده وجود خواهد داشت.
جیانگ می‌گوید: «نگه‌داشتن حافظه‌ی KV در یک سیستم ذخیره‌سازی ثانویه و استفاده‌ی مجدد کارآمد از آن، بدون کاهش سرعت کل سیستم، یک مشکل بسیار چالش‌برانگیز است. ما شاهد بوده‌ایم که افراد برای ساخت چنین سیستمی، 20 مهندس استخدام می‌کنند و سه یا چهار ماه زمان صرف می‌کنند. در حالی که می‌توانند از محصول ما استفاده کنند و این کار را به طور بسیار کارآمدتری انجام دهند.»
