#KVキャッシュ

2件の記事

Stanford発スタートアップのEngramが6月23日に$98M調達。KVキャッシュ事前学習でトークン消費を最大100分の1に削減すると主張。Notion・Microsoft・Harveyが試験導入中だが独立検証はまだない。

Google TurboQuant完全解説｜LLMを6倍圧縮・8倍高速化する新アルゴリズム

Googleが2026年3月発表のTurboQuantを解説。KVキャッシュを3ビットに圧縮しメモリ6分の1・推論8倍速を精度劣化なしで実現。ローカルLLMやAPI利用コストへの影響も検証。