ちょっと興味深い動きを見かけた。Moondreamが視覚言語モデルの精度向上に特化した新サービス「Lens」をローンチしたらしい。先週の4月21日のことだ。

これまでVLMは実験室では優秀だったのに、実世界の現場に持ち込むと精度がガクッと落ちるという問題があった。Lensはそこを直すためのファインチューニングサービスで、強化学習と教師ありファインチューニングの両方に対応している。従量課金制のAPIなので、必要な分だけ使える。

何が凄いかというと、少量のデータで大幅な改善が実現できる点。実例としてNBAのライブ放送の映像解析に使ったら、F1スコアが28%から79%まで跳ね上がったらしい。誤検出も大幅に減った。

ストリートビュー画像から国を識別するタスクや医療画像処理でも、既存のモデルを上回る性能を示してるんだとか。視覚言語モデルの実用化が一段階進んだ感じがする。

Moondreamの初期パートナーであるPTZOpticsは、このLensを組み込んでターゲット追跡と異常検知の精度を高める計画だ。Moondreamは以前Photon推論エンジンも出してたけど、Lensはそれを補完する形で、VLM運用における速度と精度の両立に対応する流れになってる。

実世界応用の課題を技術で解いていく。こういう地道な改善が、VLMの本格普及に繋がっていくんだろう。