Enable AI Foundry（EAF）とシャープが開催したセマンティックカメラハッカソン「Semantic Camera で未来を創ろう！」で店舗賞を受賞したのは、「コンセプションレンズ」だった。
ショッピングモールのインフォメーションボードにセマンティックカメラを組み合わせ、来館者の持ち物や購入品のブランドロゴを検知して消費スタイルを推定、関連する店舗を推薦するシステムだ。
モールの「見過ごし問題」を消費行動から解く
筧万里氏と野渡颯馬氏が開発した。筧氏が着目したのは、ショッピングモールにおける店舗の見過ごし問題だ。大型モールでは魅力的な店舗があっても来館者に知られていなかったり、目的の店だけに立ち寄って回遊しないケースが多い。モール運営側にとっては、いかに顧客を回遊させるかが課題になる。
既存の解決策として広告配信が考えられるが、一律配信では関係のない情報はスルーされがちだ。顧客の興味に合った情報を届けるには購買スタイルの把握が必要だが、個人の嗜好を直接取得するのは難しい。
そこで筧氏が注目したのが「身につけているもの」だった。買い物袋のロゴや服のブランドなど、来館者がすでに持っている情報から消費スタイルを読み取り、それに基づいて店舗を推薦する。セマンティックカメラであればロゴの検知結果だけをテキストとして扱い、映像そのものは保持しないためプライバシーへの懸念も抑えられる。
ロゴ検知から経路案内まで、FPGA 上で実装
コンセプションレンズは3つの機能で構成される。1つ目はロゴ検知で、YOLOv8 を用いて購入品や所持品のブランドロゴを検出する。代表的なロゴ画像と背景を組み合わせたデータ拡張で学習データを生成し、カスタマイズ性を担保した。
2つ目は消費スタイルの分析で、検出されたロゴからカジュアル・スポーツ・ビジネスといった嗜好を推定する。3つ目は店舗推薦と経路表示で、顧客の興味に近い店舗を提示し、モール内の経路を案内する。
デモではシャープから貸与された FPGA ボード KV-260 上にシステムを構築し、AIRTIPS を使用して実装した。インフォメーションボードに設置されたカメラにショッパー（紙袋）を読み込ませると、消費スタイルが類似する店舗を推薦。
たとえばサムソナイトの紙袋を検知すると、スーツケースを扱う店舗の広告と特徴が表示され、そこまでの経路が案内される仕組みだ。
広告表示にとどまらず、消費スタイルの分析基盤や広告の効果測定ダッシュボードも構築した。モール運営者がどの推薦がアクションにつながったかを検証できる仕組みだ。