ベクトル検索

リンク

メモ

• 概要
  • ベクトルは実数の列
    • [0.1, -0.2] などのこと
  • 各実数を要素、または次元と呼ぶ
  • ベクトルを構成する要素の数を次元数と呼ぶ
    • [0.1, -0.2]のベクトルの次元数は2
  • 順序には意味があり [0.1, -0.2] と [-0.2, 0.1] は異なるベクトルになる
  • 次元数がNであるベクトルをN次元のベクトルと呼ぶ
• 検索の流れ
  • 前段
    • まずはドキュメントの入力を受けて、ドキュメントをベクトル化する
    • ドキュメントと共にストレージに保存しておく
  • 検索時
    • クエリの入力を受けて、クエリをベクトル化する
    • クエリベクトルとドキュメントベクトルとの間で簡単な計算をして、ドキュメントごとにスコアを決める
    • スコアの高いドキュメントを優先的にユーザーに返す
• 簡単な計算
  • 色々あるがユークリッド距離の計算などがある
• ランキング
  • ランキングの処理、ランキングの結果
  • ランキングの重要性
    • ユーザーが見られるドキュメント数は限られる、すべてのドキュメントを見れるわけではないので、上位10件なら100件なりを返す必要がある
    • 検索システムは、ユーザーに変わって、クエリに関連するドキュメントをすべて確認して、関連度の高いものを選び出すステップとしてランキングがある
• ランク学習
  • 多くのクエリやドキュメントに対応するために、ランキングの機械学習であるランク学習を行う
  • ランキングモデルを最適化すること