2008-03-20  全文検索システムの導入

SQLiteで実装した日本語全文検索機能をスキャンティ・システムに組み込むことにしました。

＜画像の説明＞索引付けをいつするか悩みました。今回は「DBデーモン内のモジュール」として動作させることにしました。インデックサは投稿文のクローラとは非同期に動作します。

「ディメンション（dimension）」という機能ブロックの存在に気付いた人がいるかもしれません。いま方式を検討している新機能なのです。日付ディメンション（date dimension）と位置ディメンション（location dimension）の実装を予定しています。実現すれば時間軸方向および空間方向に伸張圧縮した解析ができるようになります。でも，そのまえにN gramベースの全文検索機能を載せる必要があったのです。

さて，未だにこのシステムの正体が分からない人がいるかもしれません。大別するとOLAP（OnLine Analytical Processing，オンライン分析処理）に分類されます。所詮，SQLiteに載せているので本格的なOLAPの足元にも及ばないとは思いますが，本格的になったときに備えて日々，実験を重ねているのです。