機械学習を使って顔文字検出してみた

あっとん
2013/08/10(Sat)

だれですか

• あっとんです
• Twitter だと @_atton
• へっぽこVimmerもどき
• Ruby派だけれど今回python
• 今回は「始めての機械学習」みたいな体験談のつもり

「機械学習」って何

• 「人間がやってる学習を機械にもさせよう」みたいな流れらしいけれど
• 定義難しいというか完全に分かってないので割愛
• 詳しいことは詳しい人が知ってるはずです
• 今回使用したのは「教師あり学習」
• Python + scikit-learn, SVM

「教師あり学習」って何

• データにラベルを付ける
• ラベルは複数ある
• ラベルが付いているデータを学習器にかけて学習させる
• 学習すると、ラベルが付いてないデータはどのラベルであろうか判断してくれる
• データは数値のベクトルにしないといけない
• 数値のベクトルは全て同次元で無いといけない

教師あり学習をするにあたって

• ラベル
• 顔文字であるか否かの 0 or 1
• データ
• 顔文字辞書 と 誤検出データ
• 同じ次元にするには
• 顔文字と検出する文字列を5文字に限定
• データをどうやって数値のベクトルにするのか
• ここ重要

特徴ベクトル

• データを数値化するにあたって
• ちゃんとそのデータの特徴を持った数値にしないといけない
• なので「特徴ベクトル」
• 極端文字数でも良いし、Unicodeの値とかでも良い

"(^o^)"

[40, 94, 111, 94, 41]

• これでも良い

ここから若干hagoく

特徴ベクトル

• Unicodeの値だけだとおもしろくないので
• それっぽいものを考える
• 「この文字は5ヶ所の中でどこに多く出てきたか」を特徴ベクトルにする
• 「目の位置に入ってくるのは目に使われたものだろう」
• 元の顔文字辞書から頻度を調べる
• ベクトル化する時はそれを使う
• 5文字 x 5ヶ所の 25次元ベクトル

特徴ベクトルの例 (2x2)

• 仮に2次元だとして、元データが以下の3つだとする

[]

()

[|

• そうすると以下の数値頻度としてが得られる

左側	[ : 2	( : 1
右側	] : 1	) : 1	| : 1

• そうすると"|["は特徴ベクトル化すると以下のようになる

変換前	|	[
変換後	01	20

さらに

• 顔文字で無いものをちゃんと弾けるようにする
• ずらしてみる

  '(^o^)' -> '^o^)(', 'o^)(^', ')(^o^', '^)(^o'

  連続した顔文字対策
• 一部分だけある場合を考えてみる

  ( -> '(aaaa', 'a(aaa', 'aa(aa', 'aaa(a', 'aaaa(' 

  特定の記号のみに反応しないように
• どうしても誤検出するものは自分で拾っていく

つまり

hagoったら検出率は上がる

hagoったら検出率は上がる

• ツイート50件無作為抽出
• そのうち40件は顔文字なし、10件は顔文字あり
• Unicode

顔文字で無い判定	38/40	95%
顔文字判定	6/10	60%

• hagoった特徴ベクトル

顔文字で無い判定	40/40	100%
顔文字判定	9/10	90%

百聞は一見にしかず

ナイス検出 / 謎誤検出

(´ω｀) 検出可能!

STATE

(TAT)

|Vim)

なぜか

|Vim)

誤判定行き。

まとめ

• 顔文字を検出したかった
• 機械学習を使った
• でもゴニョゴニョしないといけなかった
• 同次元に合わせる、特徴をベクトルとして使う、とか
• 「学習器は万能では無い」
• hagoって表現したけれど
• プログラムというよりはデータをどう扱うか
• 結論 : みょっくんを見つけられた