バーチャルオフィスのinsquare|TOP > インスクエアメルマガ バックナンバー


TOP >> ;Archive: 22. 9月 2017

『画像分類AI構築』 インスクエア ビジネスニュース Vol.1387

■[ インスクエア ビジネスニュース ]━■

 エイジレスな起業支援
 インスクエアが送る【最新!ビジネス情報】
 http://in-sq.com
■━━━━━━[vol.1387] 2017/09/22━━■

メルマガ無料購読申込はこちら

━━┳━━━━━━━━━━━━━━━━
01 ┃本日のコラム『 画像分類AI構築 』
━━┃…………………………………………
  ┃藤田幹夫(PDBマーケティング株式会社)
━━━━━━━━━━━━━━━━━━━
PDBマーケティング藤田です。
今日のテーマは画像を分類するAIエンジン
の構築記録です。
1月からIBMが提供するAI=Watsonの
学習を開始し、4月から分類エンジンの
開発と、スマホからの利用アプリ開発を
行ってきました。

今週AIエンジンが稼働しました。
実践経緯のお知らせです。
簡単というのは事実と異なりますが、
得られる機能と投下した時間、コスト対比
では、晴らしいと感動です。
再認識です。クラウド環境はビジネスの
ありかたを変えます。

今回の対象は、料理のレシピです。
スマホで料理を撮影して送信すると
栄養素、カロリーなどを撮影者に返信します。

以下のステップで構成されます。
1.教師データの母集団となる素ータ収集:
2.対象とする項目データ抽出、編集
3.各分類に合致するデータの検索
4.合致データの画像編集
5.AIエンジンに教師データとして画像投入
6.独自分類器として機械学習

今日は、1から3までの紹介です。
素データは、膨大なデータが投稿されている、
インターネットからの収集です。
この工程は、スクレイピング、クローリング
と一般的にいわれます。

URLを自動的に遷移して、各サイトから
指定した条件に合致する情報を収集します。
量的に多くなければ、Googleで個別に
検索結果をコピペでいいのですが、
10万件といったボリュームでは不可能です。
自動化が必須です。

オープンソース等ツールが公開されて
いますが、サイト運用側からはスパム的な
警戒をされる可能性があります。
最悪のケースはアクセスを遮断されます。

このリスク回避目的で有料サービスを
利用しました。
80legs:数万台のPCで分散して収集する
サービスです。
1回の設定で、100万カ所のURLから
データを取得します。

さすがに10時間ほどかかります。
膨大なテキストデータを取得しますから、
ここから2.対象データの抽出です。
おそらく最適ではないと思いつつ、自分が
扱える技術的な制約からVBAで文字列操作
選択スクリプトを書きました。

見慣れたExcelシートにレシピデータを
取得します。

いくつかの条件設定を行い、10回ほどの
スクレイピングを行い、取得した素データ
から各xcelシート1万件、合計10万件の
データ抽出です。

これをファイルメーカで統合する。
ここでデータの重複問題の発生です。
20%と想定でしたが、40%ほどあり、
追加取得を余儀なくされました。

実データを扱う時、予想外の事はよく
発生します。
3.設定した分類に該当するレシピの
検索抽出です。
ここではレシピ名による検索の想定です
が、結果は不調。

事後的に専門家コメントで判明するのですが、
レシピは名称基準がありません。
作成者がユニークさを競う世界のようです。

名称検索をあきらめて、別にキーワード抽出です。
収集データには多少冗長ですが、コメント文、
材料も取得したので、この単語の組み合わせに
よる検索で補完します。

この結果何とか教師データが整い、独自分類
エンジンが稼働しました。

ここからは、いくつかの評価を実施し、教師画像の
更新などにより分類のチューニングを行います。

並行してスマホアプリの開発が進行中で、
iPhone/Android両方からの利用が可能な
アプリを9月末に提供予定です。

こちらはクラウドで提供される開発環境を
利用し、短期間でiPhone/Android
ハイブリッドアプリの開発が可能となりました。

技術的に高くはない、少しの抵抗を超えると
広い世界があります。
スクレイピングから機械学習、利用環境として
スマホのカメラや音声認識機能の活用。
世界中の技術者が性能向上に注力しています。
これをすぐに自分で活用できます。

ビジネスモデルが大きく変わる前提が
どんどん拡大です。
自分で変化させるか、誰かに変えられて
しまうまで待つか。自由な選択です。

まあ、早すぎるいうこともあります。
選択肢は色々です。
個人の性格によるのかな。

———————————–
▼プロフィール:インスクエアメルマガ編集委員、
 起業塾長
・氏名:藤田 幹夫(ふじた・みきお)66歳
・出身:香川県丸亀市
・出身高校/大学:香川県立丸亀高校/京都大学理学部
・役職:PDBマーケティング 代表取締役
 京都からイノベーションを目指します。2017/5/1
・mail:fujita@p-db-m.com
・経歴:1974年 株式会社日本ビジネスコンサルタント 入社
    1987年 兼(財)データベース白書編集委員2008年廃刊まで
    2009年 PDBマーケティング株式会社代表就任(現在に至る)
—————————————————————


« 8月 2017 9月 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 10月 »