『データの正規化作業』 インスクエア ビジネスニュース Vol.517
■[ インスクエア ビジネスニュース ]━━━━━━━━━━━━━━━━■
世代を超えて起業が日本を元気にする！
エイジレスな起業支援のインスクエアが送る【 最新！ビジネス情報 】
http://in-sq.com
■━━━━━━━━━━━━━━━━━━━━━[vol.517] 2014/04/15━━■
‥‥◇◆ 目次 ◆◇‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥
01:本日のコラム…『 データの正規化作業 』
／ 戸田 裕子（株式会社知紡）
02：プレゼント企画
最新トレンドセミナー無料ご招待。
03:その他お知らせ
１ インスクエアの最新情報
・サポーターに実演販売プロモーター登場
・インスクエア上野、横浜関内のご案内
━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
01 ┃ 本日のコラム －『データの正規化作業』
━━┃……………………………………………………………………………………
┃ 戸田 裕子（株式会社知紡）
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
株式会社知紡の戸田です。
先週から、海外住所データの整理作業をしています。
10万件以上のデータで、世界各国の英語で表記された住所の整理です。
作業の目的は、記載された住所から、国と市を判別し、住所の文字列を
street-city-state-countryのように分割することです。
単純に、国と市を判定するのであれば、google APIのジオコーダなどを
利用すれば技術的にはできますが、この作業の難しさは、元の文字列を
分割するところにあります。
ZHE JIANG SHENG WEN ZHOU SHI SHANG HUA LU 1HAO
=> SHANG HUA LU 1HAO /WEN ZHOU SHI /ZHE JIANG SHENG
ROEMERSTR.12 WEIL AM RHEIN GERMANY
=> ROEMERSTR.12 /WEIL AM RHEIN /GERMANY
といった具合に分けます。
2つめのドイツの住所をGoogle APIジオコーダで検索すると、
以下のように、正規化された情報が見られます。
郵便番号までついてきます。
formatted_address =>
Roemerstrasse 12, 79576 Weil am Rhein, Germany
street_number => 12
route => Roemerstrasse
locality => Weil am Rhein
administrative_area_level_2 => Freiburg
administrative_area_level_1 => Baden-Wurttemberg
country => Germany
（以下のURLをブラウザで送信すれば見られます。最後のlanguage=jpとす
るとカナ表示されます）
このようなジオコーダを利用すると便利なのですが、
実際には、百万円以上のビジネス利用料が発生します。
また、元の住所の不備などで、検索されない、複数候補が出る、
全く異なる住所にヒットする…等が起こるため、手作業による方法が
無くなりません。
今回も全件目視が基本ですが、費用・納期の点から、前処理として
ある程度の機械処理をします。
国名、州名、市・町名のリスト（辞書）を利用する方法です。
しかしご存知のように、住所の表記は様々な書き方が存在します。
「tu」なのか「tsu」、「ウムラウトo」は「oe」なのか「o」、
Roadの略RD.、市名－町名 でハイフン繋ぎ、正式名と簡略名、通称…等。
テキスト分析の分野では、「表記のゆらぎ」と呼ばれるものです。
一方、誤字、脱字もあります。
「Germany」が「Garmany」ではマッチしません。
分解の精度は、利用する地名リスト(辞書)の網羅性が大きく影響します。
良い辞書を使えばよいのですが、ここでも費用という縛りがあります。
ここに工夫を入れます。整理したい元データは10万件以上あるわけですから、
基本辞書を使いながら、データ自身から辞書を補完する方法が取れます。
流行のIT用語で言い換えれば、ビッグデータを利用し、データの自己学習を
行い、パターンを抽出する方法と言えます。
実際には、結構ローテクなルールで、地道にパターンを探しているのですが、
初期の基本リストでは、70%程度しか分解できなかったものが、85%程度まで
上げることができました。
このように「データの正規化作業」には限りがありません。
正規な基準に合わせることが重要な事もありますが、目的によっては、
通称、略称、誤字も含めた慣例を、どんどん基準に取り込むことで、
情報活用のためのコストを下げることができればと考えています。
今後とも宜しくお願いいたします。
——————————————————————
▼プロフィール：
・氏名：戸田 裕子（とだ・ゆうこ）tod@myt.co.jp
・所属：（株）知紡 代表取締役
http://www.ti-bou.com/
Papatto 企業情報検索サービス http://www.papatto.info/s/index.html
・出身：東京都
——————————————————————-
━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
02 ┃ 【無料招待】最新トレンドセミナーご招待
━━┃……………………………………………………………………………………
┃ 消費トレンドから時代を読みとる
┃「いまどきのヒット商品・サービスのトレンドと法則」
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
インスクエア通信は「起業プラットフォーム」として最新ビジネス情報をお届
けしています。
20年続いたデフレの波に変化が現れ始めました。いままでの常識が通用しな
くなる、いままでの価格戦略は見直さなければならない。・・この変化の中で
起業家は新しい課題への対応を見つけなければ生き残れません。
そこで今回は、元日経トレンディ編集長北村森様をお招きして、「いまどきの
ヒット商品・サービスのトレンドと法則」というまさに今聴きたい講座をご用
意させていただきました。
インスクエア利用会員様は【無料ご招待】させていただきます。奮ってご応募
ください。定員になり次第修了とさせていただきます。
（セミナーパンフレット）
http://in-sq.com/other/seiwakai_atoffice_kyoudoukaisaisemina-_20140514.pdf
■アットオフィス・清和会共同開催 講演セミナー
「いまどきのヒット商品・サービスのトレンドと法則」
—-消費者をどう“びっくりさせる”か
お客様が答えを持っているから聞く・・・しかし消費者に何が欲しいか聞いて
その通りに作っても正解は出ない。作り手と買い手の間にはとても深い溝があ
る。消費者におもねず、見くびらず、居場所を求めすぎて迷子にならずという
3原則が大事だ。そしてカギとなるのが「消費者をびっくりさせる」というス
タンス。「そんな馬鹿な！」「そこまでやるか！」「分かっていたのに！」と思
わせて成功した商品やサービスの発想、そしてグローバル時代を勝ち抜く日本
独自の商品開発、サービスはどこにポイントがあるのか。消費トレンドから時
代を読み取る。
■講 師 北村 森氏
（商品ジャーナリスト、サイバー大学客員教授、元『日経トレンディ』編集長）
1966年富山県生まれ。慶應義塾大学法学部卒業。92年日経ホーム出版社に入
社。編集者兼記者として、「ホテルや旅館、飲食店の覆面チェック」「携帯電話
の実使用チェック」をはじめとした各種商品テスト記事の制作・執筆に長年携
わる。
2005年「日経トレンディ」編集長に就任、07年同誌の発行人を兼務。「消費者
がおカネで買えるものすべてをテーマに据える」を旗印に、編集長就任時に低
落傾向にあった同誌の販売部数を大きく立て直すことに成功する。08年日経
ホーム出版社を退職。
09年幻冬舎に入社。10年フリージャーナリストとなる。編集者として活動す
る傍ら、テレビ、ラジオへの出演も精力的に続ける。ソフトバンクなどが設立
したインターネット上の「サイバー大学」では、ITマーケティング論の講座
を担当している。
■日 時 2014年5月14日（水） 14：00～15：30
■会 場 アットビジネスセンター東京2階206号室
（ＪＲ「東京」駅八重洲口より徒歩6分）
http://abc-kaigishitsu.com/tokyo_yaesu/access.html
■参加費
・インスクエア会員、アットビジネスセンター会員・・・無料ご招待
・一般の方・・・事前予約 10,000円/当日 15,000円/学生 3,000円
（ﾒﾙﾏｶﾞ特典）
抽選でﾒﾙﾏｶﾞ読者も１０名様を特別招待
お申し込み時にクーポンコードに「無料希望」とお書きください。当選の連絡
をもって抽選結果発表とさせていただきます。
■定 員 ５０名限定
■お申込み
http://in-sq.com/other/schedule.html
５月１４日のイベントの申し込みをクリックしてください。
ご質問等ございましたら、
お気軽にご連絡ください！０３－６８６８－４３４４ まで。
（セミナーパンフレット）
http://in-sq.com/other/seiwakai_atoffice_kyoudoukaisaisemina-_20140514.pdf
━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
03 ┃ その他のお知らせ
━━┃……………………………………………………………………………………
┃ 1. インスクエア最新情報
┃ ２. インスクエア上野、横浜関内のお知らせ
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
≪インスクエア最新情報≫
□ サポーターに目利きリスト登場 □
インスクエアには、サポーターという組織があるのをご存知ですか？
めったに出会えないその道のプロに相談できる出会いを作ります。
今回は「TVショッピングのプロ 目利き人」です。
「目利きリスト」ってなんだ？って思われる方どうぞこちらのレポートを
ご覧ください。
≪インスクエア上野、横浜関内のお知らせ≫
横浜エリアのビジネスゾーン関内に『インスクエア横浜関内』
上野駅近く不忍の池を見下ろす絶好のビジネス環境に
『インスクエア上野』がオープン。
この二つの施設には初の試み盛りだくさん
いままでのレンタルオフィスの感覚を覆すコストパフォーマンスです。
ワンランク上の大人のデザインなのに超格安
横浜関内 http://in-sq.com/kannai/index.html
上野 http://in-sq.com/ueno/index.html
窓面が多い大型施設 抜群の明るさ
低価格ハイグレードのコストパフォーマンス
Ｗ１４００の大型デスクでゆったり執務
※ただ今オープンキャンペーンを実施しています。【無料特典】多数あります
この機会に是非見学にお越しください
お問い合わせは、０３－６８６８－４３４４ まで。
★インスクエア 関連WEBサイト★
【インスクエア池袋公式サイト】
http://in-sq.com/index.html
【オフィス探しのポ－タルサイト】
http://www.at-office.co.jp/
【レンタル会議室探すならアットビジネスセンター】
http://abc-kaigishitsu.com/
【インスクエア公式サポーター 営業支援担当（株）東京事務所】
http://www.tokyojimusyo.com/
【ビジネスコンテンツアグリゲーション（株）ＰＤＢマーケティング】
http://www.p-db-m.com/
【インスクエア公式サポーター ＩＴ担当（株）ＣＮＥＴメディアサービス】
http://www.cnet-media.co.jp/
■━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━■
インスクエアでは、世代を超えたビジネス情報・国境を超えた
アジア最新情報、営業支援情報など有益なビジネス情報をお届けいたします。
メルマガ購読申込はこちら http://melmaga.in-sq.net/
