東大と日立、大規模データの匿名加工処理を高速化する技術を開発
- 2018年11月20日 17:00:00
- テクノロジー
- JCN Newswire
本技術は、2018年11月21日(水)にベルサール九段において開催される「ImPACTシンポジウム」(注2)にて展示、および2018年12月21日(金)、22日(土)に国立情報学研究所において開催される電子情報通信学会データ工学研究会第一種研究会・情報処理学会データベースシステム研究会合同研究会(注3)にて発表予定です。
発表内容
近年、情報化社会の進展に伴い、地方自治体や公共機関、医療機関、民間企業などが保有するさまざまなデータを有効活用した施策の立案や、新たなサービスの創出が求められています。個人の特定が危惧されるパーソナルデータの活用においても、個人情報保護法の改正により、事業者間でデータを流通させる場合は個人を識別できないように加工した匿名加工情報(注4)とすることが規定されるなど、活用のための環境整備が進んでいます。
データの匿名加工処理においては、例えば同じ属性を持つデータが一定数以上存在するようにデータを変換し、個人が特定される確率を低減するといった措置を行います。しかし、このような匿名加工処理の過程では情報が失われる可能性があり、有用な情報量を確保するためには、データの抽出範囲や加工単位などを細かく調整しながら、データの検証を繰り返す必要があります。そのため、データの規模や種類が増えるほど、匿名加工処理に費やす時間が膨大になるという課題がありました。
東大生研と日立は、大規模データの匿名加工処理にかかる時間を大幅に短縮し、対話的に細かな調整を行いながらデータの抽出・加工・検証を行うことを実現する技術を開発しました。
開発した技術の特長は以下の通りです。
1. 大規模データに対する匿名加工処理の高速化技術の開発
東大生研と日立は、大規模データの解析問合せにおいて高速性を発揮してきた非順序型実行原理を、新たに匿名加工処理に適用しました。
これまで匿名加工処理には専用ソフトウェアを用いるのが一般的であり、データベースから対象となるデータを抽出した後、当該専用ソフトウェアを用いて匿名加工処理を行っていたため、大規模データに対して匿名加工処理を実施するには困難が伴いました。この度、東大生研と日立は、匿名加工処理の手続きをデータベース上の演算として定義し、匿名加工処理を非順序型実行原理に基づくデータベースエンジン上で直接実行することを可能とすることで、大規模データの匿名加工処理の高速化を実現しました。
これらの研究開発により、ユーザはデータベースからの匿名加工処理を施されたデータの抽出から抽出したデータの安全性や有用性の検証までを短時間に行えるようになり、必要に応じて匿名加工処理や検証の再実行を繰り返し行うという対話的な処理を可能としました。
2. 匿名加工処理にかかる性能の検証
東大生研は、ベンチマーク用データセットを用いた実験を行い、従来の非順序型実行原理を採用しないデータベースエンジンと今回開発した技術を適用したデータベースエンジンのそれぞれにおいて、データの匿名加工処理と有用性・安全性検証にかかる時間を計測しました。この結果、従来の非順序型実行原理を採用しないデータベースエンジンに対して、今回開発した技術により匿名加工処理および有用性・安全性検証を大幅に短縮し、100倍程度に高速化することが可能であることを確認しました(注5)。
今回開発した大規模データの匿名加工処理を高速化する技術は、これまで利活用が困難であったパーソナルデータを含む大規模データに対して、有用性を維持しつつ安全に利活用するための新技術です。本技術は、ヘルスケアや都市計画、購買履歴分析などへの適用が期待されており、日立はさらなる大規模データの利活用の拡大に向けて、2019年度中にデータベースソフトウェア製品である「Hitachi Advanced Data Binder(注6)」に本技術を組み込み、実用化することを計画しています。
本成果は、以下のプログラム・研究開発課題によって得られました。
内閣府革新的研究開発推進プログラム(ImPACT)
プログラム・マネージャー : 原田 博司
研究開発プログラム :「社会リスクを低減する超ビッグデータプラットフォーム」
研究開発課題 :「超高速動的スケーラブルデータベースエンジンの基盤技術の研究開発」
「超高速動的スケーラブルデータベースエンジンの実用化技術の研究開発」
研究開発責任者 : 喜連川 優(東京大学) 原 憲宏(日立製作所)
研究期間 :平成28年度~平成30年度
本研究開発課題では、一日に数億件程度、年間では数百億件程度に上る超ビッグデータを数分~数十分程度で処理可能とするため、複数ノードへのエラスティシティ(伸縮可能性)を備えた超高速動的スケーラブルデータ処理技術を確立し、毎秒1,000万回程度のストレージアクセス性能を備えた新たな「超高速動的スケーラブルデータベースエンジン」の実現を目指す研究開発に取り組んでいます。
原田 博司プログラム・マネージャーのコメント
本研究開発プログラムは、現状のビッグデータ規模を遙かに凌ぐ「超ビッグデータ」時代に向けて、広域通信ネットワークと超高速データベース処理の2柱を統合した基盤技術を世界に先駆けて確立するとともに、この基盤技術により、国民(ヒト)と生産現場(工場)の健全性維持のための課題解決に挑戦しています。超ビッグデータ時代においては、個人情報を含む大規模データの活用が求められます。このプライバシー保護のために匿名加工が必要になりますが、目的にかなう情報量を確保しながら匿名加工を施すには膨大な時間がかかります。今回の成果は本プロジェクトで開発してきた超ビッグデータ処理エンジンを匿名化処理に適用させ従来比100倍程度の高速化を実現したものです。この研究開発の成果によりパーソナルデータの匿名化が加速され、超ビッグデータを利用したさまざまな価値創造が行われることが期待されます。
本リリースの詳細は下記URLをご参照ください。
http://www.hitachi.co.jp/New/cnews/month/2018/11/1120.html
概要:日立製作所
詳細は www.hitachi.co.jp をご参照ください。
Copyright 2018 JCN Newswire. All rights reserved. www.jcnnewswire.com
加藤紀子、自宅に野菜食べに来る”元超大物アイドル”実名明かし「え~っ」
大谷翔平に昨季ゴールドグラブ賞捕手が脱帽 ロバーツ監督が予言「とても特別なシーズンになる」
ホラン千秋「本当に大好きな先輩だった」中尾彬さんのチャーミングな人柄語る
下ネタでブレークの37歳女ピン芸人「自分が世間知らずだった」周囲の反応にズレ感じ葛藤
桂文枝、中尾彬さんしのぶ「落語の中にいた」相次ぐ訃報に心痛「先日から続くと辛い」
寝苦しい……熱帯夜ならぬ「熱帯にゃ」状態に 飼い主「あっつ!」
【阪神】隙なし走塁 一、二塁で近本、中野ダブルタッチアップ成功 その後大山犠飛で501打点目
結成10周年間近のM!LK、佐野勇斗はメンバーへの不満爆発?「俺のメッセージを無視する」
パンサー尾形、NHK紅白で「けん玉」失敗の16番と再会していた「もう1回ここで…」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
TikTokを賑わす「フエラムネごめんなサイダー味」がセブンイレブンで再販!じゅるるマスカットも買うなら今!
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
俳優の中尾彬さんが死去、81歳 幅広く活躍 トレードマークは「ねじねじ」 妻は池波志乃
吉住、なぜかR-1グランプリの大爆笑ネタが炎上させられてしまう事態に
中尾彬さん「突然」心不全で死去 数年前から終活 “ねじねじ”大量に捨てられ嘆きも
マツコが通販番組「30分オペレーター増員」仕組み激白も「言わない方がよかった、夢打ち砕く」
「転生したらグラビアアイドルだった」アンゴラ村長写真集が爆売れ 童顔笑顔に「神かわちい」
北大病院医師を逮捕 女子中学生への不同意性交等の容疑で
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
TikTokを賑わす「フエラムネごめんなサイダー味」がセブンイレブンで再販!じゅるるマスカットも買うなら今!
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
大谷翔平が不運な判定で2度見逃し三振 「えん罪退場」で話題の球審は引き揚げる大谷にブチギレ
加藤紀子、自宅に野菜食べに来る”元超大物アイドル”実名明かし「え~っ」
大谷翔平に昨季ゴールドグラブ賞捕手が脱帽 ロバーツ監督が予言「とても特別なシーズンになる」
ホラン千秋「本当に大好きな先輩だった」中尾彬さんのチャーミングな人柄語る
下ネタでブレークの37歳女ピン芸人「自分が世間知らずだった」周囲の反応にズレ感じ葛藤
桂文枝、中尾彬さんしのぶ「落語の中にいた」相次ぐ訃報に心痛「先日から続くと辛い」
寝苦しい……熱帯夜ならぬ「熱帯にゃ」状態に 飼い主「あっつ!」
【阪神】隙なし走塁 一、二塁で近本、中野ダブルタッチアップ成功 その後大山犠飛で501打点目
結成10周年間近のM!LK、佐野勇斗はメンバーへの不満爆発?「俺のメッセージを無視する」
パンサー尾形、NHK紅白で「けん玉」失敗の16番と再会していた「もう1回ここで…」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた