大規模データの高速検索および表示、ダウンロードする技術をJAXAと共同研究
これにより5G環境の普及に向けてビッグデータの取り扱い容易性やデータ価値の向上につながることを期待しています。
この共同実験により、ビッグデータを検索し、ビッグデータのまま取り出し、表示し、ダウンロードするという、これまで困難であった”ビッグデータサービス“の実現が見えてきました。現在の主なビッグデータを使ったサービスは、最終的に提供されるのはスモールデータとなっています。そのため、ビッグデータを受け取って新たなビッグデータを生み出す知の創造サイクルは育ちにくいものでした。しかし、今回の成果と、今後の5Gなどの高速通信の普及で、ビッグデータが新たな価値あるコンテンツになる環境が揃うことになります。
「観測データをはじめとして、IoTデータ、ブロックチェーンデータ、ログデータなど、サービス提供ができないがゆえに活用されずに埋もれているビッグデータが世の中には大量に埋蔵されています。それらは本来、高い価値を持っているはずです。まもなく、ビッグデータそのものが流通・取引される時代が来るのではないでしょうか。今回の成果でその突破口が開かれました。“1兆行のマスターデータから”、“必要な条件で”、“億単位の対象データを”、“わずか数秒でダウンロードする”、ということを実現できる日も近いと考えています。」と株式会社ターボデータラボラトリー 代表取締役社長 古庄 晋二氏は述べています。
「今回のビッグデータの超高速処理は新開発のREAD ONLYデータベースで実現できました。これにより、増殖する一方のビッグデータの扱いがとても容易になります。マスタービッグデータの管理は、PCサーバとSSDのみで実現可能であり、スケールアウトが容易に行えるため、低コストのシステム構成で大規模データを扱えるようになります。」と株式会社エスペラントシステム 執行役 生座本 義勝は述べています。
【共同研究概要】
タイトル :巨大時系列データの高速アクセスに関する研究
共同研究において大規模データの高速な検索および表示、
CSV作成の実証実験を行い、低コスト環境で高速な
ビッグデータのダウンロードサービスが実現できることを示す。
背景 :大規模な観測データの高速・低コストの検索および
ダウンロードサービスが必要であった。
共同研究実績:1. アポロ11号~17号が月に設置した地震計から得られた
大規模データを分割し、ビッグデータを仮想的にUNIONし、
約40億件(4,069,171,800レコード)のテーブルを作成。
2. 『D5Aファイル圧縮』機能を開発。D5Aファイルサイズは、
CSVサイズの50%以下にできたため、SSDのストレージサイズ
を大幅に削減。
3. その結果、平均0.1mSecで検索できた。
4. 複数項目の値の範囲を指定して検索できる、複数項目範囲
インデックスを開発。
【参考資料】
READ ONLYデータベースによる、高速・大規模・低コストの検索・ダウンロードサービス実現の試み
https://www.ess-g.com/wp-content/uploads/2020/03/JRJAXA-TDL-ESS.pdf
【今後の展望】
1. さまざまなビッグデータ(※)の検索・表示・ダウンロードサービスへの展開
(※)観測データ、IoTデータ、ブロックチェーンデータ、ログデータなど
2. AIとの連携
◆AIによるビッグデータの学習が進めやすくなる
現在のデータベース技術では、AIがビッグデータを学習する際に、検索・集計に多大な時間を要するために、学習が進まないという問題を解決できる。
◆データ提供もセットにしたBI分析ツールの登場が期待できる
AIはそれ自身ではスモールデータしか出力できない為、AIが当技術を使ってサービスに必要なビッグデータを拾い上げることで、新しいデータ提供サービスが可能になる。データサイエンティストに限らず、マーケティングのリサーチャーなどさまざまな職種の人々の仕事を高度に効率化および容易にできる。
【エスペラントシステム概要】
社名 : 株式会社エスペラントシステム
資本金 : 8,800万円
設立日 : 1979年5月1日
所在地 : 本社 千葉県流山市前平井61番地 ESSビル
代表者名: 代表取締役社長 寺平 英昭
事業内容: コンピュータシステムの設計、システム開発、インフラ環境構築、
保守運用、電気工事、LAN敷設工事、クラウドサービス、人材派遣等
URL : https://www.ess-g.com/
逮捕の「つばさの党」代表、2017年衆院選山口4区でも演説妨害
一世風靡した元ギャル38歳タレントが桃色ロングヘアで生放送登場、長男はもう16歳高1
有働由美子アナが54歳友人女優の自宅に刺激受け整理整頓「ものがいっぱいあるけど統一されてる」
44歳女性お笑いタレントの近影に「目元が夏目雅子さんみたい」「めっちゃ綺麗に」称賛の声
18日から名人戦第4局 藤井名人、初防衛決めるか 大分・別府
野口健氏”ノーヘル”電動キックボードに困惑「邪魔な存在」「できれば…消えてくれないかな」
健大高崎は春夏連覇へ選手層厚くしている段階 花咲徳栄の大型遊撃手・石塚裕惺注目 春季関東大会
泉房穂氏「何にも変わってない。まったく無意味」自民党の政治資金規正法改正案をめぐり大噴火
フジ会長に嘉納修治カンテレ会長が復帰 大多亮専務はカンテレ社長、矢延取締役は2階級特進
泉房穂氏、衆院選への出馬意思問われけむにまく 発信力褒められ「単なる関西弁の早口」と自虐
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
大谷翔平が不運な判定で2度見逃し三振 「えん罪退場」で話題の球審は引き揚げる大谷にブチギレ
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
吉野家が「マスク外し強要疑惑」でプチ炎上、店員さんに聞いてみると……
時代劇の常識を覆す!仇討ち・無礼討ちの厳格なルール
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
藤田ニコル「脱ぐ予定なかったのですが気づいたらノリノリで…」ヒョウ柄水着姿に大反響
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
3度逮捕の38歳小向美奈子「今はやってないですよね?」の直撃質問に”回答”
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
大谷翔平が不運な判定で2度見逃し三振 「えん罪退場」で話題の球審は引き揚げる大谷にブチギレ
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
73歳神田正輝「旅サラダ」生放送で“12歳下俳優”から呼び捨てされ激論
逮捕の「つばさの党」代表、2017年衆院選山口4区でも演説妨害
一世風靡した元ギャル38歳タレントが桃色ロングヘアで生放送登場、長男はもう16歳高1
有働由美子アナが54歳友人女優の自宅に刺激受け整理整頓「ものがいっぱいあるけど統一されてる」
44歳女性お笑いタレントの近影に「目元が夏目雅子さんみたい」「めっちゃ綺麗に」称賛の声
18日から名人戦第4局 藤井名人、初防衛決めるか 大分・別府
泉房穂氏「何にも変わってない。まったく無意味」自民党の政治資金規正法改正案をめぐり大噴火
野口健氏”ノーヘル”電動キックボードに困惑「邪魔な存在」「できれば…消えてくれないかな」
健大高崎は春夏連覇へ選手層厚くしている段階 花咲徳栄の大型遊撃手・石塚裕惺注目 春季関東大会
フジ会長に嘉納修治カンテレ会長が復帰 大多亮専務はカンテレ社長、矢延取締役は2階級特進
加護亜依、デビュー記念日にファンクラブ開設「24周年目突入!これからも応援よろしく」