テクニカルノート

データセットフォルダーの構成

ダウンロードファイル構成

ダウンロードされたデータセットは、zip解凍をすると次のような構成になっています。このデータセットは、カタログ情報や実験データ、メタデータなどが含まれ、各ファイルには詳細な情報が記載されています。例として、catalog.json、invoice.json、data.json、metadata.jsonなどが挙げられます。

階層

 

フォルダ・ファイル説明

ダウンロードされたデータセットのフォルダー構成と代表的なファイルについての説明です。太字はフォルダーを示し、そのフォルダーに含まれているファイルは細字でインデントをかけています。

 

フォルダー構成
dataset_{データセットID} データセットの親ディレクトリです。
catalog.json

付帯データカタログ情報: 本ファイルは、データカタログ(書誌情報)に関連する情報が含まれています。もしデータカタログに付帯する情報が存在する場合、その情報は《catalog.schema.json》で指定された項目に従って《catalog.json》に記載されます。ARIMでは、データセットで使用される機器からの登録ファイルやデータ構造化ファイルに関する情報が、このデータカタログに含まれることがあります。

catalog.schema.json 付帯データカタログスキーマ:上記の《付帯データカタログ情報》を定義するスキーマファイルです。
invoice.schema.json 装置実験情報スキーマ:このファイルは、主に本データセットで使用される装置のオペレーションに関する実験情報を定義するためのスキーマファイルです。具体的には、当該装置からデータ構造化システム(RDE)へ送信されるデータ登録フォーム(インボイス)に記載される情報が含まれます。
metadata-def.json 装置メタデータスキーマ:このファイルは、当該装置から出力される測定条件やプロセス設定(レシピ)に関する出力ファイルに含まれるメタデータのうち、ARIM事業で選定したメタデータを定義するためのスキーマファイルです。
data_{データ番号4桁ゼロ埋め} データ構造化システム(RDE)で登録されたデータを、登録単位で格納しているディレクトリです。
invoice.json 装置実験情報:このファイルは、測定時の装置のオペレーションに関する実験情報が記載されています。具体的な情報は、《invoice.schema.json》で指定された項目に従って、《invoice.json》に記載されます。
data.json データ情報:このファイルには、測定された機器名やメーカー名などの装置登録情報や測定試料の情報が記載されています。
filemeta.json ファイル情報:このファイルは、データ構造化処理でデータベースに登録されているファイル情報を含んでいます。
attachment 添付ファイルが格納されたディレクトリです。
main_image 代表画像ファイルが格納されたディレクトリです。
meta データ構造化処理が出力したメタデータファイルが格納されたディレクトリ。
metadata.json
装置メタデータ:このファイルは、測定時の測定条件や装置設定に関するメタデータを含んでいます。具体的な情報は、《metadata-def.json》で定義された項目に従って抽出され、この《metadata.json》に記載されます。
other_image 代表画像ファイル以外の画像ファイルが格納されたディレクトリです。
raw データ構造化前のrawデータファイルや測定元データなどで共有可能なものが格納されたディレクトリです。
structured 構造化後のデータファイルが格納されたディレクトリで、主にcsvフォーマットとなっています。