PySpark データフレームを JSON に変換する

内容のトピック:

• To_json() と ToPandas() を使用した PySpark DataFrame から JSON への変換
• ToJSON() を使用した PySpark DataFrame から JSON への変換
• Write.json() を使用した PySpark DataFrame から JSON への変換

すべての例で単純な PySpark DataFrame を検討し、前述の関数を使用してそれを JSON に変換してみましょう。

必要なモジュール:

PySpark ライブラリがまだインストールされていない場合は、環境にインストールします。次のコマンドを参照してインストールできます。

To_json() と ToPandas() を使用した PySpark DataFrame から JSON への変換

to_json() メソッドは、Pandas DataFrame を JSON に変換する Pandas モジュールで使用できます。 PySpark DataFrame を Pandas DataFrame に変換する場合、このメソッドを利用できます。 PySpark DataFrame を Pandas DataFrame に変換するには、toPandas() メソッドが使用されます。 to_json() の構文とそのパラメーターを見てみましょう。

構文：

1. Orient は、変換された JSON を目的の形式で表示するために使用されます。 「レコード」、「テーブル」、「値」、「列」、「インデックス」、「分割」を使用します。
2. インデックスは、変換された JSON 文字列にインデックスを含めたり削除したりするために使用されます。 「True」に設定するとインデックスが表示されます。そうしないと、方向が「分割」または「テーブル」の場合、インデックスは表示されません。

例 1: 「レコード」として配置する

3 行 4 列の「skills_df」PySpark DataFrame を作成します。 orientパラメータに「レコード」を指定して、このDataFrameをJSONに変換します。

出力：

PySpark DataFrame が値の辞書を含む JSON 配列に変換されていることがわかります。ここで、キーは列名を表し、値は PySpark DataFrame の行/セルの値を表します。

例 2: 「分割」として方向を設定する

「分割」方向によって返される JSON 形式には、列のリスト、インデックスのリスト、データのリストを含む列名が含まれます。以下は「分割」方向の形式です。

出力：

例 3: 「インデックス」として方向付けする

ここで、PySpark DataFrame の各行は、キーを列名とする辞書の形式でリタイアされます。辞書ごとにインデックス位置をキーとして指定します。

出力：

例 4: 「列」として方向を設定する

列は各レコードのキーです。各列には、インデックス番号を持つ列値を取得するディクショナリが保持されます。

出力：

例 5: 「値」としての方向付け

JSON の値のみが必要な場合は、「値」の方向を選択できます。リスト内の各行を表示します。最後に、すべてのリストがリストに保存されます。この JSON はネストされたリスト型です。

出力：

例 6: 「テーブル」として配置する

「テーブル」方向は、列のデータ型、主キーとしてのインデックス、および Pandas のバージョンとともにフィールド名を含むスキーマを含む JSON を返します。値が設定された列名は「データ」として表示されます。

出力：

例 7: インデックスパラメータを使用する場合

まず、index パラメータを「True」に設定して渡します。各列値について、インデックス位置が辞書内のキーとして返されることがわかります。

2 番目の出力では、インデックスが「False」に設定されているため、インデックス位置なしで列名 (「columns」) とレコード (「data」) のみが返されます。

出力：

ToJSON() を使用した PySpark DataFrame から JSON への変換

toJSON() メソッドは、PySpark DataFrame を JSON オブジェクトに変換するために使用されます。基本的に、リストで囲まれた JSON 文字列を返します。の [‘{列:値,…}’,…. ] は、この関数によって返される形式です。ここでは、PySpark DataFrame の各行が、列名をキーとした辞書として返されます。

構文：

インデックス、列ラベル、データ型などのパラメータを渡すことができる場合があります。

例：

5 行 4 列の「skills_df」PySpark DataFrame を作成します。 toJSON() メソッドを使用して、この DataFrame を JSON に変換します。

出力：

PySpark DataFrame には 5 行があります。これら 5 行はすべて、カンマで区切られた文字列の辞書として返されます。

Write.json() を使用した PySpark DataFrame から JSON への変換

write.json() メソッドは PySpark で使用でき、PySpark DataFrame を JSON ファイルに書き込み/保存します。ファイル名/パスをパラメータとして受け取ります。基本的に、JSON を複数のファイル (分割されたファイル) で返します。これらすべてを 1 つのファイルにマージするには、coalesce() メソッドを使用します。

構文：

1. 追加モード – dataframe_object.write.mode(‘append’).json(‘file_name’)
2. 上書きモード – dataframe_object.write.mode('overwrite').json('file_name')

既存の JSON を追加/上書きすることが可能です。 write.mode() を使用すると、この関数に「append」を渡してデータを追加したり、「overwrite」を渡して既存の JSON データを上書きしたりできます。

例 1:

3 行 4 列の「skills_df」PySpark DataFrame を作成します。この DataFrame を JSON に書き込みます。

JSON ファイル:

skill_data フォルダーにパーティション分割された JSON データが含まれていることがわかります。

JSON ファイルを開いてみましょう。 PySpark DataFrame のすべての行が JSON に変換されていることがわかります。

PySpark DataFrame には 5 行があります。これら 5 行はすべて、カンマで区切られた文字列の辞書として返されます。

例 2:

1 行の「skills2_df」PySpark DataFrame を作成します。モードを「追加」に指定して、前の JSON ファイルに 1 行を追加します。

JSON ファイル:

パーティション分割された JSON ファイルが表示されます。最初のファイルは最初の DataFrame レコードを保持し、2 番目のファイルは 2 番目の DataFrame レコードを保持します。

結論

PySpark DataFrame を JSON に変換するには、3 つの異なる方法があります。まず、さまざまなパラメーターを考慮して、PySpark DataFrame を Pandas DataFrame に変換することで JSON に変換する to_json() メソッドについて、さまざまな例を示して説明しました。次に、toJSON() メソッドを利用しました。最後に、write.json() 関数を使用して PySpark DataFrame を JSON に書き込む方法を学びました。この機能により追加、上書きが可能です。