説明

• キュレーション作業が完了したデータセットについて，プレ環境へのデータ移送及びコーパス（学習する順番に結合したjsonl）作成を実施する

プレ環境へのデータ移送

プレ環境の共有ディスクはチームで5TBまで使える（4/21 10:56 2.5T）

• ディスク容量のログ

移送方法

• gdownでGoogleドライブから直接ダウンロード可能
  • フォルダIDまたはファイルIDを指定する
  • フォルダを指定する方が楽だけどサイズが大きすぎると上手く行くか分からない
    • 50ファイル以上入っているとエラーになる
    • 容量大きいとエラーになる
      • ローカルで試したところ，何回かやり直したら3GB×5ファイル入ったフォルダがダウンロードできた
  • ファイルを指定する場合，ダウンロード対象のファイルID一覧を取得する必要がある
    • Google Apps Scriptでできそう（参考）

プレ環境へ移送するデータ（jsonlのtextのみ）

• CommonCrawl

  • rephrasing=False

    • とりあえずsomeyaの個人ディレクトリにダウンロード済み（GoogleDrive → プレ環境）

    • 3.87GBをダウンロード開始→保存まで2m20s

    • jsonlをtextキーのみとした場合，容量3.87GB→1.90GBまで減少

      from gdown import download
      download('<https://drive.google.com/uc?id=1--AWdWz0uZNi_tNW7cbhtVO8pdbAtGg_>', 'cc_filtered_deduped_rephrasing-false.jsonl', quiet = False)
      

  • rephrasing=True

    • rephrasing作業中．終わり次第プレ環境へ移送予定

• CulturaX

  • データ（text+rephrasing）
  • gdownでダウンロード完了

• Japanese2010

  • gdownでダウンロード完了

• Wikipedia

  • /persistentshare/storage/team_ozaki/datasets/llm-jp/data/filter 以下からコピー
  • parquet→jsonlに変換してtextのみ抽出

• Wiktionary

  • データ準備中

• Scraping

  • スクレイピング完了，データ確認後，移送予定

コーパス作成