Drupalのモジュール（Feeds）で手動でデータインポート時の必須設定

Feedsの機能

• いろいろなフォーマットのデータをDrupalのデータ構造（例：ユーザー/ノード/Taxonomyなど）に合わせてインポートする
  • 一対一のコンテンツデータ（例：User -> Userデータ）
  • いろいろなフォーマットデータ（例：RSS/OPML/Atom feeds、csvなど）を各種Drupalのコンテンツ（例：User,Articleなど）データのインポート
  • PubSubHubbub のサポート
• Feeds APIが提供されているので、独自のFetcher,Parser,Processorのプラグインの追加が可能
  
• 基本設定：インポーターの名前、実行タイミングなどの設定
• Fetcher：　インポートするデータ/ファイルのフォーマット、場所などの指定
• Parser：　インポートデータの解析方法の指定
• Processor：　出力するデータのフォーマット/コンテンツ、インポートデータのフィールドマッピングの指定

インストールされたモジュール

• Feeds : 7.x-2.0
• Feeds Tamper : 7.x-1.0

Feeds Tamperが文字コード変更機能はない

• Excelで作成したcsvファイルがShift-JISコードになる
• DBのエンコードがUTF-8を指定してるため、Feedsでｃｓｖデータをインポート時にDBエラーが発生する
• ｃｓｖファイルインポート時に使用するFeeds Tamperに文字コード変換機能がない
• いろいろ調べて、Feed TamperにUTF-8に変換プラグイン（Feeds Tamper UTF-8 Encode）があることが分かった、さっそくチェックアウトして、サーバーにインストールした
• Feeds Tamperのプラグイン設定画面でUTF-8変換項目がメニューに現れた
  
• 実際にデータをインポートしてみたら、データインポートができたが、インポートされた文字が化けっている
  

Feeds Tamper UTF-8 Encodeプラグインを修正

• Feeds Tamper UTF-8 Encodeが比較的にシンプルで修正しやすい
• sites/all/feeds_temper_utf_8_encode/plugins/utf8_encode.incにコード変換ロジックがうまく作動していないようで：　

   /**
   * Encode the field and return the encoded value.
   */
  function feeds_tamper_utf8_encode_callback($result, $item_key, $element_key, &$field, $settings, $source) {
  //  $field = utf8_encode($field);
  	$field = iconv(null, 'utf-8', $field);
  }
   

• 上記コードを以下のように修正

  /**
   * Encode the field and return the encoded value.
   */
  function feeds_tamper_utf8_encode_callback($result, $item_key, $element_key, &$field, $settings, $source) {
  //  $field = utf8_encode($field);
      $field = iconv(null, 'utf-8', $field);
  }

• 修正したプラグインはここからダウンロードができる

インストールされたモジュール

• Feeds　：　7.x-2.0

不明な値：GUID

• CSV Parserでcsvファイルをインポートする
• Processorでデータマッピング時にGUIDをどのように設定すればいいかは不明
  
• インポートするcsvファイルにどのようなキーをGUIDにセットするかは不明

GUIDがcsvファイルインポート時にユニークチェックを利用している

• GUIDがどこに保存しているか、どのような性質なフィールドか？
  • GUIDがテーブル：feeds_item（Feedsがインストール時に作成されたテーブル、インポートデータ履歴、インポートされたデータ削除に利用される）にある
  • GUIDの性質：Text型、Unique idenfiierと指定されている　⇒　重複しない文字列、数字でよい、桁数（65,535バイト）があまり心配がない
• csvインポートファイルに任意のキーをGUIDにセットして、データの重複チェックが可能
  • GUIDにセットしたｃｓｖデータのキーが重複した場合、インポート時にSQL文エラーが発生される
• Feedsのデータインポート設定画面（Home » Administration » Structure » Feeds importers）で重複チェックの設定する
  • Mapping画面でcsvデータのキーをGUIDにセット、GUIDを「Used as unique.」として設定する
  • Setting画面で既存データ（インポートしたデータ）に重複した場合に更新するか否かをチェックして設定する
    
• 問題点：インポートデータに重複がある場合、どのようにエラーを出すかは不明

目的

• Entity Typeデータにほかのデータ（例：ｃｓｖ、xmlなど）からのインポートを可能にする
• Feedsの初期データ変換プロセッサーに「Entity Type」のものがなかった

解決の選択肢

• Feed Importモジュールでのデータインポート
• Feedsモジュールのカスタマイズをする

ここでの解決：Feedsのカスタマイズ

• インストールされたモジュール
  • Feeds :  7.x-2.0
  • ECK  :  7.x-2.0
  • Entity API :  7.x-1.5
• 上記モジュールのインストールと有効化
• ECKでインポートデータタイプとBundleを作成する
  • 例：　データタイプ：「組織データ」、Bundle：「ｘｘｘの組織データ」
  • 「組織データ」のプロパティ：title、uid、created、changedを使用する
  • 「ｘｘｘの組織データ」のフィールド：「組織コード」、「正式組織名」をテキストフィールドで追加

Feedsの紹介

• Feedsが三つの部分から構成される：Fetcher、Parser、Processor
  • Fetcher：インポータデータの取得（例：File upload、external RSS Feedなど）
  • Parser：インポートデータの解析方法の指定（csv、xls、xml、RSSなど）
  • Processor：インポートデータの作成（Node、terms、usersなどのデータ作成）
    

FeedsにEntity Typeデータ変換プロセッサーに追加

• PatchファイルをFeedsモジュールに当てる
• Feedsのデータ変換プロセッサー設定画面にEntity Typeのデータ変換プロセッサー追加前後のイメージ
  

問題点：Drupalのモジュール（Feeds）でデータインポート（データ更新も含む）時にアクセス権限がないエラー

• 環境：　Drupal7.54、Feeds7.x-3.0
• やりたいこと：Feedsでノードタイプへのデータのインポートと更新を行います
• データ更新時にアクセス権限エラーが発生

  The user bear is not authorized to update content of type chinese_word. To import this item, either the user "bear" (author of the item) must be given the permission to update content of type chinese_word, or the option "Authorize" on the Node processor settings must be turned off.

  

モジュールFeedsのノードプロセッサー設定画面ある「投稿者」設定が新規作成時のみに使用され

• ノードプロセッサー（Node Processor）の設定画面にある「投稿者」があります。ただし、これはノードが作成時のみ使用され、データ更新の権限と関係ないです
  
• データ更新時にの「投稿者」と関係ないです

モジュール（Feeds）でデータ更新時に、コンテンツタイプデータの作成者のアクセス権限がチェックされます

• Feedsでデータインポート時に権限設定が2種類あります
  • データインポート操作が可能かどうかの設定（今回のエラーと関係ない）
  • データ更新時にデータの作成者のアクセス権限
    
• コンテントタイプのデータ作成者が必ず更新する権限とは限りませんので、ここで、チェックを行います
• 但し、データインポートなので、通常データの作成者と関係ないので、チェックしなくてもよいかと思います

サイト移行時にデータへのアクセス権限などがうまく行っていないようです

• 元々作成者が自分のデータを更新する権限を与えたが、何かの原因（おそらくサイト移行時の作業）で、更新権限が外されました。
• データインポート時にエラーが発生されました。

モジュール（Job Scheduler）がバックグランドでタスクを実行する便利なツールの一つ

• 環境：Drupal7.54、Job Scheduler7.x-2.0
• モジュール：Feedsに依存され、バッググランドタスク実行に利用されている
• Job Schedulerの単独利用も可能だが、管理UIが無くて、ほとんどAPIとしてバックグランドジョブとしての利用
• Job Scheduler APIの利用は以下のステップとなります
  • hook_cron_job_scheduler_info()の実装（タスクを実行するコールバック関数名の定義）

    /**
     * Implements hook_cron_job_scheduler_info().
     */
    function drills_custom_feeds_cron_job_scheduler_info()
    {
      $schedulers = array();
      $schedulers['chinese_sentence_import_scheduler'] = array(
          'worker callback' => 'chinese_sentence_import',　    // タスク内容のコールバック
      );
      return $schedulers;
    }
    

  • 定義されたタスクのコールバック関数を定義

    function chinese_sentence_import($job) {
    
          //  実際のタスク処理ロジック
    
    }

  • 上記処理内容をスケジュールに設定

      //Add a job.
      $job = array(
          'type' => 'story',     // 任意の識別名
          'id' => 20170309,      // 任意のID（例：日付）
          'period' => 3600,      // 実行開始時間（例：3600秒後から実行）
          'periodic' => FALSE,   // 周期的に実行か（FALSE：一回のみ、TRUE：周期的）
      );
      JobScheduler::get('chinese_sentence_import_scheduler')->set($job);
    

  • 上記コードが実行されると、job_scheduleに一レコードが生成され、cronが実行時に、セットされた実行開始時間を比較して、バックグランドで実行されます
    

Job Schedulerモジュールは長い処理時間（30秒以上）のジョブに適していない

• モジュールの構造としてはシンプルで、使いやすいです。
  • 一つのジョブに一つのタスクコールバックしかありません（すべてのタスク処理がのコールバックに記述する必要があります）
• 一度に200ジョブまで、30秒までの処理が制限されていています
  • job_scheduler.moduleでjob_scheduler_cronの処理部分を確認すれば、30秒までの処理が記述されています
    
  • 30秒以上になると、次のジョブが処理しなくなります

Job Schedulerモジュールで長時間かつ一度実行のみのタスクを実行させる裏技

• 時に数時間のタスクを実行する必要の場合がありますが、一度のみの実行であれば、以下の方法を試して良いでしょう
• JobSchedulerクラスがジョブ（Job）をセットすることではなく、dispatch関数(cron実行されたときに、この関数で各ジョブを実行させる)を利用して、即時にタスクを実行させます

   JobScheduler::get('chinese_sentence_import_scheduler')->dispath($job);

• 上記タスクを実行させるブラウザが返答を待ち状態になりますが、無視してブラウザを閉じっても構わないです。
  • バックグランドで実行しているので、成功するか、失敗する分かりません。
  • タスク実行時に結果をどこかに出力（例：watchdogでレポートに出力）して、確認する方法があります
• Feedsがデータインポート時にこの方法の利用はできません。
  • Feedsがバックグランドジョブの設定は即時実行タイプ（dispath）ではないからです。
  • 無理矢理にFeedsのコード修正して、実行させることができますが、ほかのインポート対象に影響を与えないため、コードの回復が必要でしょう

Feedsモジュールの基本使用：csvデータをノード（node）にインポート

• 環境：Drupal7.54、Feeds7.x-2.0
• Feedsのインポート機能を理解するには、csvデータインポートから始めたほうが良いでしょう
• 例：コンテンツのタイトルと内容をインポートします
  

注意事項：基本設定とプロセッサーの設定

• 基本的なインポート操作はビデオを参考してください
• 基本設定の内容に周期的なインポートが必要の場合にインポートの頻度を設定します
• プロセッサーの設定
  • 新規ノートの作成許可するかの設定
  • 複数回のインポートが必要な場合に「 ハッシュチェックをスキップ 」をチェックします
  • 投稿者の設定はデータ新規作成のみに使用されます
  • コンテンツ更新の場合、コンテンツの作成者が更新権限がチェックされます
• プロセッター設定について、記事「Drupalのモジュール（Feeds）で手動でデータインポート時の必須設定 」を参考してください