チュートリアルを開始する前に、Annofabでのアノテーション作業のワークフローについて説明します。

アノテーションの品質を保証するワークフロー

タスクには複数のフェーズがあります。デフォルトでは「教師付け」と「受入」の2つのフェーズです。各フェーズの内容は以下の通りです。

教師付け：アノテーションを付与するフェーズ
受入：教師付けフェーズで付与されたアノテーションが、品質の基準を満たしているか確認するフェーズ

Annofabでは、アノテーションの品質を確認するフェーズ（受入フェーズ）を設けることで、アノテーションの品質を保証するワークフローを採用しています。
タスクのフェーズと状態は、下図のように変化します。

受入作業では、アノテーションの品質が基準を満たしていれば、合格にします。アノテーション品質が基準を満たしていなければ、問題の箇所を指摘した上で差し戻します。タスクを差し戻すと、タスクは教師付けフェーズの未着手状態になり、担当者は以前の教師付けフェーズの担当者と同じになります。差し戻されたタスクの担当者は、指摘箇所を確認した上で、再度アノテーション作業します。
このように、タスクを差し戻すことで、教師付けフェーズの作業者がアノテーションルールを誤解しながら作業してしまうことを防いでいます。

なお、受入作業では作業者自身が間違っているアノテーションを修正して、合格にすることも可能です。ただし、この方法では、教師付けを担当した作業者は何が間違っているのか気づけないため、今後も同じような間違いを犯す恐れがあります。

アノテーションの品質を確認するフェーズを増やす

プロジェクトの「設定」タブを選択し、左メニューの「タスク設定」をクリックします。「検査回数」を1以上にすれば、アノテーションの品質を確認するフェーズを複数にできます。

検査回数を「1」にすると、タスクのフェーズは「教師付け」、「検査」、「受入」の3つになります。タスクのフェーズと状態は下図のように変化します。

検査フェーズは、受入フェーズと同じように変化します。ただし、検査フェーズではアノテーションを付与できません。

作業するタスクが自動的に選ばれるワークフロー

Annofabでは、作業者が簡単なタスクを選んで作業することを防ぐために、作業するタスクが自動的に選ばれるワークフローを採用しています。「設定」タブを選択し、左メニューの「タスク設定」をクリックするとタスクがどのように選ばれるかを確認できます。

デフォルトの設定では、ランダムにタスクが選ばれます。「タスクIDの昇順」など特定のルールに沿って、タスクを割り当てることも可能です。また、推奨はしていませんが、タスクを選んで作業する方法も採用できます。