クラウドソーシング（アノテーション）とは
クラウドソーシング（アノテーション）とは、インターネットを通じて不特定多数の作業者にアノテーションタスクを依頼し、大量のラベル付きデータを効率的に作成する手法のことです。Amazon Mechanical Turk（MTurk）やCrowdFlower（現Appen）などのプラットフォームが代表的です。個々の作業は比較的単純で、短時間で完了するマイクロタスクとして設計されることが一般的です。
| ひとことで言うと | インターネットを通じて不特定多数にラベル付けを依頼する方法。 |
|---|---|
| 何がうれしいか | 大量のデータを短期間・低コストで処理できる。 |
| 注意点 | 品質のばらつきと、機密データを外部に出せないという制約がある。 |
クラウドソーシングの利点と課題
クラウドソーシングの最大の利点は、短期間で大量のアノテーションデータを取得できることです。数千〜数万件のデータに対するラベル付けを、数日〜数週間で完了できます。コスト面でも、専門家を雇用するよりも安価に実施できます。一方で、品質のばらつき、スパム回答の混入、作業者の専門知識不足などの課題があります。また、作業者への適切な報酬の支払いや労働条件に関する倫理的な議論もあります。
1機密性を確認外に出せるデータか
▶
2作業を細分化誰でもできる単位に
▶
3基準を明示例を豊富に示す
▶
4複数人に重複依頼多数決で精度確保
▶
5品質を検査正解が分かる問題を混ぜる
品質管理の手法
クラウドソーシングでの品質確保のために、様々な手法が用いられます。冗長アノテーション（同一データを複数人がラベル付けし多数決）、ゴールドスタンダード問題（正解がわかっている問題を混ぜて作業者の精度を監視）、資格テスト（本タスク前に精度テストを実施）、段階的承認（初期は少量のタスクで品質を確認）などです。これらを組み合わせることで、クラウドソーシングでも高品質なアノテーションデータの作成が可能になります。