Cognitive Diagnosis Assessmentに関する簡単なまとめ
2007年と2013年のLTRCのシンポジウム、またそれらが基になり2009年のLanguage Assessment Quarterlyと2015年のLanguage TestingでCognitive DiagnosisやDiagnostic TestingがSpecial Issueとして取り上げられた。
Special Issue: Cognitive Diagnosis and Q-Matrices in Language Assessment
http://www.tandfonline.com/toc/hlaq20/6/3
Special Issue on Future of Diagnostic Language Testing
http://ltj.sagepub.com/content/32/3.toc
まだパフォーマンス評価には、あまり適用されていないけれど、ライティングへの適用例には下記の論文が存在する。
Kim, Y. H. (2011). Diagnosing EAP writing ability using the reduced reparameterized unified model. Language Testing.
http://ltj.sagepub.com/content/28/4/509
またDiagnostic language assessmentをどのように理論化するかを検討するために、医学・心理学・教育学などの各専門家にdiagnosisの定義・手段・手順などを半構造化インタビューした論文なども出ている。
Alderson, J. C., Brunfaut, T., & Harding, L. (2014). Towards a theory of diagnosis in second and foreign language assessment: Insights from professional practice across diverse fields. Applied Linguistics
http://applij.oxfordjournals.org/content/36/2/236.short?rss=1
日本人研究者を例にとれば、Tatsuoka (1983)などの先駆的取組が存在したけれど、言語テストで「診断」という観点にあまり焦点が当たってこなかったことは不思議だなと思っている。「言語能力」「測定」「評価」という観点に研究者の関心が集中しやすいことが遠因なのかもしれないけれど。
今年度の学会発表
今年度の学会発表についてまとめています。現時点で8月末までに、5件の口頭発表と2件のワークショップを担当させていただくことが決定しています。（※随時更新）
近藤悠介・石井雄隆. (2016a). 「コンピュータによる発話自動採点の導入可能性を考える: MyETの利用調査」. 外国語教育メディア学会関西支部春季大会. 神戸学院大学.
石井雄隆. (2016c). 「早稲田大学におけるグローバルMOOCの展開-edXコースの開発・運営と学習データ解析-」2016年度第2回DCC産学交流フォーラムedx講座第一弾実施報告会. 早稲田大学.
草薙邦広・石井雄隆. (2016a). 「外国語教育のアカウンタビリティとデータ分析の規格化および自動化：問題整理とツール開発」 . 第46回中部地区英語教育学会三重大会. 鈴鹿医療科学大学.
石井雄隆・アダムゴードン・平賀純・永間広宣・大浦弘樹・森田裕介. (2016). 「グローバルMOOCにおける相互評価の信頼性に関する検討-早稲田大学における事例から-」. 日本教育工学会研究会. 鳴門教育大学.
石井雄隆. (2016d). 「エデュケーショナル・データマイニング入門―教育改善・意思決定のためのデータ活用―」. 外国語教育メディア学会第56回全国研究大会. 早稲田大学. [ワークショップ].
草薙邦広・石井雄隆. (2016b). 「量的研究の最前線―ベイズ統計とデータマイニング―」. 全国英語教育学会第42回埼玉研究大会. 獨協大学. [ワークショップ].
Kondo, Y., & Ishii, Y. (2016b). What can programming language do for our analysis? : The usefulness of jupyter notebook in the analysis of language testing. The 21st conference of Pan-Pacific Association of Applied Linguistics. Tamkang University, Taiwan.
今年度のプロジェクト
昨年初めて応募した文部科学省科学研究費補助金の交付内定が出て、代表1件と分担2件が新規に採択されました。
・2016-2020 研究代表者. 「ライティングプロセス可視化コーパスの構築と英語学習者のライティングプロセスの解明」 若手研究(B). 外国語教育.
＜概要＞
本研究の目的は，コンピュータのキー入力ログを用いたライティングプロセス可視化コーパスの構築と英語学習者のライティングプロセスの解明である。はじめに，キー入力記録システムWritingMaetriXを用いて，学習者のライティングプロセスデータを収集し，英語学習者のキー入力ログ情報を含んだ学習者コーパスを構築する。その後，それらのデータにライティングの評価や品詞情報などのアノテーションを行う。最後に，完成したプロダクトに関する指標とライティング執筆中のプロセスの指標を用いて，プロセスとプロダクトの関係性や評価に寄与する特徴量などを調査し，英語学習者のキー入力ログを用いた新しいライティングプロセス研究の可能性を検討する。
・2016-2019 研究分担者. 「タスクに基づくライティングテストにおける自動評価採点システムの実用化開発」基盤研究(C). 外国語教育. 杉田 由仁（代表者）.
・2016-2019 研究分担者. 「日本人大学生の英語要約力検証と大学英語ライティング教育用要約教材の開発」基盤研究(C). 外国語教育. 澤木 泰代（代表者）.
また昨年度から研究分担者として関わらせていただいている
・2014-2017 研究分担者. 「発話自動採点システムの開発と英語教育プログラムへの導入」基盤研究(C). 外国語教育. 近藤 悠介（代表者）.
と合わせて、4件のプロジェクトを中心にこれから数年の研究を進めて行きます。
「データマイニングの手法を用いた英語ライティングへのアプローチ-日本人英語学習者のエッセイ評価に影響を与える文法的誤りパターンの検討-」
昨年受賞させて頂いた第27回英検研究助成の論文「データマイニングの手法を用いた英語ライティングへのアプローチ-日本人英語学習者のエッセイ評価に影響を与える文法的誤りパターンの検討-」が公開されました。
第27回報告書〈2015年〉| 報告書別 | 英語教育研究センター | 公益財団法人 日本英語検定協会
研究概要は下記の通りです。
本研究の目的は，データマイニングの手法を用いた日本人英語学習者のエッセイ評価と文法的誤りパターンの関係性についての検討である。日本人英語学習者のエッセイ評価において，文法的誤りがどの程度関係しているかというのは，まだ十分に明らかにされていない。本研究では，その関係性について検討するため，2つの調査を行った。1つは，文法的誤りを20個のカテゴリーに分類し，エッセイ評価別の共起関係についてデータマイニング手法の1つであるアソシエーション分析を用いて，日本人英語教師がライティングを評価する際に寄与する文法的誤りについて検討した。もう1つは，文法的誤りの頻度情報からエッセイ評価の予測をするため，画像処理などによく用いられる手法である最近傍法を用いてエッセイ自動評価の可能性について検討した。
書誌情報は下記の通りです。
石井雄隆（2015）「データマイニングの手法を用いた英語ライティングへのアプローチ ―日本人英語学習者のエッセイ評価に影響を与える文法的誤りパターンの検討」 EIKEN BULLETIN, 27, 28-39.
ご笑覧頂けましたら幸いです。
The Cambridge Handbook of Learner Corpus Researchのまとめ
下記の本が昨年末に出版されました。
The Cambridge Handbook of Learner Corpus Research (Cambridge Handbooks in Language and Linguistics)
- 作者: Sylviane Granger,Gaëtanelle Gilquin,Fanny Meunier
- 出版社/メーカー: Cambridge University Press
- 発売日: 2015/10/01
- メディア: ハードカバー
- この商品を含むブログを見る
この本のchapter 1とchapter 25の内容をまとめる機会があったので、下記に転載します。
Chapter 1
Granger, S., Gilquin, G., & Meunier, F. (2015). Introduction: learner corpus research - past, present and future. In S. Granger, G. Gilquin & F. Meunier (Eds.), The Cambridge Handbook of Learner Corpus Research (pp. 1-5). Cambridge University Press.
Chapter 25
Leacock, C., Chodorow, M., & Tetreault, J. (2015). Automatic grammar- and spell-checking for language learners. In S. Granger, G. Gilquin & F. Meunier (Eds.), The Cambridge Handbook of Learner Corpus Research (pp. 567-587). Cambridge University Press.
----------------------------------------------------------------------------------------------------------------------
- Introduction: learner corpus research - past, present and future
Learner corpus research (LCR) emerged in the late 1980s.
There are two advantages in access to electronic collections of L2 data.
・They are more representative than smaller data samples.
・The data can be analyzed with a whole battery of software tools
Cf. POS taggers and concordance program
The field of learner corpus research has undergone remarkable developments
・137 learner corpora (Learner corpora around the world)
82 (60%) L2 English, the rest focusing on other languages
The dominant focus is on writing (essay writing)
・Research design (longitudinal data)
・Individual variability
＜参考＞
Paquot, M., & Plonsky, L. (2015). Quantitative research methods and study quality in learner corpus research. LCR 2015. https://twitter.com/mrkm_a/status/642802550928998400
石井 (2014): 1994-2013までの英語コーパス研究184本を分析。日本人英語学習者コーパスの利用は10%に満たない。
The handbook is subdivided into five main parts:
- Learner corpus design and methodology
- Analysis of learner language
- LCR and SLA
- LCR and language teaching
- LCR and NLP
Chapter format
Introduction
A number of issues
Representative studies
Critical look
Recommended key readings
----------------------------------------------------------------------------------------------------------------------
- Automatic grammar- and spell-checking for language learners
- Introduction
Granger and Meunier (1994): grammar- and spell-checking as a promising application for learner corpus research.
There is a complex relationship between automated error-correction systems and the learner corpora.
・Some systems require large amounts of error-annotated learner writing.
・Reliable annotation
2 Core issues
2.1 Brief background on grammatical error correction
Published research first appeared in the 1980s.
Cf. Grammar Writer’s Workbench
→rule-based approaches
The approach began to shift from rule-based to statistical in the mid 1990s.
⇔almost all error-correction systems make use of at least some rules.
※この辺りの経緯は自然言語処理の学説史と密接な関係＜辻井 (2012)など参照＞。
2.2 Brief background on spelling-error correction
Kukich (1992) identified three strands of research.
(1) non-word error detection
(2) isolated-word error correction
(3) context-dependent error correction
Cf. 編集距離 (edit distance)とは、「2つの文字列があるときに，一方の文字列をどのくらい編集するともう一方の文字列が作成されるかを距離として計算することで，2 つの文字列の類似度（相違度）を測る尺度」（投野・望月, 2013, p. 74）
2.3 The needs of L2 learners
From researcher’s pedagogical experience to learner corpus such as Cambridge Learner Corpus
→The most common error is content word choice.
Rimrott and Heift (2008) evaluated the helpfulness of generic spell-checkers for L2 learners.
The spelling errors were classified as lexical, morphological and phonological.
For 62% of the learners’ errors, the intended word was among the suggested corrections provided by Microsoft Word.
2.4 The importance and design of learner corpora
2.4.1 Annotation of grammatical errors in learner corpora
Precisionとは「システムが出した結果において、本当に正しかったものの割合。検索対象の文書群の中から、正しく検索された文書の割合を指す。正確性に関する指標」
Recallとは、「結果として出てくるべきもの(記事や文書)のうち、実際に出て来たものの割合。網羅性に関する指標」
Gamon (2010)’s research
・Errors are often ambiguous.
→researchers have often used learner text that is annotated for only a single targeted type of error.
The cost of developing the corpus was quite high.
→To use the error –detection system to output the errors it has found in learner text and then to ask one or more annotators to verify the output.
⇔Whenever the system is modified, its output is likely to change.
⇔It cannot be used for calculating recall.
・Judgments of usage errors are not as clear-cuts as those of grammatical errors.
→Using crowdsourcing to annotate learner errors.
・Errors often appear in ‘noisy’, error-ridden contexts.
→measuring the edit distance
2.4.2 Annotation of spelling errors in learner corpora
Bestgen and Granger (2011): identifying the categories of errors that affect essay scores.
Flor and Futagi (2012, 2013); Flor (2012): developing algorithms for spelling correction.
2.4.3 Error-annotated learner corpora freely available to the NLP community
- Helping Our Own 1 (HOO-1)
- Helping Our Own 2 (HOO-2)
- 2013 conference on Computational Natural Language Learning (CoNLL 2013)
- 2014 conference on Computational Natural Language Learning (CoNLL 2014)
Cf. EDCW (Error Detection and Correction Workshop) 2012
- Representative studies
A brief overview of two commonly used techniques: machine-learning (ML) statistical classifiers and language models.
machine-learning (ML) statistical classifiers: 教師あり学習
具体例：最近傍法（石井, 2015）
language models: 教師なし学習
3.1 Tetreault and Chodorow (2008)
TASK: 34 most frequent prepositions
Training data: about 7 million preposition from the Lexile corpus (fiction, non-fiction and textbooks).
RESULTS: 84% precision, almost 19 % recall.
3.2 Han, Tetreault, Lee and Ha (2010)
TASK: preposition-error identification and correction
Data: error-tagged corpus of essays written by English as a FL students in South Korea (111,000 essays)
Training data: about 1 million cases of preposition usage from the data.
RESULTS: 93 % precision, 15 % recall.
3.3 Rozovskaya and Roth (2010)
Developed four methods for artificially introducing article errors into training data.
Cf. GenERRate (http://www.computing.dcu.ie/~jfoster/resources/genERRate.html)
3.4 Mitton and Okada (2007)
TASK: Developed an algorhithm for spell-checker
RESULTS: The top suggestion (from 61.2% to 65.8%), the top three suggestions (73.3% to 78.7%) and among the top six suggestion (77.9% to 83.5%)
4 Critical assessment and future directions
There has been an immense amount of research into the development of grammatical error correction system.
・There is a need for efficient and reliable annotation of learner corpora for system training and evaluation.
・there is also a need to develop error-correction resources for learners of other languages.
・tailoring the error-detection systems to the native language of the writer.
・mainly focused on developing error-specific modules, one for each error type.
What is needed by the NLP research community is learner corpora that identify the range of error types and corrections for each error.
References
石井卓巳（2014）「日本の英語コーパス言語学の研究課題・手法の変遷：『英語コーパス研究』掲載論文を用いた基礎的検討」外国語教育メディア学会(LET)関西支部メソドロジー研究部会2014年度第1回研究会発表資料.
石井雄隆（2015）「データマイニングの手法を用いた英語ライティング研究―プロセスとプロダクトの観点から―」全国英語教育学会熊本研究大会発表資料.
投野由紀夫・望月源（2012）「編集距離を用いた英文自動エラータグ付与ツールの開発と評価」『コーパスに基づく言語学教育研究報告』9, 71-92.
辻井潤一（2012）「合理主義と経験主義のはざまで―内的な処理の計算モデル―」人工知能学会誌, 27(3), 273-283.
シンポジウム「外国語教育研究におけるスピーキングとライティングの自動採点・評価」
下記の通り、自動採点研究に関するシンポジウムを早稲田大学早稲田キャンパスで開催させていただきます。
--
早稲田大学 CCDL 研究所第1回シンポジウム「外国語教育研究におけるスピーキングとライティングの自動採点・評価」
日時：3月19日（土）13:00-18:00
場所：早稲田大学早稲田キャンパス3号館302教室
（http://www.waseda.jp/top/assets/uploads/2015/08/waseda-campus-map.pdf）
13:00-13:05 開会挨拶・趣旨説明
13:05-13:40 今井 新悟（筑波大学）「SJ-CAT (Speaking Japanese Computerized
Test)の開発」
13:45-14:20 小林 雄一郎（東洋大学）「学習者コーパスと機械学習に基づく自動評価システムの改良」
14:25-15:00 近藤 悠介（早稲田大学）「評定者の信頼性から考える自動採点の必要性」
15:20-15:55 杉田 由仁（明治学院大学）「タスクに基づくライティングテストにおける自動評価採点システムの開発」
16:00-16:35 石井 雄隆（早稲田大学）「データマイニングと外国語教育の接点としての自動採点研究」
16:55-17:55 ディスカッション
17:55-18:00 閉会挨拶
18:30-20:30 懇親会（※要事前申込）
参加費：無料
参加申込：http://www.yusukekondo.com/sonas/
問合せ：早稲田大学・石井雄隆 yutakaishii#aoni.waseda.jp (Replace # with @)
「データマイニングの手法を用いた英語ライティング研究―プロセスとプロダクトの観点から―」
全国英語教育学会熊本研究大会で下記の発表をしました。
石井雄隆. (2015). 「データマイニングの手法を用いた英語ライティング研究―プロセスとプロダクトの観点から―」. 全国英語教育学会熊本研究大会. 熊本学園大学.
予稿集原稿
Dropbox - JASELE2015_Ishii.pdf
スライド
