Posted at 2015.05.20 Category : 未分類
TOEICでは政治や軍事、宗教などは出題されないことは、ある程度TOEICを学習した方たちには知られるようになっています。米国ETSのサイトでそのようなガイドラインといえるものが公開されていました。TOEICやTOEFLの講師の方なら既知の資料かもしれませんが、ようやく具体的に説明しているものを発見できて個人的には達成感でいっぱいです（笑）
TOEICに限定したものではなくETS全体でのガイドラインなのですが、公平に学力を試験するために気をつけないことが具体的に書かれていて、マニアとしては大変面白かったです。
Fairness
公平性
Committed to Fairness and Equity in Testing
ETS is committed to ensuring that our tests and other products are of the highest quality and as free of bias as possible.
公平かつ公正なテストを目指す取り組み
ETS では、提供するテストやその他の製品を、高品質で可能な限り偏りのないものにするための取り組みを続けています。
All of our products and services — including individual test questions, assessments, instructional materials and publications — are evaluated during development to ensure that they:
▪ are not offensive or controversial
▪ do not reinforce stereotypical views of any group
▪ are free of racial, ethnic, gender, socioeconomic and other forms of bias
▪ are free of content believed to be inappropriate or derogatory toward any group
個別のテスト問題、アセスメント、教材、出版物を含むあらゆる製品およびサービスに対し、開発の途中段階で、下記についての評価が行われます。
▪ 相手に不快な思いをさせる、または物議を醸すものではないか
▪ 何らかのグループに対し固定観念を植えつけるものではないか
▪ 人種、民族、性別、社会経済やその他に関する偏見が含まれていないか
▪ 何らかのグループに対し不適切または軽蔑的となり得るコンテンツが含まれていないか
ガイドラインを具体的に見ていく前に、個人的な感想を少し。Fairnessってとても大事なことだと思っています。グローバルというと英語教師の間でも「プププッ」と小馬鹿にされる話題になってしまっていますが、いろいろな国の価値観も違う人と一緒に仕事をするようになると、意識的にFairnessを念頭に置かないと、知らず知らずのうちに日本流を押し付けることになりかねないと思うのです。特に、日本の組織は自分たちの文化にそまるとそれに従うのが当たり前という感じになりやすいですから。ですから、このようなFairnessの取り組みから学ぶことは試験作成という観点以外にも大いにあるはずです。
TOEIC User Guide—Listening & Reading にも上記と同じことが書かれていましたので、TOEICでも同じ発想が貫かれていると言えそうです。
Test Fairness
The ETS TOEIC Program and its authorized local ETS Preferred Associates have taken steps to ensure, to the extent possible, that tests and test scores are fair for all test takers, regardless of gender, age, nationality, and test-taker industry background.
All of our products and services—including individual test questions, assessments, instructional materials, and publications—are evaluated during development to ensure that they:
¬¬Are not offensive or controversial
¬¬Do not reinforce stereotypical views of any group
¬¬Are free of racial, ethnic, gender, socioeconomic and other forms of bias
¬¬Are free of content believed to be inappropriate or derogatory toward any group
All of our tests and other products undergo rigorous, formal reviews to ensure adherence to our fairness guidelines, which are set forth in three publications that can be found on our website, www.ets.org:
今回じっくり読んだの以下の資料で、TOEIC User Guide—Listening & Readingでも紹介されていました。
ETS International Principles for Fairness Review of Assessments (PDF)
The International Principles for Fairness Review of Assessments are designed to ensure that our tests and related products are fair and appropriate for the culture and country in which they are used.
International Principles for Fairness Review of Assesments は、ETS のテストとその関連製品が使用される文化や国において公平かつ適切であるかを確認するために設計されたものです。
公平なテスト作成のために貫かれているのが、以下の３つの原則です。抽象的でよくわかりませんが、要は認知、感情、身体のハンデをできる限りなくした内容にするということのようです。
1. Avoid cognitive sources of construct-irrelevant variance.
2. Avoid affective sources of construct-irrelevant variance.
3. Avoid physical sources of construct-irrelevant variance.
construct-irrelevant varianceという言葉はテスト関連の専門用語のようで以下のような説明がネットにありました。
多肢選択式リスニングテストの問題文と選択肢の 提示時期がテストパフォーマンスに与える影響
神奈川県/神奈川県立伊勢原高等学校 教諭 柳川 浩三
申請時:神奈川県/神奈川県立小田原城内高等学校 教諭
Campbell and Fiske (1959)は,特性を “construct relevant variance”, テスト形式を “construct irrelevant variance” と呼んでいる。テスト形式による影響を少なくし,特性と テスト形式間に密接な関係を作り出すことが,妥当 性の高いテスト作成に資するとしている(Cohen, 1984; Shohamy, 1984; Buck, 2001)。
3つの原則を簡単にみていきます。
1. Avoid cognitive sources of construct-irrelevant variance.
「認知」というと難しい感じがしますが、挙げられた例をみると言いたいことがわかります。以下の表のように、マイナーな用語などが登場するとどんな話をしているのか門外漢にはわからなくなるので、そういう語を使うことは極力避けてテストを作成することのようです。
この原則からいうとwheelbarrow（手押し一輪車；猫車）はアウトだと思うんです。リサイクルをさっそと終わらせて、変な用語が出題されるというTOEICのイメージを修正して欲しいです。
以下のようにスポーツなんかも例としてありました。日本なんかでは野球をトピックにすると男性ならわかる人が多くいそうですが、女性は興味がない人が増えるでしょうから、公平ではなくなるという考えのようです。
Sports. What are all test takers of skills tests expected to know about various sports? Will male and female test takers have the same level of knowledge?
2. Avoid affective sources of construct-irrelevant variance.
感情に影響を及ぼすようなファクターをできる取り除くというのが２番目の原則です。以下のような事故とか病気、災害なんかはわかりやすい例ですね。
Accidents, illnesses, or natural disasters. For some content tests, such as a licensing test for nurses, details about the effects of diseases or detailed descriptions of injuries may be appropriate, but is it acceptable to dwell on gruesome, horrible, or shocking aspects of accidents, illnesses, or natural disasters in a skills test? Are other aspects of those topics acceptable? For example, is it acceptable to address the prevention of accidents, the causes of illness, or the occurrences of natural disasters?
興味深いことに、ユーモアや皮肉なども避けるべきトピックに入っています。ETSは言語運用能力の測定には不要とみなしているのですね。TOEICに比喩的表現やイディオムが少ないのも同じような理由かもしれません。
Humor, irony, and satire. It is acceptable to test understanding of humor, irony, and satire when it is important for valid measurement, as in some literature tests, but how should humor be treated on skills tests? Are all test takers likely to understand the joke, or might some be offended? How should irony and satire be treated? Could some people take such material literally and be offended by it? Is it important to avoid construct-irrelevant humor that is based on disparaging any groups of people, their strongly held beliefs, their concerns, or their weaknesses?
アメリカ的なトピックとして進化論についても避けるべきトピックとして入っていました。また、ケネディ大統領は黒人をNegroと呼んでいましたが、ETS的には使うべきではない用語としていました。アジア人と包括的に呼ぶよりも、中国人や日本人のように具体的な呼称にするというのも面白いですね。
Evolution. The topic of evolution has caused a great deal of controversy in the United States, and attitudes toward evolution vary greatly in different countries. What is the attitude toward evolution in your country? Should evolution be included in skills tests? How should evolution be treated in content tests?
Black people. In the United States, “Black” and “African American” (for American people) are both acceptable. “Negro” and “colored” are not acceptable except in historical material or the official names of organizations. Because “Black” is used as a group identifier, ETS test developers are told to avoid the use of “black” as a negative adjective, as in “black magic,” “black day,” or “black-hearted.”
Asian people. ETS test developers are told to use specific terminology such as “Chinese” or “Japanese” and not to use the word “Oriental” to describe people unless quoting historical or literary material or using the name of an organization.
How should Asian people be referred to in your country?
3. Avoid physical sources of construct-irrelevant variance.
３番目の原則はあまり例などが多くなかったのですが、身体的なハンディキャップがテストの能力測定に影響を及ぼさないようにするということのようです。
高校生向けのテストですが、避けるべきトピックの具体例が載っていてわかりやすかったので、紹介します。基本的に原則２の感情の部分の例が一番多いようです。
Additional Requirements: The following requirements for United States K–12 tests are all extensions of Principle 2 (Avoid affective sources of construct-irrelevant variance). Any redundancy with the discussion of Principle 2 is intended to stress the additional care to be employed in tests for young students.
In the United States, ETS test developers are told to avoid items or stimuli about each of the following in K–12 tests, unless important for valid measurement. Should the same topics be avoided in your country?
▪ Serious illnesses (e.g., cancer, HIV, AIDS, herpes, tuberculosis, smallpox, anthrax)
▪ Animals or people who are killed or are dying
▪ Natural disasters, such as earthquakes, hurricanes, floods, or forest fires, unless the disasters are treated as scientific subjects and there is little or no mention of the destruction caused and loss of life
▪ Divorce, loss of jobs, layoffs, and other family situations that students may find upsetting
▪ Depictions or suggestions of interpersonal violence or disharmony, including playground arguments, fights among students, bullying, cliques, and social ostracism
▪ Dissension among family members or between students and teachers
▪ Graphic depictions of violence in the animal kingdom
▪ A focus on pests (e.g., rats, roaches, and lice) or on creatures that may be frightening to students (e.g., scorpions, poisonous snakes, and spiders)
▪ Drinking alcohol, smoking or chewing tobacco, and gambling
▪ Drug use, including the use of prescription drugs
▪ Birthday celebrations, Christmas, Halloween, and Valentine's Day (because not all children celebrate them)
▪ Dancing, including school dances (such as proms), particular kinds of music (e.g., rap, rock and roll)
▪ Going to the movies
▪ References to a deity, including expressions like “Thank God,” and euphemisms for such references (for example, “gee whiz”)
▪ Stories about mythological gods or creation stories
▪ Extrasensory perception, UFOs, the occult, or the supernatural
▪ Texts that are preachy or moralistic, as they may offend populations that do not hold the values espoused
▪ Controversial topics such as gun control, welfare, global warming, the suffering of individuals at the hands of a prejudiced or racist society, a focus on individuals overcoming prejudice, and the specific results of discrimination against women
▪ Evolution, with associated topics of natural selection, fossils, geologic ages (e.g., millions of years ago), dinosaurs, and similarities between people and primates
▪ Particular personal or political values in discussions of controversial topics such as protection of the environment, deforestation, or labor unions
▪ Biographical passages that focus on individuals who are readily associated with offensive topics (It is best to avoid biographical passages that focus on individuals who are still living. Their future actions or activities are unpredictable and may result in fairness problems.)
▪ Materials that model or reinforce inappropriate student behaviors such as students playing tricks on teachers or adults, lying, stealing, or running away from home, or even considering those behaviors
▪ Students going without sleep, failing to attend school or do homework, or eating large quantities of junk foods
▪ Students violating good safety practices (e.g., students keeping dangerous animals, entering homes of unknown adults), even if everything turns out well
▪ Suggestions of sexual activity and words or phrases that carry a sexual connotation
▪ Children coping with adult decisions or situations (e.g., supporting the emotional needs of a parent)
▪ Expressing or implying cynicism about charity, honesty, or similar values
Should any of these topics, or any additional topics, be avoided in K-12 tests in your country?
まあ、ここまで規制が多いとTOEICの人たちがお行儀よくなるのもうなづけます（苦笑）
ETSのサイトを探れば、TOEIC自体のテスト作成ガイドラインが出てくるでしょうか。少し探してみようと思います（笑）
TOEICに限定したものではなくETS全体でのガイドラインなのですが、公平に学力を試験するために気をつけないことが具体的に書かれていて、マニアとしては大変面白かったです。
Fairness
公平性
Committed to Fairness and Equity in Testing
ETS is committed to ensuring that our tests and other products are of the highest quality and as free of bias as possible.
公平かつ公正なテストを目指す取り組み
ETS では、提供するテストやその他の製品を、高品質で可能な限り偏りのないものにするための取り組みを続けています。
All of our products and services — including individual test questions, assessments, instructional materials and publications — are evaluated during development to ensure that they:
▪ are not offensive or controversial
▪ do not reinforce stereotypical views of any group
▪ are free of racial, ethnic, gender, socioeconomic and other forms of bias
▪ are free of content believed to be inappropriate or derogatory toward any group
個別のテスト問題、アセスメント、教材、出版物を含むあらゆる製品およびサービスに対し、開発の途中段階で、下記についての評価が行われます。
▪ 相手に不快な思いをさせる、または物議を醸すものではないか
▪ 何らかのグループに対し固定観念を植えつけるものではないか
▪ 人種、民族、性別、社会経済やその他に関する偏見が含まれていないか
▪ 何らかのグループに対し不適切または軽蔑的となり得るコンテンツが含まれていないか
ガイドラインを具体的に見ていく前に、個人的な感想を少し。Fairnessってとても大事なことだと思っています。グローバルというと英語教師の間でも「プププッ」と小馬鹿にされる話題になってしまっていますが、いろいろな国の価値観も違う人と一緒に仕事をするようになると、意識的にFairnessを念頭に置かないと、知らず知らずのうちに日本流を押し付けることになりかねないと思うのです。特に、日本の組織は自分たちの文化にそまるとそれに従うのが当たり前という感じになりやすいですから。ですから、このようなFairnessの取り組みから学ぶことは試験作成という観点以外にも大いにあるはずです。
TOEIC User Guide—Listening & Reading にも上記と同じことが書かれていましたので、TOEICでも同じ発想が貫かれていると言えそうです。
Test Fairness
The ETS TOEIC Program and its authorized local ETS Preferred Associates have taken steps to ensure, to the extent possible, that tests and test scores are fair for all test takers, regardless of gender, age, nationality, and test-taker industry background.
All of our products and services—including individual test questions, assessments, instructional materials, and publications—are evaluated during development to ensure that they:
¬¬Are not offensive or controversial
¬¬Do not reinforce stereotypical views of any group
¬¬Are free of racial, ethnic, gender, socioeconomic and other forms of bias
¬¬Are free of content believed to be inappropriate or derogatory toward any group
All of our tests and other products undergo rigorous, formal reviews to ensure adherence to our fairness guidelines, which are set forth in three publications that can be found on our website, www.ets.org:
今回じっくり読んだの以下の資料で、TOEIC User Guide—Listening & Readingでも紹介されていました。
ETS International Principles for Fairness Review of Assessments (PDF)
The International Principles for Fairness Review of Assessments are designed to ensure that our tests and related products are fair and appropriate for the culture and country in which they are used.
International Principles for Fairness Review of Assesments は、ETS のテストとその関連製品が使用される文化や国において公平かつ適切であるかを確認するために設計されたものです。
公平なテスト作成のために貫かれているのが、以下の３つの原則です。抽象的でよくわかりませんが、要は認知、感情、身体のハンデをできる限りなくした内容にするということのようです。
1. Avoid cognitive sources of construct-irrelevant variance.
2. Avoid affective sources of construct-irrelevant variance.
3. Avoid physical sources of construct-irrelevant variance.
construct-irrelevant varianceという言葉はテスト関連の専門用語のようで以下のような説明がネットにありました。
多肢選択式リスニングテストの問題文と選択肢の 提示時期がテストパフォーマンスに与える影響
神奈川県/神奈川県立伊勢原高等学校 教諭 柳川 浩三
申請時:神奈川県/神奈川県立小田原城内高等学校 教諭
Campbell and Fiske (1959)は,特性を “construct relevant variance”, テスト形式を “construct irrelevant variance” と呼んでいる。テスト形式による影響を少なくし,特性と テスト形式間に密接な関係を作り出すことが,妥当 性の高いテスト作成に資するとしている(Cohen, 1984; Shohamy, 1984; Buck, 2001)。
3つの原則を簡単にみていきます。
1. Avoid cognitive sources of construct-irrelevant variance.
「認知」というと難しい感じがしますが、挙げられた例をみると言いたいことがわかります。以下の表のように、マイナーな用語などが登場するとどんな話をしているのか門外漢にはわからなくなるので、そういう語を使うことは極力避けてテストを作成することのようです。
この原則からいうとwheelbarrow（手押し一輪車；猫車）はアウトだと思うんです。リサイクルをさっそと終わらせて、変な用語が出題されるというTOEICのイメージを修正して欲しいです。
以下のようにスポーツなんかも例としてありました。日本なんかでは野球をトピックにすると男性ならわかる人が多くいそうですが、女性は興味がない人が増えるでしょうから、公平ではなくなるという考えのようです。
Sports. What are all test takers of skills tests expected to know about various sports? Will male and female test takers have the same level of knowledge?
2. Avoid affective sources of construct-irrelevant variance.
感情に影響を及ぼすようなファクターをできる取り除くというのが２番目の原則です。以下のような事故とか病気、災害なんかはわかりやすい例ですね。
Accidents, illnesses, or natural disasters. For some content tests, such as a licensing test for nurses, details about the effects of diseases or detailed descriptions of injuries may be appropriate, but is it acceptable to dwell on gruesome, horrible, or shocking aspects of accidents, illnesses, or natural disasters in a skills test? Are other aspects of those topics acceptable? For example, is it acceptable to address the prevention of accidents, the causes of illness, or the occurrences of natural disasters?
興味深いことに、ユーモアや皮肉なども避けるべきトピックに入っています。ETSは言語運用能力の測定には不要とみなしているのですね。TOEICに比喩的表現やイディオムが少ないのも同じような理由かもしれません。
Humor, irony, and satire. It is acceptable to test understanding of humor, irony, and satire when it is important for valid measurement, as in some literature tests, but how should humor be treated on skills tests? Are all test takers likely to understand the joke, or might some be offended? How should irony and satire be treated? Could some people take such material literally and be offended by it? Is it important to avoid construct-irrelevant humor that is based on disparaging any groups of people, their strongly held beliefs, their concerns, or their weaknesses?
アメリカ的なトピックとして進化論についても避けるべきトピックとして入っていました。また、ケネディ大統領は黒人をNegroと呼んでいましたが、ETS的には使うべきではない用語としていました。アジア人と包括的に呼ぶよりも、中国人や日本人のように具体的な呼称にするというのも面白いですね。
Evolution. The topic of evolution has caused a great deal of controversy in the United States, and attitudes toward evolution vary greatly in different countries. What is the attitude toward evolution in your country? Should evolution be included in skills tests? How should evolution be treated in content tests?
Black people. In the United States, “Black” and “African American” (for American people) are both acceptable. “Negro” and “colored” are not acceptable except in historical material or the official names of organizations. Because “Black” is used as a group identifier, ETS test developers are told to avoid the use of “black” as a negative adjective, as in “black magic,” “black day,” or “black-hearted.”
Asian people. ETS test developers are told to use specific terminology such as “Chinese” or “Japanese” and not to use the word “Oriental” to describe people unless quoting historical or literary material or using the name of an organization.
How should Asian people be referred to in your country?
3. Avoid physical sources of construct-irrelevant variance.
３番目の原則はあまり例などが多くなかったのですが、身体的なハンディキャップがテストの能力測定に影響を及ぼさないようにするということのようです。
高校生向けのテストですが、避けるべきトピックの具体例が載っていてわかりやすかったので、紹介します。基本的に原則２の感情の部分の例が一番多いようです。
Additional Requirements: The following requirements for United States K–12 tests are all extensions of Principle 2 (Avoid affective sources of construct-irrelevant variance). Any redundancy with the discussion of Principle 2 is intended to stress the additional care to be employed in tests for young students.
In the United States, ETS test developers are told to avoid items or stimuli about each of the following in K–12 tests, unless important for valid measurement. Should the same topics be avoided in your country?
▪ Serious illnesses (e.g., cancer, HIV, AIDS, herpes, tuberculosis, smallpox, anthrax)
▪ Animals or people who are killed or are dying
▪ Natural disasters, such as earthquakes, hurricanes, floods, or forest fires, unless the disasters are treated as scientific subjects and there is little or no mention of the destruction caused and loss of life
▪ Divorce, loss of jobs, layoffs, and other family situations that students may find upsetting
▪ Depictions or suggestions of interpersonal violence or disharmony, including playground arguments, fights among students, bullying, cliques, and social ostracism
▪ Dissension among family members or between students and teachers
▪ Graphic depictions of violence in the animal kingdom
▪ A focus on pests (e.g., rats, roaches, and lice) or on creatures that may be frightening to students (e.g., scorpions, poisonous snakes, and spiders)
▪ Drinking alcohol, smoking or chewing tobacco, and gambling
▪ Drug use, including the use of prescription drugs
▪ Birthday celebrations, Christmas, Halloween, and Valentine's Day (because not all children celebrate them)
▪ Dancing, including school dances (such as proms), particular kinds of music (e.g., rap, rock and roll)
▪ Going to the movies
▪ References to a deity, including expressions like “Thank God,” and euphemisms for such references (for example, “gee whiz”)
▪ Stories about mythological gods or creation stories
▪ Extrasensory perception, UFOs, the occult, or the supernatural
▪ Texts that are preachy or moralistic, as they may offend populations that do not hold the values espoused
▪ Controversial topics such as gun control, welfare, global warming, the suffering of individuals at the hands of a prejudiced or racist society, a focus on individuals overcoming prejudice, and the specific results of discrimination against women
▪ Evolution, with associated topics of natural selection, fossils, geologic ages (e.g., millions of years ago), dinosaurs, and similarities between people and primates
▪ Particular personal or political values in discussions of controversial topics such as protection of the environment, deforestation, or labor unions
▪ Biographical passages that focus on individuals who are readily associated with offensive topics (It is best to avoid biographical passages that focus on individuals who are still living. Their future actions or activities are unpredictable and may result in fairness problems.)
▪ Materials that model or reinforce inappropriate student behaviors such as students playing tricks on teachers or adults, lying, stealing, or running away from home, or even considering those behaviors
▪ Students going without sleep, failing to attend school or do homework, or eating large quantities of junk foods
▪ Students violating good safety practices (e.g., students keeping dangerous animals, entering homes of unknown adults), even if everything turns out well
▪ Suggestions of sexual activity and words or phrases that carry a sexual connotation
▪ Children coping with adult decisions or situations (e.g., supporting the emotional needs of a parent)
▪ Expressing or implying cynicism about charity, honesty, or similar values
Should any of these topics, or any additional topics, be avoided in K-12 tests in your country?
まあ、ここまで規制が多いとTOEICの人たちがお行儀よくなるのもうなづけます（苦笑）
ETSのサイトを探れば、TOEIC自体のテスト作成ガイドラインが出てくるでしょうか。少し探してみようと思います（笑）
スポンサーサイト
Tracback
この記事にトラックバックする(FC2ブログユーザー)