yakov_a_jerkov: (Default)
yakov_a_jerkov ([personal profile] yakov_a_jerkov) wrote2008-11-30 09:23 pm

Еще раз о целенаправленной подготовке к GRE и подобным тестам

В комментариях к этой записи у меня состоялась довольно длинная дискуссия с [livejournal.com profile] lena_shagina о том насколько эффективна целенаправленная подготовка к GRE, ну и вообще к тестам.

Я говорил, что для успешной сдачи словарной части GRE нужно не столько учить английский язык вообще (при уже имеющемся базовом уровне), сколько готовится конкретно к этому тесту, учить конкретные слова и т.п.

[livejournal.com profile] lena_shagina же говорила, что такая целенаправленная подготовка может улучшить результат еле ощутимо, и что словарная часть GRE в существенной части проверяет начитанность тестируемого.

Я тогда приводил в пример своего знакомого, который, согласно моим воспоминаниям, начал с весьма плохого результата, а после небольшого периода подготовки сдал тест "очень хорошо". Но я не помнил конкретных баллов, поэтому мой аргумент выглядел неубедительно.

Я поговорил с этим своим знакомым, и поэтому я возвращаюсь к данной теме.

Значит, начал он с 300 с чем-то баллов, а после четырех месяцев подготовки сдал словарную часть на 650. Вот что значат эти баллы. Начал он с результата, который хуже чем у примерно 90 процентов сдающих тест, а после подготовки сдал с результатом, который лучше, чем у примерно 97 процентов сдающих тест.

Ну вот. Насколько я помню, он в основном именно учил слова. Возможно (я об этом не спросил, мы две минуты говорили) за время подготовки он прочитал несколько книжек на английском, художественную литературу, но никакой начитанности на английском у него точно не было.

Я также приводил в пример собственный опыт подготовки к аналитической части GRE. За время подготовки, несколько недель, я тоже добился огромного улучшения результата. Конкретных баллов я не помню, мне кажется, что сдал я на 700 с чем-то, но могу ошибаться.

[livejournal.com profile] lena_shagina объясняла это тем, что я "как-то удачно избегал вполне типичных для обучающегося в рамках нашей цивилизации молодого человека "заданий" до этого, или был как-то особо непривычeн к формулировкам, или что-то такое в этом духе".

Я об этом думал, и не согласен я. Насколько я помню задачи в аналитической части GRE, решаются они, грубо говоря, перебором вариантов. Задачи на перебор вариантов мне, конечно, встречались, но совсем не такие, и, честно говоря, я не очень понимаю, где могли встретиться именно такие. Это ведь, по сути, головоломки, и не сказать, чтоб уж очень занимательные.

Результат же в аналитической части GRE определяется тем насколько эффективно тестируемый может организовать этот перебор вариантов, чтобы решить максимальное количество задач за отведенное время. И мне кажется естественным, что этот навык можно развить путем тренировки, и за относительно короткое время.

[identity profile] ny-quant.livejournal.com 2008-12-01 04:35 am (UTC)(link)
Ничего по сути добавить не могу, т.к. сам никогда ни к чему не готовился, как уже раньше объяснял.

Чисто умозрительно, Вы, видимо, в чём-то правы. Замечу всё же, что если максимальный результат 800, то с трудом верится, что 650 это 97-й персентайл.

[identity profile] yakov-a-jerkov.livejournal.com 2008-12-01 04:44 am (UTC)(link)
По поводу персентайла это не точно, конечно. Mean и standard deviation меняются от года к году. Мне попались данные за 2002-ой год, там в словарной части mean=463, SD=99.78. Думаю, что примерно правильно.

[identity profile] ny-quant.livejournal.com 2008-12-01 04:55 am (UTC)(link)
Думаю, что нет. Распределение на самом деле смесь двух совершенно разных - для иностранцев и для аборигенов, которых тестируют до кучи. Смешенное распределение не только скорее всего не нормально, но, вероятнее всего, двумодально (что естественно для смеси двух нормальных).

[identity profile] yakov-a-jerkov.livejournal.com 2008-12-01 05:22 am (UTC)(link)
Ну, не знаю. Персентайл я у него не спросил, да и вряд ли он помнит. В любом случае, разница между до и после огромная.

[identity profile] geish-a.livejournal.com 2008-12-01 06:04 am (UTC)(link)
Точно знаю, что направленной подготовкой эти результаты улучшаются за короткое время.

[identity profile] yakov-a-jerkov.livejournal.com 2008-12-01 07:04 pm (UTC)(link)
И я знаю, и стараюсь убедить lena_shagina.

[identity profile] saccovanzetti.livejournal.com 2008-12-01 07:14 am (UTC)(link)
задачки из аналитической части gre очень похожи на "психологический практикум" в "науке и жизни" 80-х/90-х годов. вообще gre один из самых поддающихся натаскиванию тестов, я с вами полностью согласен.

[identity profile] yakov-a-jerkov.livejournal.com 2008-12-01 07:06 pm (UTC)(link)
А, не знал о психологическом практикуме. Я в этом журнале только формулы для собирания кубика Рубика читал, и еще правила игры в Бридж.

[identity profile] saccovanzetti.livejournal.com 2008-12-01 07:52 pm (UTC)(link)
До бриджа я так и не поднялся, обидно. Там кроме правил задачки по бриджу тоже были.

[identity profile] yakov-a-jerkov.livejournal.com 2008-12-01 08:30 pm (UTC)(link)
Да я в общем-то тоже не поднялся. Правила освоил, даже какие-то задачи простые решал, но играть так и не начал. Меня торговля в бридже сильно пугала.
(deleted comment)

[identity profile] yakov-a-jerkov.livejournal.com 2008-12-01 07:01 pm (UTC)(link)
Я утверждал, что GRE поддается "спецподготовке", Вы говорили, что нет. Что из 25-го персентайла в 75-й не перескочишь, что, в частности, словарная часть тестирует начитанность, и заучиванием слов результат сильно не улучишь. По крайней мере, я Вас так понял.

По-моему, такие утверждения именно и опровергаются контрпримером. Я привел пример, в котором спецподготовка привела к скачку из 10-го персентайла в девяностый. Значит можно, разве нет?

Что касается среднего улучшения, то, абсолютно не ставя под сомнения Ваше воспоминание, мне кажется, что его сложно рассматривать, не зная подробностей самого исследования. Ну, вот когда я приводил в пример моего знакомого, который по моим воспоминаниям сдал "очень хорошо" словарную часть, Вы заметили, что "очень хорошо" без конкретных баллов мало что значит. И я с Вами согласился.

Точно так же с этой study. Вы говорили, что речь шла о крусах. Может быть, просто курсы были плохие, может быть, люди, которые занимались на этих курсах, уже начинали с высокого результата... По-моему, не зная подробностей, сложно это обсуждать.

Во-вторых, какой "перебор вариантов"? Какие "головоломки"? Я так удивилась, что посмотрела где-то sample questions слованой части GRE (verbal reasoning). Это все равно, что сказать, что multiple choice вопрос о результате несложного арифметического вычисления --- головоломка с перебором вариантов.

По-моему, Вы не на ту секцию посмотрели. Перебор вариантов относился к аналитической части. Например, такая задача:
Exactly 7 persons - P, Q, R, S, T, U & V - participate in and finish all of a series of races. There are no ties for any position at the finish of the races. The following statements about the races are always true :

V finishes somewhere ahead of P
P finishes somewhere ahead of Q
Either R finishes first and T finishes last, or S finishes first and U or Q finishes last

If in a race S finishes sixth and Q finishes fifth, which of the following can be true?

A. V finishes first or fourth
B. R finishes second or third
C. P finishes second or fifth
D. U finishes third or fourth
E. T finishes fourth or fifth

Answer: D
На мой взгляд, это задача на перебор вариантов. А вы так не считаете?
(deleted comment)

[identity profile] yakov-a-jerkov.livejournal.com 2008-12-01 10:31 pm (UTC)(link)
Во-первых, я утверждала то, что утверждала - про среднее. Если у человека в начальный момент словарный запас 1000 слов, то он несомненно свой результат улучшить может, если слова будет учить -- что тут спорить.

Ну, я не знаю, посмотрите на начало той дискуссии. По-моему, Вы говорили о неэффективности спецподготовки и о невозможности перескочить из 25-го в 75-й персентайл.

Но если я Вас не понял, и на самом деле все Ваше утверждение состояло в том, что Вы видели исследование, согласно которому в среднем люди еле ощутимо улучшают свой результат, то тогда непонятно о чем мы так долго спорили. Я ж не отрицаю существования такого исследования, я говорю, что спецподготовка эффективна.

Во-вторых, у нас был, по идее, разговор про секцию verbal reasoning -- там, где есть зависимость от словаря. Только тут играет роль начитанность.

Отнюдь не только про словарную часть мы говорили. Я приводил своего товарища, как пример улучшения результата в словарной части. Я приводил себя, как пример улучшения результата в аналитической части.

В этой записи я четко сказал: "Насколько я помню задачи в аналитической части GRE, решаются они, грубо говоря, перебором вариантов."

В-третьих, то, что Вы привели, разумеется не задача "на перебор" в хоть сколько-нибудь технически определяемом смысле. Если только Вы не считаете просмотр ответов "перебором".

Нет, я не имел в виду просмотр ответов. Я имел в виду процесс решения этой задачи. Я бы решал ее таким образом. Сначала бы выписал распределения мест, которые прямо следуют из условия -- обычно этого недостаточно, чтобы получить полное распределение. Потом стал бы перебирать некоторым образом возможные варианты, отбрасывая те, которые ведут к противоречию с условиями задачи. В данном случае я бы, наверное, брал каждый ответ и смотрел получается противоречие или нет, что тоже требовало бы некоторого перебора вариантов в каждом случае.
(deleted comment)

[identity profile] yakov-a-jerkov.livejournal.com 2008-12-02 03:32 am (UTC)(link)
Я эту задачу не решал, просто скопировал первую, которую нашел поиском. Значит в этой конкретной задаче все распределение мест получается без перебора. Но очень часто в таких задачах проверять варианты нужно, другое дело, что при эффективном подходе к решению вариантов получается немного.

[identity profile] yakov-a-jerkov.livejournal.com 2008-12-01 11:15 pm (UTC)(link)
Еще, кстати, добавлю.

Если у человека в начальный момент словарный запас 1000 слов, то он несомненно свой результат улучшить может, если слова будет учить -- что тут спорить.

Допустим, что начал он со словарного запаса в тысячу слов, хотя это и сильное преувеличение/преуменьшение. Это на момент 10-го персентайла. Но в процессе подготовки он ведь был и в 50-ом и в 70-м и т.д. И результат все улучшался. За короткое время.
(deleted comment)

[identity profile] yakov-a-jerkov.livejournal.com 2008-12-02 04:19 am (UTC)(link)
Я понял, что Вы имели в виду, я про эту кривую слышал. И даже если бы не слышал, в спорте ведь то же самое.

Но мне кажется, что я сейчас могу сформулировать в чем наше главное расхождение.

Вы считаете, что GRE тестирует в каком-то смысле "общий уровень" человека. И поскольку сдают его уже не дети, этот общий уровень уже близок к максимальному и существенно измениться не может.

Я же считаю, что GRE тестирует куда более конкретные вещи: знание определенного набора слов, умение отвечать на вопросы определенных типов и т.д.

Конечно, общий уровнеь и то что тестирует GRE связаны между собой: человек более высокого уровня и слов знает больше.

Но если использовать аналогию со спортом, результат в беге на 100 метров связан с общим физическим состоянием человека. И результат в беге на 100 метров может использоваться, и используется, как тест общего физического состояния.

Означает ли это, что человек, готовящийся к такому тесту, должен работать над улучшением своего общего физического состояния? Нет, он должен готовиться именно к стометровке. Вот о такой спецподготовке я говорю!

И в случае GRE, на мой взгляд, стоит смотреть не на общий уровень человека, а на результат теста на момент начала подготовки. Если человек начинает с 700, то свой результат он не сможет сильно улучшить в принципе, потому что он и так близок к максимуму. Но если он начинает с 500, то может.

Например, он не знает многих слов из словарной части. Ну так он их может выучить и сильно улучшить свой результат. Вы же не думаете, что если человек не выучил эти слова к двадцати годам, то он их в принципе выучить не способен?
(deleted comment)

[identity profile] yakov-a-jerkov.livejournal.com 2008-12-02 05:26 am (UTC)(link)
Мне аналогия со стометровкой мало что говорит, я в этом плохо понимаю. Но все-таки -- если человек вроде как закончил "колледж" по специальности "легкая атлетика", что означает, что он на протяжнии 4 лет с достаточной регулярностью, среди прочего, тренировался бегать стометровку, то неужли он не близок к своему максимуму по этому параметру?

Если по специальности "легкая атлетика", то, грубо говоря, да. А если по специальности "плаванье", то нет, я думаю.

Мне кажется вполне ожидаемым, что такие люди -- скорее outliers

Наверое. Я, повторю, не спорю с тем, что в среденм люди не особо улучшают свои результаты. Но я считаю, что это не потому, что спецподготовка, как таковая, неэффективна, а по разным другим причинам. Кто-то и так уже около максимума теста, кто-то просто не будет, как Вы говорите, серьезно готовиться, потому что лень.

P.S. Давно хотел Вам сказать, что мне бы очень хотелось, чтобы в одной из этих длинных дискуссий Вы со мной согласились хоть в чем-то, хоть в мелочи какой-то сказали, что я прав :)

Я помню как-то давно Вы у себя в журнале в комментариях написали: "что-то я в последнее время стала часто соглашаться, скоро это пройдет".

Я тогда это прочел и подумал: а ведь и со мной lena_shagina недавно согласилась пару раз. И, по-моему, как Вы и предсказывали, это очень быстро прошло :)

[identity profile] -alias.livejournal.com 2008-12-01 06:54 pm (UTC)(link)
GRE и GMAT хорошо поддаются натаскиванию (в отличии от TOEFL, например).
Многие признают что вербальная часть неудачная и вместо проверки богатства лексикона по сути является тестом на механическую память. Многие китайцы хорошо сдают эту часть тупо заучивая список слов, владея языком весьма посредственно.
Математическая часть - то же самое. Задачки совершенно одинаковые и специфические.
Аналитическая часть сейчас изменилась - задачки из "науки и жизни" заменили на сочинение.

[identity profile] yakov-a-jerkov.livejournal.com 2008-12-01 07:12 pm (UTC)(link)
Вообще, я и к TOEFL точно так же готовился. По-моему, там тоже есть ограниченный набор тем, знание которых тестируется. Конечно, подготовка к тесту помогла мне улучшить мои знания английского языка. Очень сильно помогла, но готовился я именно к тесту.

Аналитическая часть сейчас изменилась - задачки из "науки и жизни" заменили на сочинение.

А, спасибо. Я выше привел одну из задач из "Науки и жизни", то есть они еще остались, наверное. Но я заметил на странице с примерами и другие вопросы, которых раньше не было.

[identity profile] saccovanzetti.livejournal.com 2008-12-01 07:55 pm (UTC)(link)
Я ходил в библиотеку иностранной литературы на Таганке и слушал записи TOEFL на бобинах, на катушечных магнитифонах (1992 год). Но сдал не очень хорошо, меньше 600, потому что ночью накануне вообще не смог заснуть в основном. Но натаскиевание очень помогает сдавать TOEFL. Вообще, на удивление полезный тест для изучения английской грамматики (для всего остального совершенно бесполезный).