На примере анализа протоколов Международного он-лайн конкурса по информатике «Бобёр-2012» рассмотрено несколько подходов к оценке сложности и трудности заданий. Показано, что во многих случаях априорная оценка сложности заданий составителями конкурса не соответствует объективной трудности заданий для участников. Показано, что школьники, особенно младшие, часто недооценивают сложность заданий. Предложен способ типологии задач конкурса на основании анализа их трудности и сложности для школьника, применение которого возможно и в других дисциплинах. Выделен кластер задач, трудность которых существенно недооценена организаторами конкурса. Показано, что в ряде случаев сложность задания для школьников может быть связана с особенностями интерфейса конкурса. Выявлен ряд недостатков в организации он-лайн протоколов, устранение которых позволит повысить валидность результатов конкурсов. С. 33-44.

On the example of the analysis of protocols of the international online competition on informatics «Beaver-2012» some approaching to an assessment of complexity and difficulty of tasks is considered. It is shown that the assessment of complexity of tasks by organizers of competition the aprioristic doesn’t correspond to objective difficulty of a task for the participant for a lot of tasks. It is shown that school students, especially younger, often underestimate complexity of tasks. The way of typology of problems of competition on the basis of the analysis of their difficulties and complexities for the school student is offered. Typology can be applied in other disciplines. The cluster of the tasks which complexity is significantly underestimated by organizers of competition is allocated. It is shown that in some cases complexity of a task for school students can be connected with features of the interface of competition. A number of shortcomings of the online protocols is revealed. Elimination of these shortcomings will allow to raise a validity of results of competitions.