Исследование: прогнозы трейдеров Калши в среднем точны
Исследовательское подразделение Калши провело масштабное изучение точности прогнозов на своей платформе на данных более 2 млн рынков.
Сама методика довольно проста, но за счёт огромного количества данных трудоёмка.
Исследователи делают “срез” по всей площадке на определённый момент и разделяют рынки по текущей цене шеров, предполагая, что цена равна вероятности того, что событие произойдёт.
По всем закрывшимся рынкам строится график: по горизонтальной оси - цена на момент проверки, по вертикальной - частота реального “сбывания” этих рынков.
Например, если взять тысячу рынков с ценой шера 20 центов, то в идеале ровно 200 этих рынков должны сбыться. Чем ближе реальное количество сбывшихся рынков к идеальному, тем точнее прогноз.
Изначальные выборки делаются по разным параметрам: например, берутся рынки, которые закрылись через 3 месяца, 1 месяц, 1 неделю, 1 день.
Также, для числового определения точности прогнозов используется Brier score - квадрат разницы между ценой и исходом. Случайный прогноз имеет Brier score 0,25, идеально точный - 0. Для прогнозистов очень хорошим уровнем считается Brier score 0,1. Что показывают рынки Калши?
Кроме того, исследователи проверили гипотезу, согласно которой рост объёмов и количества участников рынка приводит к росту точности прогноза.
Оказалось, что это правильное предположение. Однако, более интересный вывод другой: даже рынки с оборотом $10 тыс. и парой десятков трейдеров дают довольно точный прогноз - 0,1 по Brier score и меньше.
Полный текст исследования - PDF на 32 страницы с данными и графиками - можно скачать здесь.