Забыли пароль?

Зарегистрироваться на сайте

Отменить

Бэктестинг vs реальная торговля

Алексей Неботов, Журнал D` (Д-штрих) №16 (100), 6 сентября 2010 года

О том, почему система, показавшая отличную доходность при бэк-тестинге, не всегда готова работать на рынке

На практике часто случается так, что система, показавшая хорошие результаты при бэк-тестинге, не способна приносить прибыль в реальной торговле. Это связано с особенностями бэк-тестинга, проводящегося на исторических данных, к которым система адаптируется в результате оптимизации. Программы бэк-тестинга не учитывают некоторых факторов, влияющих на успешность торговли, например степень ликвидности инструмента или конкуренцию со стороны других участников торгов. В то же время большинство независимых роботовладельцев не обладают преимуществами крупных игроков, и их системы неизменно проигрывают в скорости роботам последних.

Наконец, бэк-тестинг не позволяет учесть возможные технические сложности, которые, если оставить в стороне вопрос скорости исполнения заявок, наиболее важный для высокочастотного трейдинга, сводятся к недостаткам связи, сбоям в работе брокеров и самой биржи. Недостатки бэк-тестинга полезно учесть, чтобы трезво оценивать возможности своей системы.

Опасная оптимизация

Одним из этапов тестирования системы является ее оптимизация, в процессе которой робот адаптируется к историческим данным, чтобы добиться лучшего результата. Меняя значения различных коэффициентов алгоритма, практически любую торговую систему можно заставить показывать плюс на заранее известном отрезке ценовой истории. При этом имеет значение количество используемых коэффициентов: простую систему, использующую небольшое число переменных, оптимизировать сложнее, с введением же каждого дополнительного условия и параметра торговый результат можно улучшить. Однако растущая теоретическая доходность не говорит о том, что система становится лучше, — робот просто подгоняется под исторические данные. Усложняя систему, можно добиться того, что на открытой истории она заработает на всех возможностях, но на рынке будет приносить лишь убытки.

Апофеозом усложнения торговых систем являются нейронные сети, которые имеют очень много подстрочных параметров. Основанный на нейронной сети робот, запомнив большой объем информации, может настолько адаптироваться к историческим данным, что будет просто использовать их в будущем. Поэтому, особенно если речь идет о сложных системах с большим количеством коэффициентов, к процессу оптимизации нужно относиться осторожно. Хорошая система должна показывать результат и без оптимизации, если же вся доходность достигается только за ее счет, то у роботописателя есть повод задуматься. В процессе оптимизации, на мой взгляд, не всегда стоит останавливаться на коэффициентах системы, при которых в течение бэк-тестинга достигается лучшая доходность. Если значение параметра очень близко к краю положительного диапазона (например, 7 при положительных результатах от 5 до 20), то имеет смысл сместить значение параметра ближе к середине.

Оптимизация на старых данных не имеет смысла. Рынок меняется, и данные безнадежно устаревают. Если система работает на минутном таймфрейме, то оптимизировать ее имеет смысл на данных последних нескольких дней, потому что это самый показательный участок; если робот работает с дневными свечами, то можно использовать данные последнего года. Соответственно, с течением времени параметры системы нужно корректировать, проводя оптимизацию на свежих данных. При этом вся доступная история по инструменту может быть использована при бэк-тестинге, с тем чтобы выявить закономерности — особенности работы системы. Полезно понаблюдать за тем, на чем система зарабатывает больше всего, а какие сделки оказываются лишними, не принося дохода, какова средняя продолжительность сделки и прочее. Это помогает увидеть, почему система показывает тот или иной результат.

Выбор исторических данных

На российском рынке очень часто приходится торговать не слишком ликвидные инструменты. Если вы точно не понимаете, что делаете, остерегайтесь работать с ними с помощью робота. Если на ликвидных инструментах результаты бэк-тестинга близки к реальным результатам, в случае неликвидов бэк-тестинг теряет свой смысл и видоизменяется, потому что гораздо большее значение приобретают различные шумы. Например, на неликвидном инструменте может быть свеча, которая состоит из одного тика. Программы бэк-тестинга этого не учитывают. Считая, что рынок суперликвиден и стаканы полны, программа решит, что робот может совершить сделку по любой цене. В реальности этого сделать не получится. Из-за подобных особенностей теоретическая доходность, полученная в программе бэк-тестинга, часто расходится с результатом в реальной торговле. И чем менее ликвиден тестируемый инструмент, тем большим будет данное расхождение.

Таким образом, нужно обращать внимание на данные, на которых производится бэк-тестинг. Например, если робота предполагается запустить на фьючерсе, не стоит брать всю его историю, так как он ведет себя по-разному в разные периоды своей жизни. В начале, когда он является дальним, ликвидность в нем очень низкая, так как вся она сосредоточена в ближнем контракте. Второй этап жизни — несколько дней, когда ближний фьючерс подходит к экспирации и ликвидность с открытым интересом перетекает в анализируемый фьючерс. Третий этап — наш фьючерс стал ближним, он ликвиден настолько, насколько может себе это позволить. Четвертый этап — приближение экспирации: если в начале жизни фьючерс мог гулять относительно базового актива достаточно свободно, то теперь с каждым днем фьючерс все сильнее привязывается к базе. И наконец, смерть, то есть экспирация. Торговля сразу на всем этом периоде является нонсенсом, поэтому для бэк-тестинга должны использоваться выделенные участки истории.

Анализ сделок

Анализ результатов бэк-тестинга позволяет понять, какие сделки приносят прибыль, а какие — дополнительный риск. Если доходность системы складывается из очень малого числа сделок от общего количества, то в будущем на неприбыльных сделках система может потерять. В то же время к сделкам, приносящим прибыль в процессе бэк-тестинга, нужно отнестись внимательно. Например, если система зарабатывает на сильных движениях в первые минуты торгов, то это тревожный сигнал. В результате оптимизации система научается ловить эти движения, но в реальности в этот период бывают большие задержки, и она будет получать значительно худшие цены, нежели в процессе бэк-тестинга. То же относится к сделкам, совершенным на различных вылетах: нет никаких гарантий того, что их удастся совершать в боевом режиме.

В финале хочется отметить, что не стоит ограничиваться одной торговой идеей и пытаться максимально оптимизировать ее. Гораздо эффективнее создать портфель из нескольких роботов и управлять им подобно управлению портфелем ценных бумаг.

Автор - независимый трейдер, победитель конкурса биржевых алгоритмов "Алгоритмус"


Мои портфели
Индикаторы
Индексы
MICEXINDEXCF2 419,43–2,0819.11
RTSI1 110,46+0,2006.03
Акции
GAZP112,14–3,0019.11
GMKN112,82–1,9819.11
LKOH5 893–0,9419.11
ROSN344,3–2,5919.11
SBER293,9–1,3619.11
VTBR59,185–2,7019.11
Курсы валют
EUR90,34+0,4821.11
USD82,19+0,2621.11
EUR/USD1,09–0,5331.12
GBP/USD1,47–0,4331.12
USD/JPY120,17–0,2831.12
EURUSD_TOM1,060,0006.03
EUR_TODTOM0,02–0,0406.03
USD_TODTOM0,02–0,0306.03
Мировые рынки
Dow17 473,32–0,7431.12
FTSE6 242,32–0,5131.12
Nikkei 22519 033,71+0,2730.12
S&P 5002 049,94–0,6531.12
Золото1 059,98–0,1231.12
Нефть Brent37,6+3,1331.12