Задача формулируется одной фразой: взять последний участок графика и найти в истории того же инструмента все места, где цена двигалась похоже. Дальше можно посмотреть, что происходило после каждого такого места.
Звучит просто, но между «похоже на глаз» и работающим поиском лежит пять решений, каждое из которых меняет результат. Разберём их по порядку — на том же коде, который работает на сайте.
Окно-образец
Сравнивать нужно отрезок с отрезком. Отрезок, который мы ищем, называется образцом, и первое решение — его длина.
На сайте доступны 20, 50, 60 и 100 свечей, по умолчанию стоит 50. Пятьдесят — это компромисс, который видно на обоих концах. На двадцати свечах форма слишком бедная: совпадений находится много, но они мало что значат, потому что почти любое движение из двадцати баров где-нибудь да повторялось. На ста форма настолько специфична, что точных аналогов в истории может не быть вовсе.
Длина образца задаёт и масштаб разговора. Пятьдесят четырёхчасовых свечей — это примерно восемь дней. Пятьдесят дневных — два с половиной месяца. Один и тот же ползунок означает совершенно разные вещи на разных таймфреймах, и это стоит держать в голове.
Образец
Исторический аналог
- Одна форма в разных масштабах
Нарезка истории
Дальше история того же инструмента нарезается на все возможные окна той же длины: свечи с первой по пятидесятую, со второй по пятьдесят первую, и так до конца. На длинной истории таких окон набираются десятки тысяч.
Каждое окно — кандидат. Задача сводится к тому, чтобы для каждого посчитать меру похожести на образец и оставить те, где она выше порога.
Нормировка: сравниваем траекторию, а не цену
Если сравнивать цены как есть, биткоин по двадцать тысяч никогда не окажется похож на биткоин по девяносто тысяч, даже если рисунок движения совпадает до мелочей. Абсолютные значения не несут информации о форме.
Поэтому каждое окно переводится в проценты изменения от своей первой свечи. Окно, которое начиналось с 20 000 и дошло до 21 000, и окно, которое начиналось с 90 000 и дошло до 94 500, после нормировки выглядят одинаково: плюс пять процентов от старта. Сравнивается траектория, а не ценник.
У этого решения есть цена, и о ней — ниже.
Быстрый предфильтр
Двадцать тысяч кандидатов — это много, если каждого сравнивать дорогим алгоритмом. Поэтому первым идёт дешёвый отсев: коэффициент корреляции Пирсона между образцом и окном. Считается он мгновенно, векторизованно, пачками по две тысячи окон.
Порог здесь ставят грубый и разный для разных величин: ряд приращений заметно шумнее ряда цен, и требовать от него той же согласованности бессмысленно.
Пирсон грубоват: он сравнивает точки строго по позициям и не прощает сдвига во времени. Но как предварительный отсев он идеален — то, что не набрало даже грубой согласованности, точно не окажется хорошим совпадением по форме. До дорогого сравнения доходит меньшинство кандидатов.
Подробнее о том, чем Пирсон отличается от основного алгоритма и почему один не заменяет другого, — в отдельном разборе про DTW и корреляцию.
Зависимые наблюдения
- Перекрытие: A ∩ B ∩ C
- Повторения одного эпизода не увеличивают независимую выборку.
Ограничение амплитуды
Здесь возвращается цена нормировки. Основной алгоритм сравнения нечувствителен к масштабу: движение на один процент и движение на двадцать три процента с одинаковым рисунком он сочтёт похожими, потому что после нормировки они и правда похожи по форме.
На практике это бесполезно. Спокойный дрейф на процент и обвал на двадцать три — разные события, и смотреть, что было после обвала, чтобы понять дрейф, смысла нет.
Поэтому к сравнению формы добавляют отдельную проверку общего движения: итог окна не должен слишком сильно отличаться от итога образца. У такой проверки есть тонкость — если у образца итог почти нулевой, относительный допуск вырождается в ноль и не пропускает вообще ничего, так что нужен и какой-то абсолютный минимум.
Порог похожести
Мера похожести приводится к процентам: сто процентов — полное совпадение, дальше вниз.
Деления такой шкалы не равноценны, и это стоит понимать до того, как крутить ползунок. Верхняя часть шкалы очень строгая: требование почти точного совпадения формы на живом окне часто не выполняется ни разу, и выдача оказывается пустой. Ближе к середине картина меняется скачком — совпадения появляются, но «похожесть» там уже вольная.
Полезно проверить это самому на своём инструменте: пройти пороги сверху вниз и посмотреть, где выдача перестаёт быть пустой и где начинает наполняться мусором. Точки перелома у разных инструментов разные, и универсального «правильного порога» не существует.
Отсюда практическое следствие, которое стоит проговорить прямо: чем ниже порог, тем легче найти подтверждение любой гипотезе. Если опустить ползунок до упора и потом рассуждать о том, что «в большинстве случаев цена шла вверх», это будет рассуждение о качестве отбора, а не о рынке.
Непересекающиеся совпадения
Соседние окна отличаются на одну свечу и похожи друг на друга почти так же, как на образец. Если оставить их все, десяток по-настоящему разных эпизодов превратится в сотню записей, и любая статистика по ним будет считать один и тот же случай много раз.
Поэтому из каждой группы пересекающихся окон остаётся одно, лучшее. Так совпадения представляют разные места в истории, а не сдвиги одного и того же окна.
Что в итоге
Поиск аналогов — это несколько решений подряд: длина образца, приведение формы к сравнимому виду, быстрый отсев заведомо чужого, ограничение по общему движению и порог похожести. Каждое из них можно выбрать по-разному, и каждое меняет ответ.
Важно понимать, что именно получается на выходе. Это список мест в истории, где цена двигалась похожим образом, и картинка того, что было после каждого из них. Это описание прошлого. Оно не превращается в прогноз оттого, что мы посчитали долю случаев, — о том, что статистика аналогов показывает и чего не показывает, есть отдельный разбор.