Проверьте, на сколько оно расходится с формулами 2.3, 2.4, 2.5 и далее sqrt(dx^2+dy^2+dz^2).
А так, замечу что Земля она не круглая, а дальнейшая ваша арифметика мне не очень понятна (понятно что x и y должны быть позицией одной точки относительно другой в плоскости заданной ими через центр, но правильно ли они вычислены сказать не могу, пока сам аналогичным образом не выведу формулы).
На самом деле не нужно вычислять дистанцию - это можно сделать покомпонентно для фильтра, но если - производительность не имеет значения, так почему бы не вычислить точно по тем формулам что указанны выше?