На графике density видно, что около значения t density почти постоянна на маленьком интервале. Как корректно приблизить probability попасть в этот маленький интервал?

Интуиция такая же, как у площади прямоугольника: высота — это density, ширина — длина интервала, произведение даёт приближение area. Это работает, когда density мало меняется внутри интервала. При больших интервалах нужно учитывать изменение density, и тогда точнее работать через cdf или численное интегрирование. Важно помнить: density в точке не равна probability.