Simple código vanilla js para detectar si estamos scrolleando hacia arriba o hacia abajo usando el método addEventListener para detectar el scroll y getBoundingClientRect para conocer la posición.
var scrollPos = 0;
window.addEventListener('scroll', function(){
if ((document.body.getBoundingClientRect()).top > scrollPos)
// ARRIBA
else
// ABAJO
scrollPos = (document.body.getBoundingClientRect()).top;
});
Una demo:
Agradezco tu comentario 🤘