Infelizmente não tem muito o que fazer, moedores simples assim são lentos para moer mesmo. Com o tempo piora pois as mós perdem o pouco fio que possuem.
O que algumas pessoas fazem é usar uma parafusadeira encaixada no eixo central para, essencialmente, transformar em um moedor elétrico. Mas eu pessoalmente não acho uma solução muito prática.
Sobre a velocidade de moer é: depende. Geralmente quando se tenta moer muito rápido, o corpo do moedor acaba se movimentando e empurrando os grão de um lado por outro. Isso diminui a velocidade de alimentação dos grãos na mós e aumenta o tempo de moagem. Tem que achar um equilíbrio de velocidade ou estabilizar de alguma forma o corpo.
Um hack legal pra aumentar a consistência nesses moedores: