Amigo, tive problema com ansiedade mas não foi por causa do café, em todo caso, o que ajuda mesmo é um equilíbrio, tentar medir o quanto está tomando, e o horário também, hoje eu tomo 2 vezes no dia, uma xícara de espresso pela manhã e um coado a tarde, está tranquilo a dose pra mim, agora se tomar mais a noite sei que pode atrapalhar um pouco o sono, então prefiro deixar pro outro dia.
Sobre o café, acho que o ideal é você medir o quanto está consumindo primeiro, se for uma dose ok, precisa ver se a ansiedade não está vindo de outro lado, agora se estiver passando um pouco a dose, aí o jeito é diminuir mesmo, mas pra diminuir primeiro precisa encontrar o que seria uma dose ok pra você.