Para agregar un enlace de descarga a archivos locales en Sphinx puedes usar el rol :download: en conjunto con la URL relativa al archivo fuente. Por ejemplo:

Puedes ver los datos en la :download:`hoja de cálculo <docs/datos.xls>`.

Donde el formato es:

:download:`texto del enlace <directorio/archivo.ext>`.

Es decir, se comporta como un enlace normal: primero va el texto a mostrar, luego la URL o directorio del archivo que quieres que descarguen. Ambos datos entre acentos graves (lo único que se omite es el guión bajo final).