上海驾照不能直接在日本使用。根据提供的信息，中国驾照在日本并不被认可，要合法驾驶，需要考取国际驾照或者在日本考取日本驾照。

具体来说，尽管1968年维也纳国际道路交通公约规定各缔约方允许持有其他国家签发的驾照的驾车人在其境内驾车，但中国没有加入该公约，因此没有国际驾照。中国驾照在日本也不能直接使用，因为日本只承认国际驾照以及中国台湾地区的驾照。

如果持有中国驾照的驾驶者想要在日本合法驾驶，需要遵循以下步骤：

考取国际驾照：

需要将有效的中国驾照翻译成日语，并由合法的翻译机构出具翻译文件。然后，将翻译文件提交给国际驾照签发机构。

在日本考取日本驾照：

持有中国驾照的驾驶者需要在日本通过驾驶考试并获得日本驾照。

需要注意的是，考取日本驾照对于中国人来说并不容易，因为日本的交通规则和中国不同，例如日本是左侧通行，而方向盘位置则与中国相反，是在右侧。

综上所述，上海驾照不能直接在日本使用，必须考取国际驾照或者在日本考取日本驾照才能合法驾驶。