诸暨香榧森林公园不可以下走彩虹桥。根据查询诸暨香榧森林公园相关公开信息，禁止游客下走彩虹桥，这是为了保证游客的安全，避免发生意外事故。