1. Выражение восходит к указу Павла I о взыскании убытков в случае ограбления почты с губернатора данной губернии, изданному им в 1800 г. в связи с крупным ограблением почты в Костромской губернии. Указ вызвал настоящий переполох среди губернаторов.
2. Выражение взято из коневодческого жаргона. Губернатором там назывался самец-пробник, которого припускали к кобыле для ее раздражения перед случкой с породистым производителем. Фразеологизм возник в результате каламбурного переосмысления по омонимическому сходству.