Это довольно редкое словосочетание, означающее «он со вершенно неприступен», возникло, вероятно, в языке старо­русских «потешных людей»  -  всяких шутов, гудошников и скоморохов.

Они веселили своих высоких покровителей, применяя для их забавы и гусли и бубенцы, наряжаясь в козьи и медвежьи шкуры, в оперенье журавля. В «репертуар» этих «шпыней» входила и езда на козлах и свиньях.

Очевидно, скоморохи встречались иной раз с таким дур ным настроением высокопоставленной особы, что на него «даже коза не действовала».

Отсюда и пошла эта поговорка.