Ninguém, além do juiz do processo, pode destituir o perito, após este ter sido nomeado. Nem mesmo é possível o perito recusar-se a emitir o laudo; no máximo, ele pode pedir a destituição em caso de haver motivo de impedimento, suspeição ou outra forte razão.
Os motivos cabíveis de impedir o nomeado realizar a perícia são clássicos, óbvios e idênticos aos aplicados ao juiz, tais como, quando: for parte no processo em que atuará; for casado com uma das partes ou advogados; tiver atual cargo de confiança com a parte; for amigo muito íntimo de uma das partes; for inimigo de uma das partes; for parente de parte até terceiro grau.
O perito pode pedir sua destituição pelos canais usuais quando seus honorários forem definitivamente fixados abaixo do que ele propôs, quando não dominar a área ou quando houver outro motivo forte.