PHPUnitのインストールは、PEARからするのが普通のようですが、CentOS6の場合はRPMがremiにあるので、これを使うと簡単です。epelも有効にする必要があるかもしれません。

具体的には、次のようにパッケージをインストールします。

$ sudo yum install --enablerepo=remi \
 php-phpunit-PHPUnit \
 php-phpunit-PHP-CodeCoverage \
 php-phpunit-phpcpd \
 php-phpunit-phpdcd \
 php-phpunit-phploc

Ubuntuだともっと簡単です。

$ sudo apt-get install phpunit

ちなみに、PEARを使う場合は次のような手順になります。

$ sudo pear upgrade-all
$ sudo pear channel-discover pear.phpunit.de
$ sudo pear channel-discover pear.symfony-project.com
$ sudo pear channel-discover components.ez.no
$ sudo pear install --alldeps phpunit/PHPUnit