Можно ли AVR микроконтроллер подключить к PCI или PCI-E? Хочу свой чпу замутить

юзай SPI, I2C или банально GPIO

Если хочешь PCI/PCI-E, то смотри в сторону FPGA. Но это уже совсем другой уровень сложности.

Нужен PCI-контроллер, скорее всего в виде IP-блока внутри FPGA, потому как у меня есть сомнения, что внутри AVR можно справится по таймингам с управлением с самим этим контроллером pci, выполненным в виде ASICа. Но в такой архитектуре сам AVR не нужен - в FPGA есть софткоры (и даже аппаратные процессорные ядра, типа АРМа) с гораздо большим удобством и возможностями.

Для pci-e нужны трансиверы, там даже не любой FPGA подойдёт.

для чпу и usb сойдет. быструю механику, которой usb недостаточно замутить ты все равно не сумеешь.