E o assunto é bem vasto, já que existem dezenas de otimizações possíveis. Porém, separamos 4 pontos que consideramos importantes, rápidos e fáceis de serem implementados:
1- Plugin de cache
A instalação de um plugin de cache como o WP Super Cache ou W3 Total Cache é essencial. Ele vai otimizar o uso de recursos de sua conta e aumentar a velocidade de carregamento de seu site.
Além disto estes plugins oferecem opções adicionais que ajudam na otimização de seu site: Minify e GZIP
Minify reduz o tamanho e a quantidade de arquivos de estilo, javascript e HTML de sua página. Isto faz com que menos requisições sejam necessárias e o carregamento destes elementos (e por consequência de todo o site) seja mais rápido.
GZIP é a compressão da página. Isto torna o carregamento do site mais rápido.
2- Excesso de plugins
A variedade de plugins para o WordPress é enorme: Você tem plugins que auxiliam desde coisas simples como a otimização SEO do site, até mesmo a plugins que transformam o WordPress em uma plataforma completa para fóruns, lojas virtuais, etc. Tudo de uma forma muito fácil.
Só que toda esta facilidade tem um preço: Quanto mais plugins, mais pesado o WordPress fica.
Então nossa segunda dica é com relação à quantidade de plugins que você tem instalado em seu WordPress. Verifique isto e procure manter apenas os plugins que são necessários para seu site.
Além disto evite utilizar plugins de autores desconhecidos ou que tenham sido obtidos de fontes não confiáveis. Plugins mal programados podem aumentar e muito o consumo de recursos de sua conta (CPU, memória, etc) mesmo para realizar tarefas simples.
Manter os plugins e o WordPress sempre atualizados também é muito importante. Não só pela questão da otimização, mas também pela segurança.
3- Imagens
Uma página com texto e poucas imagens geralmente fica na casa dos KB. Já com muitas imagens, a página pode chegar à 2MB, 4MB, 6MB (ou muito mais). E logicamente quanto mais pesado o site, mais lento é o carregamento dele. Então é importante ficar atento à quantidade de imagens que são inseridas na página para evitar excessos.
Uma dica aqui é utilizar um plugin como o WP Smush. Este tipo de plugin otimiza as imagens de seu site, muitas vezes diminuindo o tamanho dos arquivos em mais de 50%. E o melhor: sem que isso afete a qualidade das imagens.
Existem alguns sites e outras ferramentas de otimização que também fazem o mesmo trabalho. Então sempre que possível otimize suas imagens.
Também é necessário ficar atento à dimensão das imagens: Ao invés de usar uma imagem de grandes dimensões como miniatura em seu site (redimensionando ela com HTML ou CSS para que fique do tamanho desejado), prefira usar um editor de imagens e reduzi-la para o tamanho correto. Assim ao invés de ter uma imagem 1280x720 sendo carregada como um ícone em seu site, você vai ter uma imagem menor com exatamente o tamanho que ela deve ter. Isto torna o tamanho do arquivo de imagem menor e faz com que o carregamento e renderização de sua página seja mais rápido.
4- Cloudflare
Cloudflare é um serviço de CDN que armazena em cache uma cópia de seu site e a distribui por centenas de servidores ao redor do mundo, reduzindo assim a carga do servidor de sua conta. Há ainda um aumento na velocidade de carregamento de suas páginas, uma vez que elas são enviadas aos seus visitantes a partir do servidor proxy geograficamente mais próximo deles.
O sistema do Cloudflare também atua como uma proteção extra, servindo de barreira contra ataques de negação de serviço, exploits, redes zumbis, etc. Ajudando a evitar que seu site saia do ar quando recebe um número alto de solicitações que tem por objetivo apenas prejudicar seu site.