Das Robots Tag mit index und follow kann man sich getrost sparen. Das sollte man nur einsetzen, wenn man das Indexieren der Robots verhindern möchte. Wenn es nicht explizit durch noindex verhindert wird, durchsuchen die Suchmaschinenrobots die Seite sowieso. Das Duchsuchen der Seite nochmal zusätzlich zu erlauben, ist völlig überflüssig und bläht nur den Code unnötig auf!