Robots.txt is een bestand dat gewoonlijk in de root van een website wordt geplaatst. Het beslist of crawlers al dan niet toegang krijgen tot een bepaalde webpagina.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Diam quis tellus ut sem. Ac malesuada ipsum, tellus vitae odio nulla sociis. Mauris consectetur ac enim condimentum sagittis nulla sed volutpat imperdiet. Habitant aenean ut turpis lectus pulvinar mattis fames. Suscipit aliquet pellentesque enim, massa vitae pharetra amet. Sem neque vitae aliquet odio suspendisse non adipiscing ornare amet.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Faucibus ante velit nunc morbi pretium. Ut nullam dolor, pulvinar proin viverra ullamcorper ac, eget.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nunc mauris viverra cursus arcu nibh et commodo in orci. Sit fermentum at sed vitae in facilisis viverra morbi. Nisl fringilla dolor amet, tortor volutpat in non quam bibendum. Proin vitae bibendum magna ut proin mauris netus.