La respuesta es SI.
Sí se puede edificar, con unas determinadas condiciones, dependiendo de la Comunidad Autónoma, y teniendo una superficie mínima de parcela.
Sin entrar en detalles ni casos particulares, y más o menos es parecido en toda España.
Con media Ha, puedes edificar "algo" que esté relacionado con el uso del suelo de esa parcela (p. ej, si es agrícola, una nave para aperos, o para guardar cosecha, o para dar servicio a los trabajadores).
Con una Ha, puedes edificar una vivienda unifamiliar aislada de no más de 200 m2.
Por ejemplo,
Art. 211
Artículo 211. Ordenación de usos y aprovechamientos en el suelo no urbanizable
1. La zonificación del suelo no urbanizable podrá prever, en función de sus características y con carácter excepcional, los siguientes usos y aprovechamientos:
[...]
b) Vivienda aislada y familiar, cumpliendo los siguientes requisitos:
1.º Se permitirá, excepcionalmente, edificar en parcelas de perímetro ininterrumpido que, tanto en la forma como en la superficie, abarquen la mínima exigible según el planeamiento, que en ningún caso será inferior a una hectárea por vivienda.
2.º La superficie ocupada por la edificación no excederá nunca del 2 % de la superficie de la finca rústica; el resto de ella habrá de estar y mantenerse con sus características naturales propias o en cultivo. No obstante, el plan podrá permitir servicios complementarios de la vivienda familiar, sin obra de fábrica sobre la rasante natural, cuya superficie no exceda del 2 % de la superficie de la finca rústica en que se realicen.
3.º La edificación estará situada fuera de los cursos naturales de escorrentías y se respetarán las masas de arbolado existente y la topografía del terreno.
4.º Se exigirá una previsión suficiente de abastecimiento de agua potable, una adecuada gestión de los residuos y un tratamiento adecuado de las aguas residuales que impida la contaminación del suelo. Los costes de estas infraestructuras o instalaciones serán a cargo de la persona propietaria.
5.º La construcción no formará núcleo de población conforme lo establecido en el planeamiento urbanístico, quedando prohibidas las agrupaciones de viviendas en una misma parcela, así como las que tengan características propias de las viviendas colectivas
A modo de otro ejemplo, en Castilla la Mancha:
Artículo 5. Obras, construcciones e instalaciones relacionadas con el uso residencial unifamiliar.
1. En suelo rústico de reserva la superficie mínima de la finca para implantar vivienda familiar aislada será de una
hectárea y media.
2. En suelo rústico no urbanizable de especial protección la superficie mínima de la finca será de tres hectáreas.
3. Cuando se trate de viviendas familiares aisladas vinculadas con explotaciones agrícolas, ganaderas y forestales
regirán las siguientes superficies mínimas:
- Una hectárea si se trata de suelo rústico de reserva.
- Hectárea y media si se trata de suelo rústico no urbanizable de especial protección.
4. La superficie máxima ocupada por la edificación no podrá superar en ningún caso el 2% del total de la finca, no
pudiéndose destinar más del 20% a las instalaciones o acondicionamientos del suelo para actividades relacionadas
con la vivienda. En este porcentaje se incluirán, en todo caso, las edificaciones que se propongan.
No hay que confundir con lo que se dispone en el Art. 4 (relacionadas con el sector primario), que es a lo que tú te refieres:
Artículo 4. Obras, construcciones e instalaciones relacionadas con el sector primario.
1. La superficie mínima de la finca si es de secano será de una hectárea en suelo rústico de reserva y de hectárea
y media en suelo rústico no urbanizable de especial protección, si es de regadío de 5.000 m2 tanto para suelo de
reserva como de especial protección, en los siguientes supuestos:
a) Almacenes vinculados a la actividad agrícola destinados al acopio y depósito de materias primas y aperos de uso
agrario.
b) Granjas e instalaciones destinadas a la estabulación y cría de ganado.
c) Otras construcciones diferentes de las enunciadas en las letras anteriores relacionadas con la actividad agrícola
y ganadera y con actividades primarias, tales como balsas de riego, naves de champiñón, viveros, invernaderos,
piscifactorías etc, incluidas las que impliquen tras*formación de productos.
2. La superficie mínima de la finca será de hectárea y media en suelo rústico de reserva y de dos hectáreas en suelo
rústico no urbanizable de especial protección en los siguientes supuestos:
https://urbanismo.castillalamancha...._que_se_aprueba_la_instruccion_tecnica_de.pdf
Todas las comunidades tienen una legislación muy similar en este sentido (no conozco al dedillo la de las 17 CCAA, pero sí la de seis o siete), y diferencian entre viviendas aisladas y edificaciones relacionadas con el sector primario.
Algo que, no deja de ser una aplicación de los artículos 12, 18 y 21 de la Ley 10/2004, de 9 de diciembre, del Suelo no Urbanizable.
https://www.boe.es/buscar/pdf/2005/BOE-A-2005-949-consolidado.pdf
Artículo 21. Vivienda aislada y familiar.
1. Los planes urbanísticos o territoriales con capacidad para ordenar usos en suelo no urbanizable común, en virtud de su respectiva legislación, ordenarán el de vivienda aislada y familiar atendiendo a la aptitud del territorio para albergarlo y a su compatibilidad con los
valores propios del suelo que han determinado su clasificación como no urbanizable, y ponderarán su capacidad y, en especial, su vulnerabilidad e impacto sobre el medio físico.
2. A estos efectos se podrá construir una vivienda aislada y familiar cumpliendo los siguientes requisitos:
a) Las construcciones se situarán en zonas y bajo las condiciones expresas y justificadamente previstas en el planeamiento territorial o urbanístico.
b) Se permitirá edificar en fincas legalmente parceladas que, tanto en la forma como en la superficie, abarquen la mínima exigible según el planeamiento que en ningún caso será inferior a una hectárea por vivienda.
c) La superficie ocupada por la edificación no excederá nunca del dos por ciento de lafinca rústica; el resto de ella habrá de estar y mantenerse con sus características naturales propias. No obstante, el plan podrá permitir servicios complementarios de la vivienda........