Me parece que estás confundido.
Dime de qué Comunidad se trata y te diré cuál es la superficie mínima para una
vivienda residencial familiar (sin relación al uso agrario o ganadero de la parcela).
A modo de jemplo, en Castilla la Mancha:
Artículo 5. Obras, construcciones e instalaciones relacionadas con el uso residencial unifamiliar.
1. En suelo rústico de reserva la superficie mínima de la finca para implantar vivienda familiar aislada será de una
hectárea y media.
2. En suelo rústico no urbanizable de especial protección la superficie mínima de la finca será de tres hectáreas.
3. Cuando se trate de viviendas familiares aisladas vinculadas con explotaciones agrícolas, ganaderas y forestales
regirán las siguientes superficies mínimas:
- Una hectárea si se trata de suelo rústico de reserva.
- Hectárea y media si se trata de suelo rústico no urbanizable de especial protección.
4. La superficie máxima ocupada por la edificación no podrá superar en ningún caso el 2% del total de la finca, no
pudiéndose destinar más del 20% a las instalaciones o acondicionamientos del suelo para actividades relacionadas
con la vivienda. En este porcentaje se incluirán, en todo caso, las edificaciones que se propongan.
No hay que confundir con lo que se dispone en el Art. 4 (relacionadas con el sector primario), que es a lo que tú te refieres:
Artículo 4. Obras, construcciones e instalaciones relacionadas con el sector primario.
1. La superficie mínima de la finca si es de secano será de una hectárea en suelo rústico de reserva y de hectárea
y media en suelo rústico no urbanizable de especial protección, si es de regadío de 5.000 m2 tanto para suelo de
reserva como de especial protección, en los siguientes supuestos:
a) Almacenes vinculados a la actividad agrícola destinados al acopio y depósito de materias primas y aperos de uso
agrario.
b) Granjas e instalaciones destinadas a la estabulación y cría de ganado.
c) Otras construcciones diferentes de las enunciadas en las letras anteriores relacionadas con la actividad agrícola
y ganadera y con actividades primarias, tales como balsas de riego, naves de champiñón, viveros, invernaderos,
piscifactorías etc, incluidas las que impliquen tras*formación de productos.
2. La superficie mínima de la finca será de hectárea y media en suelo rústico de reserva y de dos hectáreas en suelo
rústico no urbanizable de especial protección en los siguientes supuestos:
https://urbanismo.castillalamancha...._que_se_aprueba_la_instruccion_tecnica_de.pdf
Todas las comunidades tienen una legislación muy similar en este sentido (no conozco al dedillo la de las 17 CCAA, pero sí la de seis o siete), y diferencian entre viviendas aisladas y edificaciones relacionadas con el sector primario.
Algo que, no deja de ser una aplicación de los artículos 12, 18 y 21 de la Ley 10/2004, de 9 de diciembre, del Suelo no Urbanizable.
https://www.boe.es/buscar/pdf/2005/BOE-A-2005-949-consolidado.pdf
Artículo 21. Vivienda aislada y familiar.
1. Los planes urbanísticos o territoriales con capacidad para ordenar usos en suelo no urbanizable común, en virtud de su respectiva legislación, ordenarán el de vivienda aislada y familiar atendiendo a la aptitud del territorio para albergarlo y a su compatibilidad con los
valores propios del suelo que han determinado su clasificación como no urbanizable, y ponderarán su capacidad y, en especial, su vulnerabilidad e impacto sobre el medio físico.
2. A estos efectos se podrá construir una vivienda aislada y familiar cumpliendo los siguientes requisitos:
a) Las construcciones se situarán en zonas y bajo las condiciones expresas y justificadamente previstas en el planeamiento territorial o urbanístico.
b) Se permitirá edificar en fincas legalmente parceladas que, tanto en la forma como en la superficie, abarquen la mínima exigible según el planeamiento que en ningún caso será inferior a una hectárea por vivienda.
c) La superficie ocupada por la edificación no excederá nunca del dos por ciento de lafinca rústica; el resto de ella habrá de estar y mantenerse con sus características naturales propias. No obstante, el plan podrá permitir servicios complementarios de la vivienda........
A ver si va a ser tu Comunidad, casualmente alguna que no me conozco e impide viviendas aisladas y familiares; pero lo dudo.