结论是明确的，有限责任公司（由自然人投资或控股）确实属于私营企业的范畴。根据《公司法》、《合伙企业法》和《私营企业暂行条例》的规定，私营有限责任公司、私营股份有限公司、私营合伙企业和私营独资企业等都是私营企业体系的一部分。其中，私营有限责任公司特指那些由两个或更多自然人投资，或是单个自然人拥有超过51%股份的公司，其注册和管理遵循私营企业的相关规定，如国家工商行政管理局发布的通知所示。