根据财税〔2008〕81号文件规定,销售的仍然属于注释所列的农业产品,不属于免税的范围,应当按照规定税率征收增值税。因此,非农业生产者把谷子加工成小米直接销售不属于免税业务,应当按照规定税率征收增值税。