Kosken kunnan historian mukaan Kosken kylä olisi todennäköisesti asutettu 1300-luvulla.
Koskenkartano on syntynyt vuonna 1628, kun liivinmaalainen eversti Hennig Grass perusti autioituneeseen Kosken kylään asumakartanon. Vuonna 1683 pidetyssä aateliskartanoiden tarkastuksessa todettiin, että Grassin pojan, Halikon kihlakunnan tuomarin, Turun hovioikeuden asessorin ja varapresidentin sekä Pohjanmaan maaherran, Vapaaherra Gustaf Grassin, asumakartano oli varustettu hyvillä ja kelvollisilla rakennuksilla ja sopi hyvin aatelisen asuinpaikaksi. Gustaf Grass kuoli 1694, minkä jälkeen kartanon hallintaoikeus siirtyi hänen vävylleen, Kihlakunnan tuomari Johan Wallenstenille. Kartano siirtyi edelleen Armfeltien suvulle vuonna 1728 ja oli heidän omistuksessaan vuoteen 1837 asti.
Tämän jälkeen kartanon omisti ranskalaiseen aatelissukuun kuulunut Claes de Pont, joka oli lähtöisin Somerolta, Lahden kartanosta.
Claes de Pontin kuoltua vuonna 1875, kartanoa hoiti perikunta, kunnes se vuokrattiin kartanon työnjohtaja Johannes Nybergille vuonna 1892. Vuokra-ajan päätyttyä Nyberg osti kartanon omakseen vuonna 1912. Vuosina 1962 -1963 kartanon omisti pohjalainen liikemies nimeltä Isosaari.
Rakennusmestari Viljo Kaipiainen osti kartanon omakseen vuonna 1963. Hän tuli Koskelle Hyvinkäältä ja asui kartanoa yhdessä sisariensa kanssa. Kartanon päärakennuksessa vuodesta 1995 yksin asunut Tyyne Kaipiainen kuoli vuonna 2002.
Kartanon empiretyylinen päärakennus on rakennettu vuonna 1868, edellisen tuhouduttua tulipalossa. Päärakennuksen pinta-ala on noin 500 neliötä.
Viljo Kaipiaisen perikunta myi Kartanon Agrosato Oy nimiselle yritykselle, joka omistaa edelleen kartanon alkuperäisiin tiluksiin kuuluneet 140 hehtaaria peltoa ja 90 hehtaaria metsää. Kivikalliot ostivat kartanon rakennukset ja piha-alueet syksyllä 2004. Päärakennuksesta tehtiin majoitus-ja juhlatoimintaan soveltuva Jutta ja Tuomo Kivikallion omistaman Koccus Oy Koskenkartano yrityksen toimesta. Vuosien 2004-2021 välisenä aikana Koskenkartanon päärakennus toimi lähinnä juhlatilana, sekä majoituskäytössä.
Vuonna 2021 Carl-Axel ja Tiina Schauman ostivat Koskenkartanon ja laajamittaiset rakennus- ja remontointityöt alkoivat. Päärakennuksen remontti kesti noin 1,5 vuotta ja vappuna 2022 Schaumanit pääsivät muuttamaan kartanon päärakennukseen. Remontti tehtiin tarkasti, vanhaa kunnioittaen ja sitä esille tuoden. Päärakennus on nykyisin täysin yksityiskäytössä.
Päärakennuksen ja pehtoorintalon lisäksi kartanoalueeseen kuuluu useita tiloja, kuten vanha kivinavetta ja broilerihalli, joihin rakennettiin vuosina 2021-2023 Suomen Niittysiemen Oy:n toimitilat sekä nykyisen Fabriikki kahvila & tilapuodin tilat.
Alueen muita rakennuksia ovat talli, korkea hirsiaitta ja vanha kuivuri.
Paimionjokirantaan yltävä 4,5 hehtaarin tontti laajeni viimeisen omistajavaihdoksen myötä noin 15 hehtaarilla peltoja, joilla Suomen Niittysiemen Oy kasvattaa luonnonkukkia.
