ตามประวัติความเป็นมาเมื่อก่อนท่าพญาเป็นท่าเทียบเรือค้าขาย  ขนส่งสินค้าไปขายที่เกาะปีนัง  (อยู่บนประเทศมาเลเซียในปัจจุบัน) สมัยโบราณหลายชั่วคนมาแล้ว  มีพระยานำเรือมาขึ้นที่ท่า  จึงเรียกกันว่า “ท่าพระยา”  เมื่อพระยามา ชาวบ้านที่ท่าพญาก็จัดให้มีการพายเรือหัวทองให้ชมเป็นขวัญตา ส่วนเรือเมื่อพายเสร็จแล้วก็เก็บไว้ในอู่ซึ่งอยู่ข้างโรงก๋ง  มายุคนี้ก็กลายเป็นคูถนน
            สมัยนั้นที่หัวท่าพญามีเรือไฟ  เรือสามหลัก  สองหลัก  ส่วนเรือไฟเข้ามาไม่ถึงเพราะน้ำตื้น    จึงได้จอดอยู่ปากคลองเพราะมีถนนเชื่อมไปถึงหัวสะพาน โดยสิ่งยึดเหนี่ยวใจในการออกเรือของชาวเรือ เตี่ยโก้ยิน   (ยิ้นขาเฉ) ได้นำรูปตั๋วแปะก๋ง มา 1 รูป มีชื่อเรียกว่าพระยาเจ้าทิมา  เพื่อให้พวกชาวเรือได้บูชาเมื่อเวลาจะออกเรือหรือเมื่อเรือเข้าท่า 
            บ้านท่าพญาสมัยก่อนโน้นมีความเจริญมาก  มีโรงพัก  โรงฝิ่น โรงรับซื้อพริก ซื้อควาย สินค้าอื่น ๆ ที่จะบรรทุกไปปีนัง การทำการค้าของท่าพญากับปีนังสมัยนั้นก้าวหน้ามาก และชาวบ้านบางส่วนใช้เวลาว่างโดยการเย็บจาก  คือ จากตับ โดยมีพ่อค้าคนกลางมารับซื้อไปขายต่อ
            บ้านท่าพญา  มีวัดเก่าอยู่ทางทิศเหนือของบ้านท่าพญา ซึ่งตั้งอยู่ไม่ไกลจากท่าเรือ  ไม่ทราบได้ว่าพระรูปไหนได้สร้างไว้  เมื่อความเจริญเข้ามาจึงย้ายวัดออกมาข้างนอกติดกับถนนสายตรัง-ปะเหลียน และชาวบ้าน  ได้เรียกกันว่าวัดท่าพญา และที่วัดท่าพญาแห่งนี้ปัจจุบันมีวิหารพ่อแก่เงิน  ซึ่งมีพ่อแก่เงินเป็นที่เคารพสักการะบูชาเป็นที่ยึดเหนี่ยวจิตใจของคนภายในตำบลและตำบลใกล้เคียง แม้แต่นักท่องเที่ยว เมื่อผ่านตำบล  ท่าพญา  ก็อดไม่ได้ที่จะแวะมาบนบานและสักการะพ่อแก่เงิน มีการกล่าวขานกันว่ามีความศักดิ์สิทธิ์มาก      บนบานอะไรไว้ก็จะสมปรารถนาเสมอ ตลอดทั้งวันจึงได้ยินเสียงปะทัดของชาวบ้านที่นำของมาแก้บนแล้ว     จุดปะทัด  
            ซึ่งนอกจากนี้บริเวณที่เรียกว่าโคกทำเนียบซึ่งอยู่ทางทิศตะวันออกของท่าเรือไม่ไกลนัก คือท่าเรือในสมัยก่อน  มาสมัยนี้ก็คือที่ตั้งของสถานีไฟฟ้าส่วนภูมิภาคอำเภอย่านตาขาว นั่นเอง
(นายนิล  วงษ์ชู  ผู้ให้ข้อมูล)
            ปี พ.ศ.  2430 สมัยรัชกาลที่ 5 บ้านท่าพญาเป็นที่ตั้งของเมืองปะเหลียนระยะหนึ่ง สันนิษฐานว่าน่าจะเป็นบริเวณที่เรียกว่าโคกทำเนียบ ต่อมาในปี พ.ศ. 2434 มีพระบรมราชโองการให้ลดฐานะเมืองปะเหลียนมาเป็นแขวงท่าพญา มีราชการขึ้นต่อเมืองตรัง